[]
        
(Showing Draft Content)

从数据源获取数据

1.概述

1.1功能概述

从数据源获取数据表结构及数据。

2.通过数据源获取数据

在设计器中点击 获取数据>来自数据源,打开获取数据对话框。

image

2.1选择数据源

在数据源下拉列表当中选择所创建好的数据源,单击 下一步,选择需要的表或视图

image

type=info

提示

抽取模型不支持使用 ODBC、ElasticSearchDSL、InfluxDB以及带参数的网络型JSON/Excel 数据源。

2.2选择和编辑表

2.2.1选择数据源中已有的数据表

勾选所需要的表或视图,可根据需要为所选的表或视图指定别名。

image

2.2.2使用SQL语句添加表

若数据源中所包含的原始数据表无法满足需求,用户还以通过SQL语句来创建表,点击对话框右侧的“使用SQL语句添加表

在右侧的面板中,输入表名,输入SQL语句,验证通过之后,点击添加表进行保存。

image

成功通过SQL语句添加的表将出现在列表当中,可以和其他原始表一样在后续的操作中被使用。

image

2.3是否输出表间关系及其相关联的表

在数据模型当中,将表与表之间关系抽象成了带箭头的连接线,箭头的方向代表了数据过滤的方向,即起点的表数据可过滤箭头终点的表,详情请参考:表关系说明

用户的业务数据一般都是存储在精心设计过的数据库当中的,数据库的原始表之间有一定的主外键关系。

当选择了这类数据源,在选择表的页面中,我们提供了2个选项来方便用户决定是否将表之间的关系或相关联的表一并输出到模型当中:

  • 包含当前关系

  • 包含相关表

选项

说明

选中“包含当前关系”及“包含相关表”

当同时勾选两个选项时,系统将执行以下操作:

不仅会添加所选表之间的关系,还会添加与当前勾选表相关联的所有表。

具体输出内容如下:

  • 所选择的表会被输出。

  • 所选择的表之间的关系会被输出。

  • 与表间关系相关联的表会被输出。

仅选中“包含当前关系”

仅会添加已选择的表及其表间关系,未选择的表将不会输出。

“包含当前关系”及“包含相关表”均未被选中

仅添加已选择的表,表间关系将不会被输出。

2.4选择和编辑列

2.4.1选择使用现有的数据列

在“选择和编辑列”的页面中,将列举出所选的数据表及其列,用户可根据需要进行选择或指定别名:

image

2.4.2使用SQL表达式添加列

若需要添加计算列,可以使用“使用SQL表达式添加列”来进行。

例如在销售数据表中,每一行代表一个产品的销售情况,包含单价列及数量列,若想通过计算得到销售金额列,可通过SQL表达式来进行添加:

image

选择参与计算的字段所属的表,输入列名,指定计算结果的类型,输入计算表达式,点击验证,验证通过后,点击添加列即可完成添加。

注意:类型不是必填项,若不选择,将自动推断 SQL 表达式的值的类型;若选择,将会自动判断能否转换为目标类型。

添加完成后即可在字段列表中看到:

image

type=info

  • 对于不支持的数据类型的字段,系统将自动禁用勾选操作,用户无法对其进行勾选。

  • 若在数据源中配置了字段名映射,将在别名列自动显示配置好的字段名。

  • 若需要将数据库中相关字段的描述映射到别名列,请手动点击每个表名右边的映射按钮来完成。


    image

  • 在使用SQL表达式添加列时,类型并不是必填项,若不指定类型,在数据抽取的过程当中将自动进行推断;若指定了类型,在抽取过程当中如果计算结果可以转换为指定类型则可正确完成抽取,若计算结果不能正确转换为指定类型则抽取会失败。

2.5抽取数据

完成了表和列的选择和配置,点击“下一步”进行数据的抽取。

image

若数据量大,加载数据的时间会比较长。加载数据有四个阶段,分别为读取数据,寻找缓存地址,迁移数据,加载数据到缓存,通过进度条呈现。

若有部分表载入数据失败,页面会出现重新加载按钮,点击即可重新加载失败数据。

点击“完成”即可将表添加至模型当中并自动保存抽取结果。

image

在左侧面板中显示添加的表,在右侧的画布区域以图形的方式显示表及其表间关系。

type=info

可通过反复添加的方式将不同数据源的表添加至模型当中。

和其他创建模型表的途径相同,在模型表创建成功后,通过表间关联关系,及开展字段定义、数据约束设置等一系列后续操作,完成整个建模流程,确保模型表能够准确、高效地服务于业务需求与数据分析工作。