ETL查询

1. 概述

1.1 功能概述

为提升数据加工效率，Wyn 在缓存数据集和抽取模型中集成了强大的ETL（抽取、转换、加载）能力，助力用户高效整合与处理来自多元数据源的数据。通过数据输入、清洗、转换、输出的完整流程，提供数据筛选、数据字段类型转换、行列转换、聚合、去重、合并列、拆分列、联合、连接等数据加工能力，活应对多场景需求，赋能高效数据分析与智能决策。本节将详细介绍ETL查询设计器及其使用方法。

2. ETL设计器介绍

下面是ETL设计器的界面：

2.1节点面板

• 在左侧的节点面板中，列举出所支持的数据处理节点，用户通过拖拽将节点拖至中间画布区域并进行配置，完成ETL查询。

  节点名称	节点详情	节点按钮
  输入/输出	输入 输出
  列操作	选择列 合并列 修改列类型 添加列
  行操作	行转列 列转行 聚合 行过滤 去除重复项 拆分记录
  合并数据	联合（UNION） 连接（JOIN）

2.2 画布区域

1. 用户将左侧节点模板中选中的节点拖拽至中间画布区域，通过连线将节点连接起来。点击起始节点右侧的小圆点，不要释放鼠标，移动到目标节点的箭头区域，释放鼠标，可以看到有一条虚线，表示两个命令被连接起来。

   
   

2.3 节点配置及预览区域

1. 将节点与上一节点连接之后，节点配置及预览区域在画布区域的下方展开。选中需要配置的节点，根据说明及提示完成相应的配置。正确完成配置之后，命令之间的连线将变为实线。

   
   

2. 节点配置完成后，单击节点配置及预览区域的“数据”页签，即可预览对应节点的计算结果：

   
   

2.4 缩略图区域

1. 当画布区域中包含较多命令时，缩略图提供了一个综合视角，可通过拖动方框，快速定位到对应区域。

   
   

2.5 菜单栏

1. 运行

   为确保用户获得更优的使用体验与系统性能，ETL查询默认基于缓存机制执行。通过缓存数据，系统能够显著提升查询效率，减少对底层数据库的直接访问，从而降低系统负载并加快响应速度。运行即生成缓存，提供了以下两种运行模式：

   
   

• 1）快速运行：基于已有的缓存进行。

  • 方法一：单击菜单栏中的“运行”按钮，系统将执行“快速运行”操作。该操作基于已有缓存数据，无需重新与数据库进行交互，可显著提升执行效率。

    
    

  • 方法二：添加节点并正确完成配置，当用户切换至节点配置与预览区域的数据页签，即可生成缓存并预览数据，这与直接点击菜单栏中的“运行”按钮行为一致。

• 2）清空缓存并重新运行所有命令：适用于需要同步最新数据的场景。通过清空缓存并重新运行所有命令，系统将从选定数据源中获取最新数据，并以此更新缓存。

  type=info

  注意： 缓存有效期为30分钟。缓存失效后，节点的计算结果将无法预览。此时，需手动点击运行按钮，重新执行所有节点以生成新的缓存数据。

2. 预览行数设置

   为优化性能，系统默认预览结果仅显示1000行数据。用户可通过菜单栏中的行数设定来自定义预览行数。

   
   

   type=info

   注意： 设置过大的预览行数可能导致系统响应延迟，请根据实际需求谨慎选择。

3. 检索

   系统提供节点检索功能，帮助用户快速定位特定节点。单击菜单栏中的“检索”按钮，输入关键字后，按下回车键，系统将自动匹配并选中相关命令。若检索到多个结果，可通过上下箭头或继续按下回车键进行切换。

   
   

   
   

4. 保存

   1）单击保存按钮，即可保存对应的ETL查询。与其他数据集/数据模型不同，ETL查询在保存时无需指定文档名称，直接单击保存按钮即可完成保存操作。

   
   

   2）保存后，关闭ETL设计器，即可在缓存数据集查看到对应的ETL查询；抽取模型会先抽取数据，抽取完成后单击完成按钮即可在抽取模型看到对应的ETL查询。

   名称	示例图
   缓存数据集
   抽取模型

• 保存规则

  • 若未配置输入节点或输出节点，系统将禁止保存，此时保存按钮为不可用状态。

  • 正确设置输入节点、输出节点及相关数据处理节点后，点击“保存”按钮，即可完成ETL查询的保存。

3. 操作步骤

3.1 前提条件

在整个 ETL 数据转换流程中，至少需要配置一对输入输出节点（抽取模型可以有多个输出节点，每个输出节点输出一张表)。

1. 输入节点： 作为ETL流程的起点，输入节点用于从数据源中提取数据，作为ETL流程的起点。输入节点定义了数据的来源，可以是数据库、文件、API等。

2. 输出节点： 作为ETL流程的终点，可以输出为抽取模型或者缓存数据集中的一张表，供后续使用。

3.2 操作步骤

步骤一： 添加输入，输出节点

1. 左侧节点面板选择输入节点，通过拖拽，将输入节点拖拽到中间画布区域。

   
   

2. 单击画布区域的输入节点，在画布区域下方展开节点配置及预览区域，单击选择数据表，进入数据源选择界面，选择已经创建好的数据源，这里可以选择表，也可以使用自定义SQL。

   
   

3. 输入节点数据来源选择完成后，可以查询输入节点数据来源，修改输入节点名称，修改输入节点数据来源。

   
   

4. 左侧节点面板选择输出节点，通过拖拽，将输出节点拖拽到中间画布区域。

   
   

步骤二：添加与配置其他节点

1. 左侧节点面板选择其他节点（如聚合），通过拖拽，将输入节点拖拽到中间画布区域。

   
   

步骤三：建立节点关系

1. 单击输入节点右侧的空心圆，通过鼠标拖动到对应节点左侧的箭头处，完成关系建立。箭头的起点为前序节点，前序节点的输出结果是后续节点的输入。

   
   

   
   

2. 未完成当前节点的配置之前，连线为虚线。未完成配置的节点的右上角将标记一个黄色的警告图标。当正确完成配置后，连线变为实线，警告图标也会消失。

   
   

   
   

步骤四：修改节点配置

1. 选中需要修改的节点，在下方的配置面板中进行修改即可。当前序节点中的某个节点发生配置变化时，将导致后续节点不可用，节点图标的左上角显示红色错误提示，同时它们之间的连线也会变成虚线。用户需要根据提示对配置不正确的节点进行修复。

   
   

   
   

步骤五：删除节点

当实际使用中有节点需要删除时。

1. 鼠标悬停至所需要删除的节点，点击右上角的删除按钮即可。

   
   

2. 删除节点之后，会导致被删除节点的后续节点无法正常工作，用户需要根据需求重新进行连线及配置。

   
   

   
   

3. 通过鼠标框选，选中多个节点，可通过弹出的上下文菜单，完成批量删除/复制节点的动作。

   
   

步骤六：删除关系

1. 鼠标悬停至连线，在连接线上将显示删除图标，点击即可。