[]
        
在线Demo 免费试用
(Showing Draft Content)

缓存数据集增量更新

1. 概述

1.1 功能概述

增量更新(Incremental Update)是一种数据同步机制,仅将新增的数据追加到目标数据集中,而不是全量覆盖。相比全量更新,增量更新能显著提高更新效率并节省系统资源。

缓存数据集支持增量更新,仅将增加的数据增加到原数据集中,增量更新较全量更新可以提高更新效率并节省系统资源。

工作原理: 增量更新的实现依赖于SQL的WHERE子句动态过滤数据,通过对比上次抽取的标记值(如最大ID或最新时间戳),仅查询并加载新增记录。这一机制要求数据源必须包含严格递增的标识字段,作为增量抽取的逻辑依据。

image2020-9-21_15-0-56.png

1.2 应用场景

增量更新适用于同时满足以下条件的表:

  • 数据只增不减(如日志表、交易记录、时序数据等)

  • 包含自增列(如时间戳 create_time、自增ID id、版本号 version 等)

如果表中没有可用于增量识别的字段,则必须使用全量更新。

2. 操作步骤

2.1 前提条件

  1. 数据准备: 确保系统已成功创建可用的数据源和缓存数据集。

  2. 自增列: 数据源需含自增列(如ID/时间戳)。

2.2 操作步骤

步骤一:配置增量更新字段

要启用增量更新功能,必须在数据集设计阶段预先设置增量标识字段

  1. 登录Wyn ,进入文档门户,单击「我的分析>数据集」,将鼠标悬停至需要编辑的文档处,单击更多按钮,在展开的上下文菜单中选择“ 编辑 ”,即可进入文档的编辑界面。

    PixPin_2025-04-02_18-21-37

  2. 在文档编辑界面,单击数据集编辑区的设置按钮,单击添加按钮。

    PixPin_2025-04-02_18-49-01

  3. 选择增量更新的表和字段名称。例如,我们将订单编号配置为增量标识字段。配置之后,数据集将以配置的订单编号列为标记,每次更新时仅更新的订单编号。下次则仅增加不同于该订单编号的数据。

    PixPin_2025-04-03_09-39-49

type=info

注意:

设置增量更新时,仅能选择一个表的某一个字段。并且这个字段必须为自增字段,以标识每次的更新时机。

以下情况均不能使用增量更新功能:

  • 当数据集中使用了自定义表时。

  • 当数据集使用了“分组”模式时。

  • 当数据集中进行了跨源联合或连接时。

步骤二:增量更新

完成增量更新字段配置并保存数据集后,即可通过手动或定时方式执行增量更新。

  1. 手动增量更新: 将鼠标悬停至需要编辑的文档处,单击更多按钮,在展开的上下文菜单中选择“ 增量更新缓存 ”,即可增量更新数据。

    PixPin_2025-04-02_18-36-40

  2. 定时增量更新: 可以在运行计划中配置自动增量更新。

  • 为已设置增量字段的缓存数据集添加运行计划时,可选择覆盖增量更新两种模式。

  • 未配置增量字段的缓存数据集将默认采用覆盖更新模式,其他运行计划配置项与常规覆盖更新一致(详见缓存数据集自动刷新)。

    PixPin_2025-04-02_18-43-25

  1. 数据集更新完成后,需要让关联的仪表板显示最新数据,针对仪表板的刷新机制,详见仪表板数据刷新

2.3 成果展示

  1. 增量更新完成后,您将看到数据集仅新增了变更部分的数据,原有记录保持不变。

    缓存-增量更新