[]
增量更新(Incremental Update)是一种数据同步机制,仅将新增的数据追加到目标数据集中,而不是全量覆盖。相比全量更新,增量更新能显著提高更新效率并节省系统资源。
缓存数据集支持增量更新,仅将增加的数据增加到原数据集中,增量更新较全量更新可以提高更新效率并节省系统资源。
工作原理: 增量更新的实现依赖于SQL的WHERE子句动态过滤数据,通过对比上次抽取的标记值(如最大ID或最新时间戳),仅查询并加载新增记录。这一机制要求数据源必须包含严格递增的标识字段,作为增量抽取的逻辑依据。
增量更新适用于同时满足以下条件的表:
数据只增不减(如日志表、交易记录、时序数据等)
包含自增列(如时间戳 create_time
、自增ID id
、版本号 version
等)
如果表中没有可用于增量识别的字段,则必须使用全量更新。
数据准备: 确保系统已成功创建可用的数据源和缓存数据集。
自增列: 数据源需含自增列(如ID/时间戳)。
步骤一:配置增量更新字段
要启用增量更新功能,必须在数据集设计阶段预先设置增量标识字段。
登录Wyn ,进入文档门户,单击「我的分析>数据集」,将鼠标悬停至需要编辑的文档处,单击更多按钮,在展开的上下文菜单中选择“ 编辑 ”,即可进入文档的编辑界面。
在文档编辑界面,单击数据集编辑区的设置按钮,单击添加按钮。
选择增量更新的表和字段名称。例如,我们将订单编号配置为增量标识字段。配置之后,数据集将以配置的订单编号列为标记,每次更新时仅更新的订单编号。下次则仅增加不同于该订单编号的数据。
type=info
注意:
设置增量更新时,仅能选择一个表的某一个字段。并且这个字段必须为自增字段,以标识每次的更新时机。
以下情况均不能使用增量更新功能:
当数据集中使用了自定义表时。
当数据集使用了“分组”模式时。
当数据集中进行了跨源联合或连接时。
步骤二:增量更新
完成增量更新字段配置并保存数据集后,即可通过手动或定时方式执行增量更新。
手动增量更新: 将鼠标悬停至需要编辑的文档处,单击更多按钮,在展开的上下文菜单中选择“ 增量更新缓存 ”,即可增量更新数据。
定时增量更新: 可以在运行计划中配置自动增量更新。
为已设置增量字段的缓存数据集添加运行计划时,可选择覆盖或增量更新两种模式。
未配置增量字段的缓存数据集将默认采用覆盖更新模式,其他运行计划配置项与常规覆盖更新一致(详见缓存数据集自动刷新)。
数据集更新完成后,需要让关联的仪表板显示最新数据,针对仪表板的刷新机制,详见仪表板数据刷新。
增量更新完成后,您将看到数据集仅新增了变更部分的数据,原有记录保持不变。