[]
        
(Showing Draft Content)

数据集增量更新

缓存数据集支持增量更新,仅将增加的数据增加到原数据集中,增量更新较全量更新可以提高更新效率并节省系统资源。

image2020-9-21_15-0-56.png

增量更新功能适合同时满足以下情况的表:

  • 只增加不减少

  • 有自增数据列(如时间戳、自增序号等)。

如果表中没有自增列可以作为增量更新识别的字段时,则不可以使用增量更新功能。

增量更新的工作原理是用 sql 语句中的 where 条件来判断大于上次抽取标记的数据,然后将其添加到数据集中。因此使用增量更新功能时必须有一个可以用来标记抽取时机的字段。

配置增量更新字段

要使用增量更新功能,首先需要在设计数据集时配置一个增量更新的识别字段。

在数据集设计器中,切换到设置界面。选择增量更新的表和字段名称。比如这里我们将自增列序号配置为识别字段。

配置之后,数据集将以配置的序号列为标记,每次更新时记住更新的序号。下次则仅增加大于该序号的数据。

image2020-9-19_10-40-53.png

注意

设置增量更新时,仅能选择一个表的某一个字段。并且这个字段必须为自增字段,以标识每次的更新时机。

以下情况均不能使用增量更新功能:

当数据集中使用了自定义表时;

当数据集使用了“分组”模式时;

当数据集中使用了多表“联合”操作时。

设置增量更新字段后,就可以使用数据集的增量更新功能了。

增量更新

配置好增量更新字段后,就可以进行增量更新了。

您可以手动增量更新,如下图。

image2020-10-19_13-51-21.png

也可以在运行计划中配置自动增量更新。当我们为缓存数据集中配置了增量更新字段之后,在运行计划中就可以选择覆盖增量更新了。

当我们不配置增量更新字段时,日常使用的默认都是覆盖更新方式。

运行计划里的其他配置项与普通覆盖更新时无差异,此处不重复介绍,请您参见缓存数据集自动单次刷新数据集自动定时刷新

image2020-9-21_12-22-5.png

数据集数据更新后,仪表板就可以拿到最新的数据了。

关于仪表板如何拿到更新的数据,使得最终显示出来的数据得以刷新。请您详见仪表板数据刷新