[]
为什么要配置增量更新字段?
对于缓存在模型中数据,每次更新都进行完全提取,势必会浪费大量的资源和时间。实际上,对于一些没有更新的历史数据,是不需要刷新甚至是需要清理的。
因此,Wyn 抽取模型支持了多种数据更新方式。除了全量抽取更新外,还可以进行增量抽取、更新指定时间至今的数据、清理指定时间之前的数据等。
增量抽取数据的工作原理是在上次抽取的基础上,比较自增的 id,大于上次则进行增量抽取,然后将其添加到模型中。
同样指定日期进行更新或清理数据也需要一个标记来进行比较。
因此除全量更新外,使用其他数据更新方式的前提都是要在模型中指定一个字段作为标记,用来标记抽取时机。
在数据模型设计器中,选择表,然后设置标记字段。
这里选择的标记字段必须是自增数据列(如时间戳、自增序号等)。
设置好标记字段后即可使用增量抽取功能。如下图所示,左侧为手动更新,右侧为在运行计划中设置更新,均可选择增量的方式来添加数据。
增量表示在上次抽取的基础上,比较自增的标记字段,大于上次则进行增量抽取,然后将其添加到模型中。这是一种纯增加数据的方式,不会更新或清理已有数据。
当在模型中选择一个日期/日期时间类型的字段作为标记字段时,除了纯增量之外还可以在运行计划中更新或清理指定日期的数据,详细介绍请见自动更新模型数据(全量/增量/更新/清理)。
注意
模型中的自定义表不支持设置增量更新,自定义的字段不支持设置为增量标记字段。