[]
        
(Showing Draft Content)

自动更新模型数据(全量/增量/更新/清理)

1.功能概述

自动更新是指为模型添加运行计划,使其在设定的时间自动刷新数据。支持全量刷新、增量刷新、更新以及清理指定数据。

2.选择执行方式

2.1执行一次

选择需要更新的数据表以及抽取方式,选择“执行一次”,用户指定开始时间和执行基准时区,指定通知邮箱。

image

保存之后,在列表当中添加了一个自动执行的任务,当到达预定的日期时间,该任务将自动被执行。

image

type=warning

注意:

该任务仅会被执行一次,任务执行结束之后,该定时任务会被删除。

若该任务执行失败,会将错误结果发送至指定的通知邮箱

2.2定时执行

系统还支持定时任务的循环执行能力。选择“定时任务”作为执行方式。

image

2.2.1按指定模板进行

在执行数据更新操作时,系统资源的消耗是不可避免的。频繁的更新可能会造成系统资源的消耗。

为了优化资源利用并维持系统的高效运行,一些企业在实际应用当中,限制用户自定义执行频率的权限。通过提供一系列预定义的定时任务模板,供用户在创建定时任务时选择。如何创建模板,请参考:运行计划模板

image

type=warning

注意:

当前登录用户如果没有可选用的模板,则无法创建定时执行任务,请联系系统管理员进行模板的添加。

2.2.2用户自定义

通过模板来统一控制执行频率会不方便使用,一些企业在资源允许的情况下允许用户自己创建定时执行任务。

首先,由系统管理员系统管理门户中开启“允许用户创建自定义运行计划”。

image

用户在创建定时任务时,可以根据实际业务需要指定执行频次等。



image

  • 指定重复周期,提供3个选择:

    • 天计划

    • 周计划

    • 月计划

  • 指定开始时间。

  • 指定结束时间。

  • 指定执行基准时区。

3.抽取方式指定

系统资源是稀缺资源,若每次均使用全量更新的方式,当数据量巨大时,可能造成大量的系统消耗,故产品提供了多种抽取方式供用户选择使用,

  • 全量

  • 增量

  • 更新(当表的增量抽取属性指定为日期)

    • 更新指定时间至今的数据

    • 清理指定时间之前的数据。

3.1全量更新

全量更新,先清除原有缓存数据,从数据源中重新拉取所有数据并缓存起来。

3.2增量更新

缓存在抽取模型中的数据,如果每次更新都重新从数据库中抽取所有的数据,会浪费大量的系统资源和时间。Wyn 提供了增量更新的方式来解决这一问题。

用户需要在模型的表中指定“增量抽取属性”,方可依据该属性进行增量更新,更多详细信息请参考:增量更新

3.3更新(更新/清理)

当在模型中选择一个日期/日期时间类型的字段作为标记字段时,除了纯增量之外还可以在运行计划中更新或清理指定日期的数据。更多详细信息请参考:增量更新

4.任务管理

4. 配置完成

已添加的计划会在运行计划列表中列出,您可以通过单击右侧的菜单按钮,禁用、编辑、删除计划。

image2022-7-1_16-13-50.png