对于数据可视化,相信大家都不陌生。不管是众人皆知的双11、双12电商数据大屏,还是最近大家关注的疫情数据可视化,都是直接将我们关注的数据,通过各种分析图表和看板,更加直观地呈现在我们眼前。让我们更容易去查看数据的趋势,去记住并理解数据。
什么是实时数据可视化?
很多人,可能不禁要问,数据可视化不就是把数据通过柱形图、饼图、折线图等图表展示出来吗?这个看起来并不复杂。
是的,大家有这种想法很正常。特别是各位“表哥表姐”,伴随着“9毛9学Python”的浪潮,大家已经突破Excel的图表,通过Python尝试学习制作各种更加复杂、美观的图表了。
然而,大家日常用的图表,大部分的数据对实时性要求并不是很高,我们把这一类数据称为静态数据。因为它们在相对较长的时间内不会变化,可能更新时间是一天,甚至更久。然而,在我们的生产生活中,更多使用的都是动态数据,就是需要经常更新和变化的数据。动态数据是指在系统应用中随时间变化而改变的数据,如库存数据等。电商双11的数据统计,也是类似的场景,天猫的数据大屏上显示的成交额数字,就是采集到大家下单和支付的数据,直接推送到数据大屏上的。大家看到的数据,就是实时动态更新的真实数据。
动态数据和时间变化紧密相关,能够直接反映事务发生过程,比如,网站访问量、在线人数、实时销售额等等。在很多可视化场景中,对于时间变化频率要求很高,需要达到秒级甚至毫秒级,这就是实时数据可视化。实时数据就是动态数据中非常有代表性的数据,也是生产制造、电商、金融、互联网等众多行业最为关注的数据。他们需要密切关注实时数据,一旦数据延迟,会造成不可估量的损失。本文主要向大家介绍的就是实时数据可视化的知识。
实时数据可视化的实现原理
实时数据(RTD)是在收集后立即传递的信息,通过设备、采集器或其他平台所提供信息即时被“消费”,没有延迟。实时数据通常用于监控或跟踪,以及实时计算和分析的场景。举个例子,生产车间要实时监控产线的运行状态和生产情况,设备的运行数据就需要实时采集,同时通过数据可视化来监控。发生异常时需要第一时间进行报警。车间常用的MOM管理指挥中心的数据,就是通过这种机制来实现的。
下面以Wyn Enterprise商业智能软件为例,为大家普及下关于实时数据可视化的实现原理。
在Wyn Enterprise中,提供了两种用于动态数据可视化的数据集:推送数据集和流式数据集。我们来了解一下这两个数据集之间的区别。
推送数据集:
使用推送数据集,数据将直接推送到Wyn Enterprise服务中。Wyn Enterprise服务在接收到数据后,会自动创建一个数据表用来存储数据集。因为有一个服务会不断的将数据传入进行存储。所以,我们每次查看图表时,数据集所查询到的数据都是最新的,可以用于报警、数据刷新等场景。
推送数据集的更新,是通过数据集的定时刷新触发的数据更新。使用推送数据集后,结合定时刷新将数据实时展示到仪表板中,达到实时展示的效果。
流式处理数据集:
使用流式处理数据集,数据也会被直接推送到Wyn Enterprise服务中。Wyn Enterprise服务在接收到数据后,会自动创建一个数据缓存。与推送数据集有个本质的区别;就是流式处理数据集不会创建数据表,只会临时存储到缓存中,根据设定存储时间会过期,过期后则数据自动清空。临时缓存仅仅用于展示一些历史存在过的数据,只用来表示数据历史,如一个小时内的空气质量检测,一个小时内的设备运行状态等,或是实时显示出一个小时内数据的折线图等效果图。
在实际应用中,流式数据集对象适合处理最小化数据,对于时间维度来说具有非常强的表现能力,可以直观地显示出所推送的数据。
实时数据可视化的趋势
目前,在很多业务场景中,用户需要查看业务指标的实时数据大小,已经对数据展示的时效性提出了更高的要求。事实上,实时数据可视化在我们身边有各种各样的应用场景,随着物联网技术、5G技术的发展,实时数据可视化的场景将越来越多。比如工业领域的实时环境指标观测、产品生产加工的实时监测、金融领域的股票证券交易数据实时展示、城市交通路况的实时监测等。随着IoT概念的逐渐升温,会有更多行业的各种业务场景对实时数据可视化提出更高的要求。因此,不难预见,在商业智能领域,实时数据可视化将为以智能制造、智慧园区、智慧金融等领域为代表的“智慧+”企业的数字化转型带来更多的价值。