​星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

互联网 | 2022-06-07| 24

原标题:​星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

如今,随着企业业务规模的扩张、互联网应用的普及以及智能硬件的发展,可用的信息量及其规模正在呈现爆发增长的趋势。从采集到的异构数据中挖掘更深层次的信息并进行深度分析来赋予其价值对于业务发展来说至关重要。并且,这些异构数据的价值在于其时效性,通过对实时流产生的海量数据进行实时处理或进行历史数据关联分析等复杂处理可以全方位支持业务决策的制定,而这些都离不开流计算的支持。

Slipstream是星环科技自主研发的一款企业级、高性能实时流计算引擎,通过提供丰富的组件与产品功能可以帮助用户快速开发实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。目前Slipstream已在金融 、交通、能源、电信、电商等多个行业数百个生产集群中部署使用。

近日,星环科技实时流计算引擎Transwarp Slipstream正式发布9.0版本,新版本新增了无窗口关联功能,在聚合计算能力上进行了深度优化,充分提升了实时报表分析能力。Slipstream9.0借助引擎新特性,打破了窗口的局限性,进一步简化了大屏展示、实时报表等业务的开发,全面保证了数据的时效性和正确性,做到和实时同步任务几乎相同时延,产品的实时性提升了一个新台阶。本文将重点介绍全新的Slipstream9.0及其可视化开发监控工具Slipboard带来的全新功能以及在性能上带来的提升。

产品优势

随着流计算的不断发展,客户可以使用流计算引擎开发出越来越复杂的实时应用来实现对数据价值的挖掘。Slipstream是企业级流计算引擎,可以全方位支持用户在不同业务场景下的应用。例如在实时数仓方面,Slipstream可以很好地应对上百任务、近万Task并发的数据同步,并做到自动容灾、实时告警、数据不丢不重,这些核心特性在某港务公司和制药公司得到了很好的落地。相对于采用编程方式开发流应用,Slipstream主要核心优势包括:

SQL兼容性极高

Slipstream通过SQL的方式为用户提供开发接口,完整支持NSI SQL 2003、2016标准,提供丰富的算子、函数,满足大多数流处理场景。相比以往流处理平台的高技术门槛,用户使用Slipstream无需编码,省去项目构建发布打包等流程,仅通过SQL即可轻松上手开发部署应用,大幅度降低用户开发以及学习成本。并且,Slipstream支持丰富的存储类型,对星环各类数据库产品以及其他第三方产品提供良好支持,全方位满足用户在各类业务场景下的使用需求。通过配合Slipboard可视化流应用开发及管理工具,也可以在界面生成流应用,并实时监控任务状态,配置告警规则等。此外,采用编程方式可能对性能的影响不可控,无法将引擎性能发挥到极致。Slipstream就数据处理和访问进行了诸多优化,例如使用SQL可以无缝对接引擎内部。

高可用支持

Slipstream支持服务高可用及任务高可用。支持端到端Exactly-Once,任务自动故障恢复,多种状态存储和Checkpoint存储选择,满足各种高可用场景需求。在服务发生故障时,将业务的影响程度降到最低,高效提升故障恢复速度。随着流计算的不断发展,用户可以使用Slipstream开发出越来越复杂的实时应用来实现对数据的价值挖掘,例如金融领域的反洗钱反欺诈、交通领域的人车路管控、道路交通运行态势预警研判等。

新版本优化与新增功能

Slipstream9.0在性能和功能上都实现了全面增强,接下来将为您介绍此系列版本带来的全新变化。

全新功能加持

新增规则引擎V3,助力用户灵活配置业务规则,提高开发效率

规则引擎是处理复杂规则集合的引擎。通过模拟业务决策过程,根据预设规则库中预定义的语义模块处理事件并触发相应操作得到最终的执行结果。规则引擎的核心作用在于将复杂、易变的规则与应用系统的执行逻辑分离,由灵活可变的规则来描述业务需求。其大大降低了系统的维护成本,使企业的决策能够更加快速的反应到应用系统中。规则引擎通常由三部分组成,即规则库、事实收集和推理引擎。规则是由条件和结论组成的推理语句,可以进行推演或归纳。当事实满足条件时,相应的结论被激活。此类引擎广泛应用于银行信贷、交易风控、反洗钱、业务发展等诸多领域。Slipstream在9.0新增了规则引擎V3,其充分兼容Drools语法,支持本地调试,提供异步接口,访问数据库的同时可以保证高吞吐。通过内置规则引擎,可助力用户灵活配置业务规则,分离应用开发者的技术决策和商业决策者的商业决策逻辑,有效提高复杂逻辑的代码的可维护性,提高开发效率。

异步运行UDF,提升处理性能

Slipstream为用户提供了许多的解决方案来处理复杂的业务场景,但是随着用户业务规模的增长,原生函数很难应对一些复杂情况。因此,Slipstream支持用户使用UDF(User-Defined Functions自定义函数)。但是,一些用户定义的函数在使用过程中必须等待资源,在等待时,计算线程极易被阻塞而影响性能。因此,Slipstream支持异步运行UDF,其使用多路复用线程模型,异步非阻塞的处理数据,从而提升UDF处理性能。

无窗口流流Join,避免窗口出现数据进度不一致等风险

Join是处理数据流的重要操作符之一,为了在无限的数据流上连续产生输出,通常使用窗口来限制join处理的范围。但是,在同一个窗口的两个数据流之间进行join往往存在数据乱序或者延时的情况,导致两个流的数据进度不一致,出现数据跨窗口的情况,那么数据就无法在同一个窗口内join。并且,窗口无法支持时间跨度较大的延迟。因此,为了避免上述问题的产生,Slipstream9.0支持用户无需创建窗口即可实现流流Join。

新增KeyByte存储支持,业务逻辑涉及KeyByte时可以高效开发管理

Slipstream9.0新增KeyByte存储支持,其引擎内置支持输出到KeyByte,并提供查询功能。在过往版本中,用户在进行数据查询时,需要先查询KeyByte,再去跟表进行联合查询。并且,当数据需要进行更新时,需要单独写程序。在引进KeyByte后,用户可以直接拿KeyByte的数据来做计算,并且可以直接更新KeyByte数据,无需再单独写程序来跟KeyByte做交互,可以同步进行资源管理。

新增json字段类型,充分提升产品易用性

Slipstream9.0支持SQL 2016 标准中json的创建和访问,新增json 字段、以及丰富的查询和编辑json功能,为json提供更全的支持,整体简化了json 对象的处理,极大程度地提升了Slipstream的易用性。

关键性能提升

引进无锁队列和多路复用技术,改善流控机制,提高吞吐

如果流任务中有聚合计算,就需要对数据进行Shuffle,使相同聚合key的数据汇聚到同一个节点计算。为了提升Shuffle性能,Slipstream引进了无锁队列,在并发量高的环境下有效避免了使用锁带来的性能损失,并避免了死锁问题。另外,数据源消费环节也使用了无锁队列,支持异步拉取Event Store、RabbitMQ等数据,处理速度更快。流控与背压是Shuffle的重要一环,当下游处理能力下降的时候,通过流控和背压很好地控制住上游数据的拉取速率,减小集群的负载,保障了服务的稳定。Slipstream在使用无锁队列的同时,改善流控机制,采用多路复用技术,非阻塞传递数据与消息,任务之间共享TCP连接,充分利用资源并控制内存使用,使流上Shuffle性能步入一个新台阶。

状态与高可用优化,提升故障恢复效率

分布式流处理系统被用来处理不断扩展的实时数据,它能够组织共享的分布式计算资源并实时处理多个数据流。但是,一旦发生系统故障,单个节点的故障会中断甚至停止整个流处理进程,导致数据集不完整以及结果不准确,最终危及对数据较为敏感的应用程序(例如,医疗监控、财务分析和警报系统)。因此,流计算系统的容错机制十分重要。容错机制的核心是checkpoint(检查点)。Checkpoint是一个全局的程序快照,通过定期执行checkpoint来对状态变量的内容进行快照并进行持久化存储。当发生故障时,可以使用最新的checkpoint进行重启。然而,随着业务量与数据规模的增长,创建checkpoint的时间会十分耗时并且消耗大量资源。Slipstream基于屏障机制实现了轻量级的异步checkpoint技术,通过定期触发任务检查点,将对应时刻的任务状态持久化到分布式存储上来保证系统崩溃下计算的一致性,保证了系统高可用和高效率。并且,为了避免资源的浪费并降低故障恢复的时长,Slipstream引入RocksDB作为状态存储,支持增量checkpoint,使用RocksDB内置的备份机制来合并检查点数据。这样,checkpoint的数据会自动合并老的检查点数据并自动清理,从而保障故障恢复的效率。此外,Slipstream9.0可将checkpoint的数据存于Event Store中,进一步避免由于读写频繁所导致的性能影响。

对数据处理和拷贝进行优化,充分提升mapjoin性能

MapJoin简单来说就是在Map阶段将小表读入内存,顺序扫描大表完成Join。在CPU使用率比较高的时候mapJoin的性能很容易受到影响。在运行时基本类型的自动装箱一定程度上降低了性能并消耗额外的内存,codegen减少了数据转换的周期消耗,避免了资源的浪费,整体性能有所提高。因此,Slipstream通过codegen技术充分提升了mapjoin性能,有效避免了性能退化。

优化Source Event Store Offset重置策略,方便进行数据回溯,提升整体易用性

当第一次启动流任务的时候,会从Event Store最新的Offset开始读取,但是有时候需要消费任务启动之前的数据。Slipstream优化了灵活的消费Event Store Offset策略,支持用户按Offset ,按时间来重置,更加方便灵活,可以有效防止数据丢失。

优化可视化开发监控工具Slipboard,全方位提升监控、运维、告警功能

传统的监控系统展现能力比较弱,Slipstream结合多年来实际生产部署的管理运维经验,深入分析实时处理监控的痛点,开发了一套完整的指标收集框架,并通过Slipboard 进行配置管理和监控。例如任务监控到故障数据后进行预警和告警,对集群的整体运行状况进行监控,提供任务处理的延迟、吞吐、实时数据量、使用资源等丰富指标。除了告警、辅助用户进行页面运维以外,Slipboard还提供了一套图形化的任务设计接口,降低了对应用开发人员的技术门槛要求,降低了开发人员的学习成本,进一步提高了应用开发的效率。

总结

实时分析在应用场景中至关重要,通过对实时数据进行实时处理,用户可以快速制定出可行的业务决策,防止数据价值的流失。星环Slipstream实时流计算引擎已为上千家行业用户提供实时的数据采集、存储、查询、处理等服务。用户通过使用Slipstream可以快速开发出一系列应用,充分应用于欺诈检测、实时风控、实时推荐、设备故障检测、预测性维护等应用场景。例如,基于星环实时流计算引擎Slipstream构建的实时邮政监管平台每天都会有上亿的异构数据写入,在确保数据高并发写入的同时需要保障数据不丢不重,入库即可进行查询和分析。通过Slipstream,平台实现了不同结构数据的高并发写入,写入性能达到了数百万记录/秒,每天接入70亿业务数据,累计接入了PB级海量数据,具备数据采集、存储、处理、加工等一系列重要功能,帮助实现了离线业务、在线业务的即席秒级查询分析、秒级上亿数据的交互式复杂查询、分析、探索等应用需求。实时数据处理可以帮助多个应用领域,例如股票交易、新产品监控、欺诈检测和监管合规监控,通过实时警报和实时分析支持趋势感知和决策制定。并且,实时任务的故障更可能给企业造成经济损失,严重的甚至会导致生产事故,因此,实时处理的监控也尤为重要。Slipstream通过配合Slipboard可视化流应用开发及管理工具,可以在界面生成流应用,并实时监控任务状态,配置告警规则,实现系统与应用级实时监控,高效保障系统的稳定运行。此次,Slipstream9.0在产品易用性、性能、开发效率、存储成本等方面实现了全面升级。未来,Slipstream将持续对更多核心优势进行迭代与升级,帮助用户挖掘实时数据价值。

标签:, ,

相关推荐

去县城买房  买了小县城的房后悔想死

去县城买房 买了小县城的房后悔想死

2022年,县城买房话题不断。政策层面,河北廊坊近日取消户籍、社保(个税)等购房限制性条件,取消雄安新区周边“北三县”等重点区域及周边县(市)非本地户籍居民家庭住房销售限制。江苏省阜宁县、盐城市、贵州省晴隆县等地相继出台鼓励农民进城购房的政策,包 ...

互联网 2 2022-08-14
修车转行的太多了  修车工转行干什么好

修车转行的太多了 修车工转行干什么好

在4S商店修理汽车几年后,郑恒觉得他不能再这样下去了。他毕业于四川的一所职业技术学院。毕业后,他去了4S当地的一家汽车商店修车。我整天都在车间里处理汽车底盘。我从早到晚工作。我唯一的休闲时间就是午饭空,但是工资大概五六千。他想换工作,但他没 ...

互联网 2 2022-08-14
电影月球全球票房  电影独行月球投资方

电影月球全球票房 电影独行月球投资方

沈腾的票房号召力依然强劲。日前,由沈腾、玛丽主演的科幻喜剧电影《月球人》上映15天,累计票房22.6亿元,累计观众超5200万人。2022年暑期档独占鳌头,跻身科幻电影票房前三的位置,成为继《流浪地球》复仇者联盟4:终局之战之后的科幻电影黑马。《月球 ...

互联网 2 2022-08-14
只做白体恤的牌子  白色t恤的卖点介绍

只做白体恤的牌子 白色t恤的卖点介绍

在中国2000亿的t恤市场,没有一个知名品牌,这让小白T的品牌创始人张勇看到了机会。顾名思义,小白T的主打产品是白色t恤。这个成立不到四年的品牌,用一个视频撬动了5500万的销售额,如今已经实现了月销售额过亿的小目标。根据新榜编辑部的观察,越来越多 ...

互联网 2 2022-08-14
分账剧能治好长视频平台的精神内耗吗

分账剧能治好长视频平台的精神内耗吗

暑期大战越来越热,爱奇艺又有新动作。8月10日,爱奇艺私享分账剧专场交流活动在北京举行。爱奇艺宣布将甜宠赛道逐步交给分账剧行业,平台上的自制剧、定制剧、版权剧将逐步退出赛道,与分账剧制作方共享预留的优质IP进行内容创作。这是分账剧模式下平台 ...

互联网 2 2022-08-14
淘宝直播淘客  淘宝直播资讯

淘宝直播淘客 淘宝直播资讯

网络名人的迁徙是一部互联网流量变迁的历史。流量在哪里,人才就在哪里。他们把流量转化成一定的用户量,通过运营实现。形式上可能有变化,但根本路径是一样的。图文时代,达人转战微博、微信平台;当短视频出现时,人们涌向Tik Tok、阿奥特莱斯和哔哩哔 ...

互联网 2 2022-08-14
如何激活社区生态,从一档主综艺入手

如何激活社区生态,从一档主综艺入手

从生态到生态是哔哩哔哩对群落多样性的深刻理解,而这一次,他们也将这种理解植入到了《勇往直前》的方方面面。在通过落水、登顶享受夏日狂欢的同时,哔哩哔哩也调整了姿态,利用社区高互动、高粘性的优势,为自制内容和UP主双方打通发展通道。如果要在纷 ...

互联网 2 2022-08-14
审丑文化起源  当代审丑文化评论

审丑文化起源 当代审丑文化评论

“我只喜欢ESO里的鹿。”这句话频繁出现在《内娱最火的男团是谁?在微博的评论区。ESO是由一群网络名人组成的男性偶像团体,鹿晗是该团体最知名的成员之一。组合成员看起来都是低调的明星,艺名也和正版明星的真名玩谐音梗,就连组合名都是山寨的韩国男团EX ...

互联网 3 2022-08-13
独立开发变现周刊(第期):一个年收入万美元的业务,将播客转化为文章

独立开发变现周刊(第期):一个年收入万美元的业务,将播客转化为文章

分享自主开发和产品实现相关的内容,每周五发布。1.Popsy:一键概念页面是一个在线网站。Popsy提前提供了很多可视化模板,你只需要输入观念页的链接就可以快速生成网站。1.选择一个现成的模板样式,并输入到概念页面的链接。2.生成页面3.这个产品的价格是 ...

互联网 3 2022-08-13
谁靠茅台赚了100  茅台股票赚了一个亿

谁靠茅台赚了100 茅台股票赚了一个亿

8月4日,贵州茅台发布2022年半年报,公司实现营收576.17亿元,令人振奋。最引人注目的是,上半年茅台直销渠道收入占比36.35%,比2018年增长近7倍。短短几年,直销渠道占比开始大幅提升?不仅如此,从2018年到2020年,茅台国内经销商数量从2987家减少到204 ...

互联网 5 2022-08-13