星环科技实时流计算引擎Slipstream破解大数据实时计算痛点

随着金融、电信、医疗等行业数字化转型的逐步深入，数据的时效性对企业的精细化运营显得越来越重要。同时，企业数据时效性要求高的业务场景不断涌现，已成熟的批处理数据架构难以应对。

在每天产生的海量数据中，如何能以实时或准实时的方式，挖掘出有价值的信息，对企业快速做出决策意义非凡，需要构建新一代的实时数据架构体系，实现数字化转型中的“换挡加速”。

但是在大数据兴起之初，开源的分布式系统基础架构Hadoop并没有给出实时计算解决方案。随着实时计算需求的增加，出现了Spark Streaming、Storm、Flink等开源的实时计算框架，与之后出现的开源项目Elastic Search、Kafka等结合，实时计算领域的技术开始得到应用。

根据专家的介绍，实时计算最重要的要求是对计算结果的实时响应，通常在毫秒级别。除了满足非实时计算的一些要求（如准确的结果）之外，实时计算一般还需要处理大量的数据。实时数据计算与分析可以动态、实时地对数据进行分析和计数，对系统监控、调度和管理具有重要的现实意义。

据调查，企业在实时计算方面普遍面临多种挑战，如开发门槛高，市场实时计算引擎种类多、用户选择困难，运维成本高，缺乏统一的监控告警体系等。

星环信息科技自主研发了一款企业级、高性能实时流计算引擎Transwarp Slipstream。今年3月大数据计算框架，星环科技实时流计算引擎Transwarp Slipstream9.0版本正式发布，新版本在聚合计算能力上进行了深度优化，充分提升了实时报表分析能力；借助引擎新特性，打破了窗口的局限性，进一步简化了大屏展示、实时报表等业务的开发，全面保证了数据的时效性和正确性，做到和实时同步任务几乎相同时延，产品的实时性提升了一个新台阶。

通过技术创新，Transwarp Slipstream 9.0在一些关键性能上均得到提升。如引进无锁队列和多路复用技术，改善流控机制，提高吞吐；基于屏障机制实现了轻量级的异步checkpoint技术，通过定期触发任务检查点，将对应时刻的任务状态持久化到分布式存储上，保证系统崩溃下计算的一致性；Slipstream通过codegen技术，充分提升了mapjoin性能，有效避免了性能退化；Slipstream优化了灵活的消费Event Store Offset策略，支持用户按Offset、按时间来重置，更加方便灵活，可以有效防止数据丢失。

另外，Transwarp Slipstream结合多年来实际生产部署的管理运维经验，开发了一套完整的指标收集框架，并通过Slipboard 进行配置管理和监控。除了告警、辅助用户进行页面运维以外，Slipboard还提供了一套图形化的任务设计接口，降低了应用开发人员的技术门槛，进一步提高了应用开发的效率。

在应用上，星环科技的Transwarp Slipstream通过提供丰富的组件与产品功能，可以帮助用户快速开发实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。目前Transwarp Slipstream已在金融 、交通、能源、电信、电商等多个行业数百个生产集群中部署使用。

（编辑：天瑞地安资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!