第1个回答 2022-06-30
相比批量计算，流计算方式可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。目前，该计算方式已经在Web应用、网络监控、传感监测等领域得到了实践与应用。通付盾大数据安全专家将流计算技术原理成功应用于大数据安全领域，打造出计算性能优越，高并发，上万吞吐量，毫秒级返回的流计算引擎，为金融行业提高风控管理提供了技术支持。
在互联网时代背景下，金融消费者聚集的高度碎片化数据，规模在不断增加，金融机构和企业可以运用这些数据进行计算、加工和判断，推动金融行业智能风控的落地形成。因而当今的智能风控侧重大数据、算法和计算能力，强调数据间的相关关系。
通付盾大数据安全团队持续专注大数据计算与存储技术领域，在大数据安全技术的反复研究与摸索比较中发现，一款基于海量数据处理的高性能计算引擎至关重要，在这一点上，流计算引擎有着无可比拟的优势，而大多数计算引擎基于批处理系统，虽然具备海量数据处理能力，但在时效性上有明显滞后性，无法满足当前金融大数据实时计算需求。
以金融风控反欺诈为例，部署"流计算引擎"的通付盾风险监测预警平台能够基于海量风险数据，实时进行复杂风控模型及策略计算，高效输出风控结果的智能风控系统，性能明显优于传统的智能风控平台。
要解开流计算引擎的性能优越性之谜，需要从流计算的技术原理本身说起。
流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低，如用户点击流。因此，当事件出现时就应该立即进行处理，而不是缓存起来进行批量处理。为了及时处理流数据，就需要一个低延迟、可扩展、高可靠的处理引擎。对于一个流计算系统来说，它应达到如下需求：
1)高性能
2)海量式
3)实时性
4)分布式
5)易用性
6)可靠性
相较于传统静态数据，技术人员利用数据挖掘和OLAP分析工具从静态数据中找到对企业有价值的信息，流数据的处理对应不同的计算模式：实时计算。
实时计算一般针对海量数据进行的，一般要求为秒级，而通付盾大数据安全团队目前所采用的流计算引擎，针对海量数据的实时计算能力已经达到毫秒级，关键技术在于引擎的流计算能力：
(1) 与批量计算那样慢慢积累数据不同，流式计算将大量数据平摊到每个时间点上，连续地进行小批量的进行传输，数据持续流动，计算完之后就丢弃。
(2) 批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，必须先定义好计算逻辑，提交到流失计算系统，这个计算作业逻辑在整个运行期间是不可更改的。
(3) 计算结果上，批量计算对全部数据进行计算后传输结果，流式计算每次小批量计算后，结果可以立刻投递到在线系统，做到实时化展现。
正式如此，与传统采用关系型数据库采集金融大数据的方式进行风险预警相比，采用流计算技术的通付盾智能风控预警平台具备以下几大优点：
1)预置海量风控模型，智能识别业务场景风险类型，快速匹配并推送风控策略，提高风控效率；
2)支持实时、准实时、离线等多种风控模式，实现万级吞吐量毫秒级响应，为实时交易保驾护航；
3)风险大盘实时预警，及时感知风险态势，灵活调整风控策略，提高风控时效性；
不仅如此，基于"流计算引擎"的通付盾风险监测预警平台利用大数据、人工智能等先进技术，有效整合反欺诈技术如设备指纹、终端威胁感知、数据治理、态势感知等技术，构建面向不同场景的智能风控策略，既满足监管机构对金融业务风险防控的相关要求，又满足了金融企业创新业务有效开展的需求。
当前在大数据发展方向上，机器学习正在逐渐从批处理、离线学习向实时处理的方向发展，实时化正在变成一种趋势，实现感知、分析、判断、决策等功能的大数据智能系统都需要流式大数据实时处理平台的支撑；此外，流式大数据实时处理可以为大数据驱动的深度学习提供计算框架支撑。
流式计算在内容方面对金融与科学计算当中的数据进行更快运算和分析的需求，将成为下一代计算引擎。通付盾大数据安全团队希望能够利用流计算研发成果，打造真正智能化的风险监测预警平台，服务更多企业客户。