1. 云栖社区>
  2. 博客列表>
  3. 正文

一决高下,分布式流处理框架孰优孰劣

云计算小粉 2016-11-02 22:50:06 浏览1374 评论0

分布式 函数 性能 云栖大会 模块 编程

摘要: 本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

目前,分布式流处理框架数量不少,各有特色,究竟哪个性能更好、哪个效率更高、哪个更适合我呢?一般来说,当选择不同的流处理系统时,我们往往需要关注以下六大方面:1.运行时和编程模型2.函数式原语3.状态管理 4.消息传输保障 5.容错 6.性能。

其中,运行时模型主要包括原生的流处理和微批处理。流处理意味着所有输入的记录一旦到达即会一个接着一个进行处理,微批处理则把输入的数据按照某种预先定义的时间间隔分成短小的批量数据,流经流处理系统。编程模型一般分为组合式和声明式。组合式编程提供基本的构建模块,它们必须紧密结合来创建拓扑,相对应地,声明式API操作是定义的函数。

在下面的图中我们不仅会具体介绍每个要点,而且还会列出主流的框架,如Spark Streaming、Storm、Flink、Heron框架的性能对比测试结果数据。

c060971ac4de3ca279af9fe3356609cd34004360


10951ecaa791504b4042ed21961de925b13314ed

6408d63b6afaae86500d391753beb63ed652a139

1de09d7f4f7cb02460e7c355a598fb77529b1441

1e4113599f69e4c9c96040c01ec4374ba6ef4193

186946959b7a50c0978ddbff567615543189c0a4

218f012ceb890d08dd4e3d800b2c1da28165e465

25ec173c4a4a8419cace969ec585634eb1100cca

ec754530d225d39dbcc2a926ca5014c1615612db

f2262a5442d810056e1b1561b870cb9573bae2d0

7665d61e0a071ea670a775c3eaa0721761b67e26

460aeec6adb58c5081e1c90180bcb6b92218842b

ffc431e90c721d2df29562c1a2be939e023bdf93

ee58c03b044c4f9c0e7d9f412e58964786c36e8b

6d20aaaff6db49582b1a26daa975ff8f81c237f4

77c87a96d16f41c88518fcd5a51bab8ff9ae0383

260d1a3a13654485aa5f125e768d323f03aad02a

f2d17d30d4a2ed04cc23ba1ef0d8e36c5ff0dc1e





版权声明:本文内容由互联网用户自发贡献,本社区不拥有所有权,也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】红轴机械键盘、无线鼠标等753个大奖,先到先得,云栖社区首届博主招募大赛9月21日-11月20日限时开启,为你再添一个高端技术交流场所  详情请点击

网友评论

充分利用阿里云现有资源管理和服务体系,引入中间件成熟的整套分布式计算框架,以应用为中心,帮助企业级客户轻松构建并... 更多>

一种稳定、可靠、容量和服务能力可弹性伸缩的分布式关系型数据库服务。 更多>

提供一种性能卓越、稳定、安全、便捷的计算服务,帮助您快速构建处理能力出色的应用,解放计算给服务带来的压力,使您的... 更多>

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本... 更多>
MaxCompute75折抢购

MaxCompute75折抢购