SLA 99.99%以上!饿了么实时计算平台3年演进历程

  1. 云栖社区>
  2. 中生代技术>
  3. 博客>
  4. 正文

SLA 99.99%以上!饿了么实时计算平台3年演进历程

技术小能手 2018-04-09 09:27:49 浏览5388
展开阅读全文

一、背景

饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发,其中包括20+组件的开发和维护、2K+ Servers 运维及数据平台周边衍生工具研发&维护。离线 Infra 和平台工具这一块对外分享的比较多。

今天主要给大家讲讲饿了么在实时计算平台方面的一些演进经验,整个实时平台也是经历了从无到有→快速发展→平台化的阶段,每个阶段都面临了不同的问题。

二、整体规模和架构

首先介绍下目前饿了么实时平台的整体规模:

516da44af08d4b7ad8ff0551f9d5d5d2ca2251064 Kafka 集群,单 Kafka 高峰100wmsg/s;
516da44af08d4b7ad8ff0551f9d5d5d2ca2251062 ELK 集群用来做日志检索,全网索引量86w/s;
516da44af08d4b7ad8ff0551f9d5d5d2ca2251064 Storm 集群,根据业务 SLA 进行物理拆分,全网高峰计算量1.6kw/s;
516da44af08d4b7ad8ff0551f9d5d5d2ca2251062 Spark Streaming 集群和2个 Flink 集群,都是






网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 中生代技术