日均处理万亿数据!Flink在快手的应用实践与技术演进之路

  1. 云栖社区>
  2. 博客>
  3. 正文

日均处理万亿数据!Flink在快手的应用实践与技术演进之路

Ververica 2019-07-17 14:26:09 浏览5584
展开阅读全文

作者:董亭亭
整理:蒋晓峰

作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学,曾就职于奇虎 360、58 集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。

本次的分享包括以下三个部分:

  1. 介绍 Flink 在快手的应用场景以及目前规模;
  2. 介绍 Flink 在落地过程的技术演进过程;
  3. 讨论 Flink 在快手的未来计划。

一.Flink 在快手应用场景与规模

1. Flink 在快手应用场景

_05_jpeg

快手计算链路是从 DB/Binlog 以及 WebService Log 实时入到 Kafka 中,然后接入 Flink 做实时计算,其中包括实时 ETL、实时分析、Interval Join 以及实时训练,最后的结果存到 Druid、ES 或者

网友评论

登录后评论
0/500
评论
Ververica
+ 关注