Flink入坑指南 第二章 - 从一个需求开始

  1. 云栖社区>
  2. 阿里云实时计算>
  3. 博客>
  4. 正文

Flink入坑指南 第二章 - 从一个需求开始

小白薇薇 2018-12-27 14:33:44 浏览10798
展开阅读全文

Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。

从一个需求开始

小明是一个电商平台的数据开发工程师,在其公司的电商平台上,分了很多类目,每个类目有很多店铺。整个公司的数据链路如下:

架构1.jpg | center | 747x302

  • 蓝色链路为日志点击链路,每次用户从手机端/PC端发起的浏览网页请求,都会被发送到kafka里,然后被持久化到HDFS上,供数据分析。
  • 黄色链路交易链路,每次用户下单交易都会进入MySQL业务库。每天凌晨,MySQL库的数据都会被同步到Hadoop中。
  • Hadoop的HDFS上,保存了该公司产生的所有数据,包括交易数据和点击数据。

在很长一段时间内,小明老板每天早上都会看一下整个平台业务运营报表,

网友评论

登录后评论
0/500
评论
小白薇薇
+ 关注
所属云栖号: 阿里云实时计算