阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

上单 2017-07-25 20:39:52 浏览4306
展开阅读全文

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

一,总体架构
1

按照数据流向
数据采集:flume(配置故障转移)
缓存队列:datahub
https://help.aliyun.com/product/53345.html?spm=5176.7618386.3.4.cigK2v
数据计算:阿里流计算(StreamCompute)
https://help.aliyun.com/video_list/54212.html?spm=5176.7618386.3.2.COgP6l
数据落地:rds(mysql)
https://help.aliyun.com/docum

网友评论

登录后评论
0/500
评论
上单
+ 关注