基于阿里云HBase产品的游戏大数据实践

  1. 云栖社区>
  2. 阿里云MVP>
  3. 博客>
  4. 正文

基于阿里云HBase产品的游戏大数据实践

黑云长剑 2019-05-14 00:37:21 浏览1454
展开阅读全文

大数据架构

我们团队大数据方案主要参考阿里巴巴大数据方案并结合自身特点量身定做,像阿里巴巴大数据体系架构一样也分四层,只是内容有所简化和差异。其实多数大数据架构方案都略同,只是在细节上有所差异。
_

  1. 数据采集层:数据来源有两种——客户端埋点日志和服务端请求处理日志。最终这些日志都是以日志聚合的形式,经过消息队列中间件缓存,最终汇总到数据湖。
  2. 数据计算层:市面上有多种离线和实时计算引擎,从技术生态成熟度来说Spark相对完善,我们选择了Spark生态技术栈。数据加工链路与阿里巴巴数据计算层类似分为操作数据层(Operational Data Store, ODS)、明细数据层(Data Warehouse Detail, DWD)、汇总数据层(Data Warehouse Summary, DWS)和应用数据层(Application Dat

网友评论

登录后评论
0/500
评论
黑云长剑
+ 关注
所属云栖号: 阿里云MVP