基于HybridDB for MySQL的企业ODS方案

  1. 云栖社区>
  2. 博客>
  3. 正文

基于HybridDB for MySQL的企业ODS方案

ali阿瑟 2017-07-18 12:13:25 浏览5230
展开阅读全文

随着DT时代的到来,数据的价值日益凸显。企业积累的数据越来越多,数据库的规模也达到成百上千个实例,数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例,利用尽可能短的时间窗口进行挖掘分析,成为各个企业IT管理中的核心问题。

当前方案,在线处理和离线分离,系统架构详见下图 
常见业务场景
1、为了满足分析需要,ETL策略为ELT(Extraction-Loading-Transformation),将全量数据同步到大数据平台中(MaxCompute、EMR、或自建Hadoop)中进行离线运算,定期完成数据整合后供如决策支持类分析型应用使用。

2、自建或者云上的大数据平台拉取生产数据:

a)不允许入侵到生产库,以免引起生产库的性能波动。

b)生产数据库申请只读实例,并设定相关权限。

c)大数据平台可通过同步工具(DTS

网友评论

登录后评论
0/500
评论
ali阿瑟
+ 关注