云栖问答

找不到答案?去提问题

2017-07-24 17:26:39

业务数据是在大数据平台重新存储一份?


来源: [直播] 基于阿里云数加的企业大数据仓库架构建设思路

比如业务数据用mysql,在大数据平台重新存储一份,用mysql,跟业务系统完全一样。
如果是这样,业务数据量很大,同步过来,如何保持原有业务的分布式,分区

1个回答

0

观涛

飞翔老虎你好,

这个问题的本质是异构系统见的集成运行架构设计。

一方面,数据库等系统与大数据平台做增量同步是大数据数仓的常见做法。数据上传到统一平台计算效率最高。阿里云上可以采用数据集成(https://www.aliyun.com/product/cdp?spm=5176.8142029.388261.84.oe0mCN)产品完成异构系统见的数据同步。采用增量同步的方式,数据量并不太大。

另一方面,MaxCompute平台也支持直读(同时提供一定的predicate pushdown能力)其他系统,目前已经支持OSS和OTS,MySQL也在开发中。

1
GO
1008
浏览
0
收藏
邀请他人回答