ODPS跨集群迁移与数据同步经验分享

  1. 云栖社区>
  2. 博客>
  3. 正文

ODPS跨集群迁移与数据同步经验分享

sheeta 2016-03-07 11:11:23 浏览2741
展开阅读全文

本文来自于《程序员》与阿里云联合出品的《凌云》杂志。

作者:余晋

 

    随着业务的迅猛发展,阿里各业务部门如淘宝、天猫、一淘、B2B等每天都会产生大量的数据,日均增量数百TB。2013年初,阿里内部的生产集群PA所在机房的存储量最多可扩容到数十PB,而当时已使用75 % 的存储量。存储容量告急,迫切需要将生产集群PA上的大量数据迁移到其他集群。

 

     此时,如何安全地跨集群迁移几十PB的数据和其上相关业务,是我们面临的第一个挑战。数据迁移之后,两个集群间存在大量的数据依赖,需要互相访问最新的数据,如何安全快速地实现跨集群数据同步,这是紧跟其后的第二个挑战。本文将结合这两个挑战详细地介绍实现的细节和解决方案。

 

     数据多版本和读写

 

     首先,跨集群复制意味着同一份数据将存储在多个集群上。那么,每个集群上的数据可能会对

网友评论

登录后评论
0/500
评论
sheeta
+ 关注