如何在E-MapReduce上进行Kafka集群间数据复制

  1. 云栖社区>
  2. 阿里云E-MapReduce(EMR)>
  3. 博客>
  4. 正文

如何在E-MapReduce上进行Kafka集群间数据复制

鱼跟猫 2019-03-20 16:59:32 浏览930
展开阅读全文

1. 问题背景

我们在使用Kafka的时候,有时候会遇到以下几种场景:

  • 原有Kafka集群机型配置过旧,需要升级换代,重新规划一个Kafka集群,将老集群的数据迁移到新集群上
  • 数据上云,云下Kafka集群数据迁移到云上Kafka集群/Kafka服务
  • 多个Kafka集群数据汇总到一个Kafka集群
  • 基于业务Kafka集群,构建一个Kafka灾备集群

总结一下,以上场景可以抽象成两类:

  • 数据迁移
  • 数据灾备

Kafka社区提供了一个工具,即MirrorMaker,它可以满足用户的数据迁移需求,同时一定程度的满足数据灾备需求。当然除了原生MirrorMaker工具,也存在着各种衍生版本的数据同步工具。下面就简单介绍一下社区版的MirrorMaker工具。

2. MirrorMaker工具介绍

image

MirrorMaker工具不过是将Kafka Consumer和Pr

网友评论

登录后评论
0/500
评论
鱼跟猫
+ 关注
所属云栖号: 阿里云E-MapReduce(EMR)