使用EMR-Kafka Connect进行数据迁移

  1. 云栖社区>
  2. Apache Spark中国技术社区>
  3. 博客>
  4. 正文

使用EMR-Kafka Connect进行数据迁移

开源大数据EMR 2019-07-29 15:33:47 浏览1003
展开阅读全文

作者:
云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor


1.背景

流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。

Kafka Connect是一种可扩展的、可靠的,用于在Kafka和其他系统之间快速地进行流式数据传输的工具。例如可以使用Kafka Connect获取数据库的binglog数据,将数据库的数据迁入Kafka集群,以同步数据库的数据,或者对接下游的流式处理系统。同时,Kafka Connect提供的REST API接口可以方便的进行Kafka Connect的创建和管理。
Kafka Connect分为standalone和distributed两种运行模







网友评论

登录后评论
0/500
评论
开源大数据EMR
+ 关注
所属云栖号: Apache Spark中国技术社区