debezium - 数据实时捕获和传输管道(CDC)

  1. 云栖社区>
  2. 阿里云数据库ApsaraDB>
  3. 博客>
  4. 正文

debezium - 数据实时捕获和传输管道(CDC)

德哥 2017-10-28 23:44:00 浏览11642
展开阅读全文

标签

PostgreSQL , debezium , kafka , CDC


背景

在业务系统中,会涉及到多个数据源的数据流转,例如在线系统的数据流转到分析系统、流计算系统、搜索引擎、缓存系统、事件处理系统等。

为了实现这一目的,CDC系统应运而生,CDC系统用于捕获上游数据的实时变化(已提交的数据),写入消息队列(例如KAFKA)持久化。下游系统,消费消息队列的数据。从而实现实时的数据流转。

pic

debezium是一个开源的分布式CDC系统,支持对接各种数据源,将上游已持久化的数据变更捕获后写入消息队列。

https://github.com/debezium/debezium

上游是PostgreSQL、MySQL时,支持通过WAL、BINLOG实时捕获已提交事务数据。

https://github.com/debezium/postgres-d

网友评论

登录后评论
0/500
评论
德哥
+ 关注
所属团队号: 阿里云数据库ApsaraDB