Confluent宣布企业版Kafka支持多数据中心复制功能

简介:

最新的Confluent企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent是基于Apache Kafka的流平台提供商,它宣布了Confluent企业版的新特性,这些特性有助于构建流数据管道和开发流处理应用。

新的版本将会在本月底发布,其中包括了Confluent的两个版本:

Confluent平台:这是开源版本。它包括了Apache Kafka以及针对C、C++、Python和Go编程语言的客户端,它还打包了针对JDBC、ElasticSearch和HDFS的连接器,一个用于管理Kafka主题元数据的模式注册表(Schema Registry)以及与Web应用进行集成的REST代理; Confluent企业版:这是针对企业提供的版本,包含了开发企业级流应用的额外功能。它包括了监控事件流的Confluent控制中心(Confluent Control Center)、MDC复制以及自动化的数据平衡功能。
新的数据复制和数据平衡功能有助于更好地管理Kafka集群。

多数据中心复制(Multi-datacenter replication):借助多数据中心(MDC)复制功能能够实现安全的多集群副本,并且能够通过中心化的配置维护这些位于不同地理位置的集群。每个数据中心的Kafka集群是同步的,所以不同数据中心上的应用和配置能够保持同步。

它提供了持久化的跨数据中心复制功能并且与安全进行集成,能够在Apache Kafka中加密和认证复制的数据。我们可以针对整个集群或特定的主题子集进行复制操作。

MDC副本自带了完整的安全支持,包括跨数据中心对副本数据进行自动化的访问控制。认证采用的是SASL机制,支持与Kerberos和Active Directory集成。授权能够基于主题进行MDC的流复制。加密是基于SSL和Mirror Maker的。

自动化数据平衡:自动化数据平衡特性允许从Kafka集群中添加和移除节点,因此我们甚至可以创建跨集群的工作负载。它会监控集群的统计数据,比如节点的数量、分区(partition)的大小、分区的数量以及集群中leader的数量,并且会采用机架感知(rack aware)的算法来重平衡跨集群的分区。

云迁移: Confluent企业版产品对云功能的支持有助于将数据流创建到云端,并且能够将云集群与内部的Kafka集群进行同步。基于Confluent的复制功能,能够允许组织从某种云策略转换为将来的其他策略。

如果你对新特性感兴趣的话,可以注册即将开始的webinar或者最近上线的免费在线系列演讲。

本文转自d1net(转载)

相关文章
|
3月前
|
消息中间件 Kafka 流计算
Flink的分区表订阅功能是通过Kafka的topic分区来实现的
Flink的分区表订阅功能是通过Kafka的topic分区来实现的【1月更文挑战第6天】【1月更文挑战第26篇】
100 1
|
3月前
|
关系型数据库 MySQL 分布式数据库
PolarDB MySQL企业版与标准版功能对比:如何选择适合您的版本?
随着数字化时代的到来,企业对于数据处理的需求越来越高,而数据库作为数据处理的核心,其性能和成本成为了企业关注的焦点。阿里云全新推出的PolarDB MySQL企业版和标准版,以全新的架构和优化,为企业提供了高性能、低成本的数据库解决方案。但在功能上,这两个版本有很多差异,我们该如何选择呢?
55 2
|
3月前
|
消息中间件 供应链 Java
Kafka的发布-订阅功能: Java实现与应用场景解析
Kafka的发布-订阅功能: Java实现与应用场景解析
64 0
|
6月前
|
消息中间件 存储 Kafka
Kafka 与 RabbitMQ:比较功能和用例
Kafka 与 RabbitMQ:比较功能和用例
356 1
Kafka 与 RabbitMQ:比较功能和用例
|
10月前
|
运维 Kubernetes 监控
云联壹云企业版新增自动巡检功能
我们在 v3.10 的企业版中新增了自动巡检功能,关于设计这个功能的初衷以及效果、客户收益简单给大家介绍一下。
云联壹云企业版新增自动巡检功能
|
11月前
|
消息中间件 Kafka 测试技术
Apache Kafka-消费端_批量消费消息的核心参数及功能实现
Apache Kafka-消费端_批量消费消息的核心参数及功能实现
235 0
|
11月前
|
消息中间件 Kafka 测试技术
Apache Kafka-生产者_批量发送消息的核心参数及功能实现
Apache Kafka-生产者_批量发送消息的核心参数及功能实现
493 0
|
编解码 关系型数据库 MySQL
MySQL企业版之数据脱敏功能
MySQL企业版之数据脱敏功能
209 0
|
消息中间件 存储 JSON
【Springboot】微服务学习笔记十:微服务项目整合Kafka实现文章上下架功能
【Springboot】微服务学习笔记十:微服务项目整合Kafka实现文章上下架功能
253 0
【Springboot】微服务学习笔记十:微服务项目整合Kafka实现文章上下架功能
|
消息中间件 分布式计算 Hadoop
SpringBoot + KafKa实现生产者和消费者功能
1.配置pom包 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2.配置application.yml kafka部分: kafka: # 指定kafka 代理地址,可以多个 bootstrap-servers: hadoop:9092, slave1:9092
SpringBoot + KafKa实现生产者和消费者功能

热门文章

最新文章