Confluent宣布企业版Kafka支持多数据中心复制功能

简介:

最新的Confluent企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent是基于Apache Kafka的流平台提供商,它宣布了Confluent企业版的新特性,这些特性有助于构建流数据管道和开发流处理应用。

新的版本将会在本月底发布,其中包括了Confluent的两个版本:

Confluent平台:这是开源版本。它包括了Apache Kafka以及针对C、C++、Python和Go编程语言的客户端,它还打包了针对JDBC、ElasticSearch和HDFS的连接器,一个用于管理Kafka主题元数据的模式注册表(Schema Registry)以及与Web应用进行集成的REST代理; Confluent企业版:这是针对企业提供的版本,包含了开发企业级流应用的额外功能。它包括了监控事件流的Confluent控制中心(Confluent Control Center)、MDC复制以及自动化的数据平衡功能。
新的数据复制和数据平衡功能有助于更好地管理Kafka集群。

多数据中心复制(Multi-datacenter replication):借助多数据中心(MDC)复制功能能够实现安全的多集群副本,并且能够通过中心化的配置维护这些位于不同地理位置的集群。每个数据中心的Kafka集群是同步的,所以不同数据中心上的应用和配置能够保持同步。

它提供了持久化的跨数据中心复制功能并且与安全进行集成,能够在Apache Kafka中加密和认证复制的数据。我们可以针对整个集群或特定的主题子集进行复制操作。

MDC副本自带了完整的安全支持,包括跨数据中心对副本数据进行自动化的访问控制。认证采用的是SASL机制,支持与Kerberos和Active Directory集成。授权能够基于主题进行MDC的流复制。加密是基于SSL和Mirror Maker的。

自动化数据平衡:自动化数据平衡特性允许从Kafka集群中添加和移除节点,因此我们甚至可以创建跨集群的工作负载。它会监控集群的统计数据,比如节点的数量、分区(partition)的大小、分区的数量以及集群中leader的数量,并且会采用机架感知(rack aware)的算法来重平衡跨集群的分区。

云迁移: Confluent企业版产品对云功能的支持有助于将数据流创建到云端,并且能够将云集群与内部的Kafka集群进行同步。基于Confluent的复制功能,能够允许组织从某种云策略转换为将来的其他策略。

如果你对新特性感兴趣的话,可以注册即将开始的webinar或者最近上线的免费在线系列演讲。

本文转自d1net(转载)

相关文章
|
消息中间件 存储 Kubernetes
K8S环境快速部署Kafka(K8S外部可访问)
本文通过实战展示了如何在K8S环境部署kafka集群,并且K8S环境外部也能使用此服务
2506 1
K8S环境快速部署Kafka(K8S外部可访问)
|
6月前
|
消息中间件 监控 Java
一款开源的 Kafka 管理平台
Apache Kafka UI 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群,可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情况,支持多集群管理、性能监控、访问控制等功能
|
4月前
|
消息中间件 关系型数据库 MySQL
Kafka Connect :构建强大分布式数据集成方案
Kafka Connect 是 Apache Kafka 生态系统中的关键组件,专为构建可靠、高效的分布式数据集成解决方案而设计。本文将深入探讨 Kafka Connect 的核心架构、使用方法以及如何通过丰富的示例代码解决实际的数据集成挑战。
|
6月前
|
消息中间件 监控 容灾
Apache Kafka - 跨集群数据镜像 MirrorMaker
Apache Kafka - 跨集群数据镜像 MirrorMaker
60 0
|
8月前
|
存储 SQL 运维
开源免费用|Apache Doris 2.0 推出跨集群数据复制功能
Apache Doris 2.0 正式推出 CCR 跨集群数据复制功能,为企业提供更加可靠和高效的数据分析系统
|
消息中间件 运维 安全
基于开源组件打造 Kafka 自治集群
基于开源组件打造 Kafka 自治集群
114 0
基于开源组件打造 Kafka 自治集群
|
消息中间件 弹性计算 Java
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
243 0
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
|
消息中间件 机器学习/深度学习 存储
企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值
本文介绍了如何使用阿里云的Confluent Cloud和Databricks构建数据流和LakeHouse,并介绍了如何使用Databricks提供的能力来挖掘数据价值,使用Spark MLlib构建您的机器学习模型。
235 0
企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值
|
消息中间件 运维 Kubernetes
使用Rainbond部署Logikm,轻松管理Kafka集群
使用Rainbond部署Logikm,轻松管理Kafka集群
使用Rainbond部署Logikm,轻松管理Kafka集群
|
消息中间件 资源调度 关系型数据库
自己构建kafka镜像进行开发测试,你学会了吗?
本文介绍如何构建kafka自定义镜像来进行开发测试