1. 聚能聊>
  2. 话题详情

【阿里云新品发布】从拥抱到超越,看阿里云消息队列Kafka如何实现8个9的数据可靠性

近日,阿里云宣布正式推出消息队列Kafka,全面融合开源生态。在全面兼容Apache Kafka生态的基础上,消息队列Kafka还具备了超易用,超高可用可靠性,扩缩容不操心,全方位安全诊断,数据安全有保障的特点。可用行达99.9%,数据可靠性99.999999%,彻底解决Apache Kafka稳定性不足的长期痛点,并且支持消息无缝迁移到云上。

7月25日,消息队列Kafka直播发布会传送门


» 全面兼容Apache Kafka生态

Apache Kafka是一个高吞吐的分布式,具备冗余备份的持久性化消息产品。正因为Apache Kafka为了分布式大数据而生,Apache Kafka 具有丰富的应用生态,主要包括以下三个方面:

• 广泛应用于大数据领域,如网站行为分析、日志聚合、Apps监控、流式数据处理、在线和离线分析等;
• 让数据集成变得简单:您能将 Kafka 中的消息导入到 ODPS、HBase、HBASE 等离线数据仓库;
• 可广泛的与流计算引擎集成,包括阿里云平台的 StreamCompute、E-MapReduce 和开源产品 Spark、Storm 等;
• 消息队列 Kafka 全面兼容Apache Kafka生态的基础上,还具备了超易用,超高可用可靠性,扩缩容不操心,全方位安全诊断,数据安全有保障的特点。

_Kafka_1


» 无缝迁移,自建无缝迁移到云上商业版

从自建 Kafka 到消息队列 Kafka,支持开源产品的无缝迁移,提供无门槛接入方式。那么消息队列 Kafka是如何做到让用户无缝迁移的呢?消息队列 Kafka 100% 兼容开源社区Apache Kafka(0.10.0.0 及以上版本),直接使用Kafka开源客户端便可与阿里云上消息队列Kafka进行通讯;对于原本使用开源 Apache Kafka的用户无需任何改造,即可迁移上云,享受到阿里云提供的消息队列 Kafka 服务;同时消息队列 Kafka 支持开源社区、阿里云平台产品的打通,与Kafka全生态能快速对接。


» 全托管服务,专业团队运维,客户0运维成本

Kafka团队提供专业的托管服务,用户无需关心各种运维细节。Kafka团队会从巡检 + 监控 + 告警三方面去保驾护航:

• 提供HouseKeeping(健康巡检组件):自动在Kafka 核心链路的运行时巡检,每分钟会对集群做一次全面扫描诊断,并能针对不健康的状态进行告警,同时,每日出具整体巡检报告,方便运维人员每天观察 Kafka 系统的健康状态;
• 业务监控与告警:每个 Consumer Group 都可以根据消息的堆积量情况进行监控与告警设置,帮助用户及时发现问题;
• Open APIKafka 提供给用户的一整套完备的管控类 Open API,用于实现一系列资源管理和运维功能。


» 稳定安全,可用行达99.9%,数据可靠行99.999999%

优化开源Apache Kafka长期的痛点。支持海量消息堆积,在海量消息堆积的情况下,始终保持 Kafka 集群的消息收、发的高吞吐能力服务可用性达 99.9%;消息会持久化落盘到消息队列,在磁盘容量足够的情况下,未到期数据保障存储,数据可靠性达到 99.999999%。

支持阿里云 VPC 访问;支持权限控制,以消息主题(Topic)、订阅组(Consumer Group)的粒度对用户访问权限进行控制,对每一条消息(Message)的收、发都进行严格的访问控制,确保消息的安全性;访问安全,在非VPC环境下使用,基于阿里云账号体系,并利用 SSL 对通道进行加密传输,确保数据传输过程中不被窃取或篡改,保证客户数据的安全。

历经近10年的技术沉淀,阿里巴巴将企业互联网化的精华沉淀在Aliware上,后者支撑了99%以上的大规模应用,目前阿里云推出了企业级分布式应用服务EDAS、性能测试PTS、消息队列MQ等近10款Aliware产品,为政府央企、智能制造、新零售等众多领域领先企业提供了领先的PaaS云产品,消息队列Kafka的推出将为更多长期使用Apache Kafka的开发者带来更多便利。

消息队列Kafka - 马上使用


消息队列Kafka的推出,是大数据生态的重要补充,那么您是否知道:

1、你是否使用过消息队列Kafka?
2、未来您会考虑使用消息队列Kafka吗?
3、消息队列Kafka适用于哪些应用场景?

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    阿里云代金券 x 5

  • 奖品二

    福禄寿淘公仔 x 1

67个回答

0

1400834019987736 复制链接去分享

大家好!

0

崔俊平 复制链接去分享

太好了

0

1412432186272034 复制链接去分享

kafka是用的比较多,光说阿里云的kafka可靠性高,没说体现在哪里

0

xwaby 复制链接去分享

1、你是否使用过消息队列Kafka?
没有,项目中只用rabbitmq。

2、未来您会考虑使用消息队列Kafka吗?
看看是否有机会使用消息队列kafka的。但可以先学习。

3、消息队列Kafka适用于哪些应用场景?
大数据领域,如网站行为分析、流式数据处理、在线和离线分析、日志聚合等。

0

小灬马 复制链接去分享

1、你是否使用过消息队列Kafka?
答:之前没有用过,但听过消息队列,跟handle机制有点类似,都是处理不同的消息种类。
2、未来您会考虑使用消息队列Kafka吗?
答:肯定是会用到的,因为现在越来越多的数据要进行处理,这些消息种类特别繁多,这个消息队列就是为这个而存在的。
3、消息队列Kafka适用于哪些应用场景?
答:(1)Messaging
对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)
(2)Websit activity tracking
kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等
(3)Log Aggregation
kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统.

0

浮生递归 复制链接去分享

1、你是否使用过消息队列Kafka?
没有,因为小项目比较多。很少有开发大项目。小项目里没什么使用消息队列kafka的机会。但是有关注消息队列这个产品,感觉还是个挺好的产品。

2、未来您会考虑使用消息队列Kafka吗?
项目到了一定规模,肯定逃不开使用消息队列kafka的。项目小的时候,更多的是考虑成本问题,能精简的方面都要去精简掉。

3、消息队列Kafka适用于哪些应用场景?
文中已经提到过了,大数据领域,如网站行为分析、日志聚合、Apps监控、流式数据处理、在线和离线分析等。

0

1764189231702437 复制链接去分享

光泽度和 v 发的方法vdfhjjhgx你能放心吃

0

何亚建 复制链接去分享

关键是贵啊……小公司完全用不起

0

微wx笑 复制链接去分享

1、你是否使用过消息队列Kafka?
没有使用过,只用过rabbitmq。

2、未来您会考虑使用消息队列Kafka吗?
有适合使用Kafka的应用场景肯定会用。

3、消息队列Kafka适用于哪些应用场景?
主要是用来做日志分析系统,其实Linkedin也是这么用的,可能是因为kafka对可靠性要求不是特别高,除了日志,网站的一些浏览数据应该也适用。(只要原始数据不需要直接存DB的都可以)

0

asxkill 复制链接去分享

阿里云真棒。

0

xanwzjs 复制链接去分享

  1. 复制系数。即一个消息应该有多少个副本【一般3个】,这些副本在机架上如何分布,保证不会应为1个broker挂掉或者一个机架路由有问题而导致不可用。
  2. 不完全首领选举。允许不同步的副本作为首领。坏处是对于同一个偏移量,不同步的副本作为首领之后,获取的是新数据,而原来的副本存储的是旧数据。【出现场景可能是,1:假设3个副本,2个副本挂了,首领副本正常运行,这时候首领副本也挂了,随后启动了新的副本,数据不同步;2:3个副本中,首领副本正常,但是由于网络延迟跟随副本复制存在一定的延迟,如果首领副本挂了,其它副本都是不同步的】
  3. 最少同步副本。当分区同步副本数少于最少同步副本的时候,就停止接受生产者的消息,抛出异常。以避免不完全选举所产生的数据写入与读出预期不一致的情况
0

oreo 复制链接去分享

新手上路

0

1625111779150652 复制链接去分享

为什么想要个完整的服务那么难?

0

1378432272186248 复制链接去分享

好样的,真棒

0

李亚娟 复制链接去分享

App199272

0

idealstudio 复制链接去分享

ECS按流量计费是怎么计算的?什么也没用,每小时0.14元,感觉比包月费钱啊。

0

1391531998852645 复制链接去分享

看不懂啊

0

小灬马 复制链接去分享

消息队列Kafka的推出,是大数据生态的重要补充,那么您是否知道:
1、你是否使用过消息队列Kafka?
答:之前没有用过,但听过消息队列,跟handle机制有点类似,都是处理不同的消息种类。
2、未来您会考虑使用消息队列Kafka吗?
答:肯定是会用到的,因为现在越来越多的数据要进行处理,这些消息种类特别繁多,这个消息队列就是为这个而存在的。
3、消息队列Kafka适用于哪些应用场景?
答:(1)Messaging

对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)

(2)Websit activity tracking

kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等

(3)Log Aggregation

kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统.
0

1376665987673309 复制链接去分享

网站建设推广有哪些步骤

0

zuiilc 复制链接去分享

不知道怎么去解决,就是随便看看

4