发力IOT、大数据,Apache RocketMQ 构建云时代的新生态

简介: 摘要2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。

摘要

2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。嘉宾们详尽解读了RocketMQ的使用方式、概念模型、分布式事务等关键机制与原理,深入探讨了RocketMQ在大数据及IOT方面的生态布局、落地实践,并分享了在使用RocketMQ方面的经验以及从Kafka迁移到RocketMQ的具体方案。

11.jpg | center | 747x498

Apache RocketMQ Contributor 丁磊和阿里巴巴高级技术专家林佳梁作为主持人开场致辞,介绍了开发者沙龙的日程,回顾了RocketMQ的发展历程,同时介绍了OpenMessaging标准。OpenMessaging项目是由阿里巴巴发起,联合滴滴出行、雅虎、Streamlio等公司共同参与创立的国际消息标准,2017年10月14日宣布正式入驻Linux基金会,是国内首个在全球范围发起的分布式计算领域的国际标准。标准意在创立与厂商无关、平台无关的分布式消息及流处理领域的应用开发规范,以服务快速发展的互联网和云计算生态。

1. 开发指南及原理解读

首先由Apache RocketMQ PMC 刘振东进行了主题为《ApacheRocketMQ 101》的分享,帮助开发者从0开始学习 Apache RocketMQ,除了一些基础的入门内容外,还有很多是在社区未发表过的个人所感所悟,首次对外分享。分享内容包括RocketMQ的起源、RocketMQ概念模型、存储模型、部署模型和最佳实践总结。

E96W2413.JPG | center | 827x551

嘉宾杜恒分享了如何通过RocketMQ实现零外部依赖的最终一致性分布式事务解决方案。杜恒分析了XA、SAGA、TCC等传统的分布式事务解决方案,之后介绍了如何通过RocketMQ的事务消息机制解决微服务调用过程中产生的分布式事务问题,并给出了最佳实践。

E96W2769.JPG | center | 827x551

阿里巴巴高级技术专家林佳梁向大家介绍了流控软件Sentinel,Sentinel是由RocketMQ生态孵化出的开源项目,专注服务的限流、熔断降级、flow shaping、系统保护等。

E96W2551.JPG | center

2. 行业经验分享

本次沙龙邀请了滴滴出行消息队列负责人江海挺作了行业落地经验的分享。江海挺主要和大家探讨了滴滴如何通过RocketMQ构建消息基础设施。首先,阐述了选择RocketMQ替换原有消息队列kafka的初衷,之后介绍了如何基于RocketMQ构建新的基础设施,最后分享了从Kakfa到RocketMQ的在线迁移方案以及一些最佳实践的经验。

E96W2652.JPG | center

3. IOT和大数据探讨

IOT和大数据是RocketMQ未来的重点发展方向,本次沙龙也做了深入的探讨。Apache RocketMQ 的Contributor 肖宗阳进行了《MQTT Bridge for Apache RocektMQ》的主题分享。MQTT Bridge将成为RocketMQ承接上游海量IOT设备数据的核心组件,其具有支持热插拔、可扩展、可以动态扩缩容的特性。肖宗阳介绍了MQTT Bridge的使用场景、解决的核心问题以及总体的解决方案。

E96W2836.JPG | center | 747x498

嘉宾王鑫分享了RocketMQ在流计算方面的生态布局,并介绍了主流大数据分析框架Spark、Storm、Flink与RocketMQ的集成方式以及具体的使用案例。

E96W2922.JPG | center

​最后Q&A环节,所有嘉宾上台和到场的开发者就RocketMQ 跨机房延时问题、分布式事务问题、MQTT对互联网+的支持情况等进行了深入的交流。

E96W2954.JPG | center

E96W2961.JPG | center | 747x498

4. 调查问卷

Apache RocketMQ自2012年开源以来,受到了广大开发者的青睐。尤其是2016年成为Apache顶级项目后,受到了业界的巨大关注。在国内,RocketMQ已经应用于电商、新能源、互联网、金融、电力、物流、新零售、轨道交通等众多行业。在国外,新加坡、泰国、日本、德国、美国等很多国家的公司、开发者都在关注、使用RocketMQ。

为推动RocketMQ赋能到更多的企业,社区近期会推出一系列措施帮助企业使用RocketMQ、用好RocketMQ,比如技术培训、架构咨询、入厂指导等。社区非常渴望与使用RocketMQ的企业建立连接。我们希望和企业建立良好的互动机制,我们会搭建RocketMQ行业交流平台,深入推动RocketMQ在各行业的落地。无论来自传统行业还是互联网行业、无论是云厂商还是企业级用户,如果愿意,请通过调查问卷和我们建立连接。我们希望听到更多企业用户的声音、听到更多开发者的声音,希望和企业用户以及广大开发者一起把RocketMQ打造成中国为世界贡献的最好的开源项目!
(扫码二维码参与问卷调查)

_

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
15天前
|
存储 大数据 数据处理
PHP 与大数据:构建高效数据处理系统
传统的数据处理系统往往难以应对大规模数据的处理需求,而PHP作为一种常用的服务器端脚本语言,在数据处理方面也有其独特的优势。本文将探讨如何利用PHP构建高效的大数据处理系统,结合实际案例分析其应用场景及优势所在。
13 2
|
1月前
|
消息中间件 Cloud Native 物联网
深度剖析 RocketMQ 5.0,事件驱动:云时代的事件驱动有啥不同?
本文技术理念的层面了解一下事件驱动的概念。RocketMQ 5.0 在面向云时代的事件驱动架构新推出的子产品 EventBridge,最后再结合几个具体的案例帮助大家了解云时代的事件驱动方案。
78562 4
|
4月前
|
SQL Oracle 物联网
助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
45 0
|
4月前
|
SQL Oracle 关系型数据库
助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】
助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】
45 0
|
4月前
|
消息中间件 Apache RocketMQ
电子好书发您分享《Apache RocketMQ 源码解析》
电子好书发您分享《Apache RocketMQ 源码解析》
34 1
|
5天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
35 1
|
1月前
|
消息中间件 Cloud Native 物联网
深度剖析 RocketMQ 5.0,Apache RocketMQ:如何从互联网时代演进到云时代?
从整体技术架构上学习 RocketMQ 5.0 的云原生架构、一体化架构,最后再分别从业务场景切入,详细介绍 RocketMQ 5.0 在不同的业务场景提供的能力和关键技术原理,包括业务消息、流处理、物联网以及面向云时代的事件驱动场景。
107512 1
|
1月前
|
SQL 存储 监控
构建端到端的开源现代数据平台
构建端到端的开源现代数据平台
49 4
|
1月前
|
人工智能 DataWorks 数据可视化
心动基于阿里云DataWorks构建游戏行业通用大数据模型
心动游戏在阿里云上构建云原生大数据平台,基于DataWorks构建行业通用大数据模型,如玩家、产品、SDK、事件、发行等,满足各种不同的分析型应用的要求,如AI场景、风控场景、数据分析场景等。
331 1
|
2月前
|
消息中间件 运维 应用服务中间件
容器化运维:构建高可用RabbitMQ集群的Docker Compose指南
容器化运维:构建高可用RabbitMQ集群的Docker Compose指南
140 0

热门文章

最新文章

推荐镜像

更多