解读OpenMessaging开源项目,阿里巴巴发起首个分布式消息领域的国际标准

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

10月14日,阿里巴巴2017杭州·云栖大会,Linux 基金会Leadship团队 CNCF 执行总裁 Dan Kohn和阿里巴巴集团研究员蒋江伟共同宣布了分布式消息领域的国际标准OpenMessaging开源项目正式入驻Linux基金会,这也是国内首个在全球范围发起的分布式计算领域的国际标准。

据悉,OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

OpenMessaging的价值

在云计算时代,消息通讯已经成为现代数据驱动架构的关键环节,消息中间件可以连接数据源、数据处理引擎和应用程序。然而,全球范围内,消息领域仍然存在两大问题:一是缺乏供应商中立的行业标准,导致各种消息中间件的高复杂性和不兼容性,相应地造成了公司的产品低效、混乱和供应商锁定等问题。二是目前已有的方案框架并不能很好地适配云架构,即非云原生架构,因此无法有效地对大数据、流计算和物联网等新兴业务需求提供技术支持。

OpenMessaging抛弃历史包袱,轻装上阵,期望能解决这些弊端。除了做到可以链接跨平台、跨语言、跨产品和跨云的标准之外,OpenMessaging将提供Cloud Native的能力,面向云计算、混合云架构,实现多云平台无缝迁移,致力于提供金融、电子商务、IoT及大数据等领域的一站式解决方案。

详解OpenMessaging及其未来计划

OpenMessaging项目发起者阿里巴巴在分布式消息领域已深耕近十年。阿里巴巴自研消息中间件RocketMQ以万亿级的容量支撑阿里内部3000+应用,双十一当天承载上万亿消息流转;同时在阿里云上为数万个付费用户提供消息服务。RocketMQ的开源社区版本现已成为Apache基金会顶级项目,和Hadoop、Spark等大数据生态体系逐渐形成合力,被国内外互联网、金融,大数据等领域的企业广泛使用。

得益于阿里巴巴在消息领域沉淀的丰富经验,OpenMessaging项目是将互联网业务对消息的需求进行抽象,形成了一套能满足大多数业务场景的标准模型,并提供连接大数据和流计算平台的能力,逐步发展一个厂商无关的消息规范。具体而言,项目将首先推进开源消息解决方案的标准化接入,然后覆盖主流云平台,最后将生态外延,连接一切。

现如今,OpenMessaging项目已经开始在Apache RocketMQ中率先落地,并推广至整个阿里云平台,阿里云用户能最先通过OpenMessaging接入阿里云的消息生态。同时Apache RocketMQ的4.1.0版本实现了OpenMessaging的0.1.0-alpha版本,使用开源RocketMQ的用户可以率先使用OpenMessaging,RocketMQ官网提供了接入文档。

未来一年,OpenMessaging项目将会从开源社区、云平台和生态系统三个维度展开工作。

  • 开源社区:推出OpenMessaging的1.0版本,Apache RocketMQ和Apache Pulsar等开源产品会相继实现该标准,同时会尝试推进Spring Cloud,ActiveMQ、RabbitMQ、Kafka等主流平台接入。
  • 云平台:RocketMQ的实现会在阿里云的商业消息产品Aliware MQ中落地,成为阿里云平台的上默认消息接入规范,同时也会尝试了解其它云平台的接入意愿。
  • 生态系统:OpenMessaging主要会先从三个方面进行生态的延伸和发展。

    1. Connector,使OpenMessaging能覆盖主流的大数据和流计算平台。
    2. Replicator,提供连接主流数据库的能力,比如Mysql,Redis,HBase等。
    3. Appender,覆盖日志和Metrics领域。

目前,项目组建了一个较小的OpenMessaging Technical Steering Committee(OMTSC)和OpenMessaging Industrial Advisory Board (OMIAB),TSC成员会把控整个项目的方向和推动项目发展,IAB顾问组成员会为项目提供丰富的指导性建议,同时也有义务将项目在其所在组织进行推广和实现。其中,TSC的初始成员主要来自阿里、滴滴、雅虎和Streamlio等公司,TSC会带着这些公司的沉淀,在充分讨论的基础上,制定规范版本,同时提供多语言API和解决方案。而IAB成员则由业内相关领域的专家组成。

随着项目的推进,当主流开源项目和云提供商能支持OpenMessaging的实现时,用户可以低成本甚至无成本的在不同的产品和不同的云平台之间进行迁移,没有技术选项和多语言的困扰。这也是OpenMessaging项目的初衷。

阿里巴巴中间件技术部研究员蒋江伟表示,作为分布式系统消息服务规范标准,OpenMessaging的愿景是成为全球化、无国界、无公司边界,面向云和大数据,多行业领域的一站式方案标准。

写在后面

对于致力与成为全球化消息领域标准的OpenMessaging最大的挑战是如何做到厂商无关化,而得到众多厂商的支持和接入并非一蹴而就。OpenMessaging绝对不是封闭的技术圈,而是需要开放才能得到社区的认可和厂商的接入,要做到这一点,与更多技术流派的项目开发者、厂商的充分沟通是必不可少,希望更多的有志之士能加入OpenMessaging社区生态,促进其健康发展,共同为打造顶级消息行业开放规范标准而努力。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
区块链 数据库 Swift
|
物联网 大数据 数据库
重磅,阿里巴巴发布分布式消息领域国际标准
一句话介绍OpenMessaging 分布式系统的消息服务的规范标准(如产品模型、API框架、迁移等),厂商无关、环境无关、产品无关。该项目已经获得Linux基金会的公开官方支持,于10月14日杭州•云栖大会阿里开源技术峰会上发布。
1370 0
|
监控 云栖大会
10月18日云栖精选夜读:解读OpenMessaging开源项目,阿里巴巴发起首个分布式消息领域的国际标准
OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。
3470 0
|
1月前
|
NoSQL 算法 安全
Redlock 算法-主从redis分布式锁主节点宕机锁丢失的问题
Redlock 算法-主从redis分布式锁主节点宕机锁丢失的问题
152 0
|
1月前
|
NoSQL 关系型数据库 MySQL
分布式锁(redis/mysql)
分布式锁(redis/mysql)
55 1
|
3月前
|
NoSQL Java 测试技术
字节二面:Spring Boot Redis 可重入分布式锁实现原理?
字节二面:Spring Boot Redis 可重入分布式锁实现原理?
158 1
|
3月前
|
存储 缓存 NoSQL
【分布式】Redis与Memcache的对比分析
【1月更文挑战第25天】【分布式】Redis与Memcache的对比分析
|
22天前
|
NoSQL Java Redis
如何通俗易懂的理解Redis分布式锁
在多线程并发的情况下,我们如何保证一个代码块在同一时间只能由一个线程访问呢?
31 2
|
1月前
|
缓存 NoSQL Java
【Redis】5、Redis 的分布式锁、Lua 脚本保证 Redis 命令的原子性
【Redis】5、Redis 的分布式锁、Lua 脚本保证 Redis 命令的原子性
56 0