1. 云栖社区>
  2. 全部标签>
  3. #RocketMQ#
RocketMQ

#RocketMQ#

已有3人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Apache RocketMQ 的 Service Mesh 开源之旅

自 19 年底开始,支持 Apache RocketMQ 的 Network Filter 历时 4 个月的 Code Review([Pull Request](https://github.com/envoyproxy/envoy/pull/9503)),于本月正式合入 CNCF Envoy 官方社区([RocketMQ Proxy Filter 官方文档](https://www.

消息系统 Apache sdk code 微服务 request 负载均衡 Consumer service kafka RocketMQ 云原生 servicemesh

一款消息队列的客户端框架——启明信息车联网MQ演进实践分享

一款消息队列的客户端框架——启明信息车联网MQ演进实践分享 分享人:阿里云MVP曾宪宇,2014开始 就职于启明信息,负责车联网平台的架构和建设,坐标吉林长春。 分享内容:结合主流MQ,介绍一款基于Java的开源消息队列客户端框架。

分布式 消息系统 大数据 开发框架与中间件 java 消息队列 Cloud 性能 线程 spring 微服务 ActiveMQ kafka RocketMQ

统一HTTP网关支持Rocketmq多语言接入

解决问题 多client接入Rocketmq, 维护成本高,升级困难 特性 http方式生产消息、消费消息(推模式,http回调) 多语言接入 系统架构 快速开始 server 下载源代码,编译打包 mvn clean package -Dmaven.

架构 http 配置 Server test github RocketMQ

RocketMQ问题排查思路

1、使用HTTP协议报错500。排查思路: 1). 是不是有tcp的producer在发送。 2). 是不是有大量的非法字符。建议单独建一个topic给http,然后再进行测试。 2、报没有权限: 1). 如果是主账号:确保GID和topic都是主账号创建; 2). 如果是子账号:确保GID是子账号创建,并且topic授权这个ak使用。

云栖社区 消息系统 ONS 日志 测试 string static RocketMQ

一次 RocketMQ 进程自动退出排查经验分享(实战篇)

1、背景 公司一个 RocketMQ 集群由4主4从组成,突然其中3台服务器“竟然”在同一时间下线,其监控显示如下:依次查看三台机器的监控图形,时间戳几乎完美“吻合”,不可思议吧。 2、故障分析 出现问题,先二话不说,马上重启各服务器,尽快恢复集群,降低对业务的影响,接下来开始对日志进行分析。

故障方案 分布式 消息系统 开发框架与中间件 java 日志 集群 中间件 Image RocketMQ rocketmq实战 broker异常退出

源码阅读技巧篇:RocketMQ DLedger 多副本即主从切换专栏回顾

RocketMQ DLedger 多副本即主从切换专栏总共包含9篇文章,时间跨度大概为2个月的时间,笔者觉得授人以鱼不如授人以渔,借以这个系列来展示该系列的创作始末,展示笔者阅读源码的技巧。 首先在下决心研读 RocketMQ DLedger 多副本(主从切换)的源码之前,首先还是要通过官方的分享、百度等途径对该功能进行一些基本的了解。

消息系统 开发框架与中间件 日志 源码 同步 aliyun 主从切换 单元测试 存储 raft RocketMQ DLedger 日志复制 源码阅读技巧 raft选主

RocketMQ 平滑升级到主从切换实战

本文主要介绍如何将 RocketMQ 集群从原先的主从同步升级到主从切换。 首先介绍与 DLedger 多副本即 RocketMQ 主从切换相关的核心配置属性,然后尝试搭建一个主从同步集群,再从原先的 RocketMQ 集群平滑升级到 DLedger 集群的示例,并简单测试一下主从切换功能。

分布式 消息系统 Java核心技术 开发框架与中间件 实战 配置 集群 Image 主从切换 RocketMQ DLedger 多副本

源码分析 RocketMQ DLedger 多副本即主从切换实现原理

DLedger 基于 raft 协议,故天然支持主从切换,即主节点(Leader)发生故障,会重新触发选主,在集群内再选举出新的主节点。 RocketMQ 中主从同步,从节点不仅会从主节点同步数据,也会同步元数据,包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。

分布式 消息系统 开发框架与中间件 线程 源码 集群 同步 数据同步 主从切换 RocketMQ DLedger 多副本

RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧

源码分析 RocketMQ DLedger 多副本系列已经进行到第 8 篇了,前面的章节主要是介绍了基于 raft 协议的选主与日志复制,从本篇开始将开始关注如何将 DLedger 应用到 RocketMQ中。

分布式 消息系统 开发框架与中间件 java 日志 源码 配置 集群 主从切换 主从同步 存储 RocketMQ DLedger 多副本 平滑升级

基于 raft 协议的 RocketMQ DLedger 多副本日志复制设计原理

上一篇 源码分析 RocketMQ DLedger(多副本) 之日志复制(传播) ,可能有不少读者朋友们觉得源码阅读较为枯燥,看的有点云里雾里,本篇将首先梳理一下 RocketMQ DLedger 多副本关于日志复制的三个核心流程图,然后再思考一下在异常情况下如何保证数据一致性。

分布式 消息系统 开发框架与中间件 日志 源码 集群 Image aliyun 存储 raft RocketMQ 原理 DLedger 多副本 日志复制

源码分析 RocketMQ DLedger(多副本) 之日志复制(传播)

本文紧接着 源码分析 RocketMQ DLedger(多副本) 之日志追加流程 ,继续 Leader 处理客户端 append 的请求流程中最至关重要的一环:日志复制。 DLedger 多副本的日志转发由 DLedgerEntryPusher 实现,接下来将对其进行详细介绍。

消息系统 开发框架与中间件 java 日志 源码 logger request index 主从切换 type raft RocketMQ 多副本 日志复制

源码分析 RocketMQ DLedger(多副本) 之日志追加流程

上一篇我们详细分析了源码分析 RocketMQ DLedger 多副本之 Leader 选主,本文将详细分析日志复制的实现。 根据 raft 协议可知,当整个集群完成 Leader 选主后,集群中的主节点就可以接受客户端的请求,而集群中的从节点只负责从主节点同步数据,而不会处理读写请求,与M-S结构的读写分离有着巨大的区别。

分布式 消息系统 开发框架与中间件 java 日志 源码 集群 string 存储 RocketMQ DLedger 多副本 日志追加

RocketMQ 主题扩分片后遇到的坑

消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题。 1、案情回顾 1.

故障方案 分布式 消息系统 开发框架与中间件 集群 Image RocketMQ 集群扩容 消息队列不消费

源码分析 RocketMQ DLedger 多副本之 Leader 选主

本文将按照《RocketMQ 多副本前置篇:初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考: 节点状态需要引入3种节点状态:Follower(跟随者)、Candidate(候选者),该状态下的节点会发起投票请求,Leader(主节点)。

消息系统 开发框架与中间件 java 源码 集群 request RocketMQ leader DLedger 多副本 选主

源码分析 RocketMQ DLedger 多副本存储实现

详细介绍了RocketMQ DLedger 多副本存储实现部分,主要参考RocketMQ 存储部分的设计理念,并重点阐述 DLedger 消除存储格式、索引文件存储格式,诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍,故本文并未重复介绍。

消息系统 开发框架与中间件 日志 线程 源码 索引 void 内存映射 存储 RocketMQ DLedger 多副本 dledger存储协议

RocketMQ一个新的消费组初次启动时从何处开始消费呢?

本文详细介绍一个新的消费组在启动时从何处开始消费,并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑,解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。

故障方案 消息系统 开发框架与中间件 消息队列 Consumer 存储 RocketMQ CONSUME_FROM_MAX_OFFSET CONSUME_FROM_FIRST_OFFSET CONSUME_FROM_TIMESTAMP

RocketMQ消息轨迹-设计篇

RocketMQ 消息轨迹主要包含两篇文章:设计篇与源码分析篇,本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹,主要跟踪消息发送、消息消费的轨迹,即详细记录消息各个处理环节的日志,从设计上至少需要解决如下三个核心问题: 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪? 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息: traceType跟踪类型,可选值:Pub(消息发送)、SubBefore(消息拉取到客户端,执行业务定义的消费逻辑之前)、SubAfter(消费后)。

消息系统 开发框架与中间件 服务器 配置 集群 消息中间件 中间件 存储 数据存储 RocketMQ 消息轨迹

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》,本文从源码的角度,分析一下RocketMQ ACL的实现原理。 备注:RocketMQ在4.4.0时引入了ACL机制,本文代码基于RocketMQ4.5.0版本。

消息系统 开发框架与中间件 java 源码分析 源码 配置 request string RocketMQ acl

4
GO