1. 云栖社区>
  2. 全部标签>
  3. #RocketMQ#
RocketMQ

#RocketMQ#

已有3人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

RocketMQ问题排查思路

1、使用HTTP协议报错500。排查思路: 1). 是不是有tcp的producer在发送。 2). 是不是有大量的非法字符。建议单独建一个topic给http,然后再进行测试。 2、报没有权限: 1). 如果是主账号:确保GID和topic都是主账号创建; 2). 如果是子账号:确保GID是子账号创建,并且topic授权这个ak使用。

云栖社区 消息系统 ONS 日志 测试 string static RocketMQ

一次 RocketMQ 进程自动退出排查经验分享(实战篇)

1、背景 公司一个 RocketMQ 集群由4主4从组成,突然其中3台服务器“竟然”在同一时间下线,其监控显示如下:依次查看三台机器的监控图形,时间戳几乎完美“吻合”,不可思议吧。 2、故障分析 出现问题,先二话不说,马上重启各服务器,尽快恢复集群,降低对业务的影响,接下来开始对日志进行分析。

故障方案 分布式 消息系统 开发框架与中间件 java 日志 集群 中间件 Image RocketMQ rocketmq实战 broker异常退出

源码阅读技巧篇:RocketMQ DLedger 多副本即主从切换专栏回顾

RocketMQ DLedger 多副本即主从切换专栏总共包含9篇文章,时间跨度大概为2个月的时间,笔者觉得授人以鱼不如授人以渔,借以这个系列来展示该系列的创作始末,展示笔者阅读源码的技巧。 首先在下决心研读 RocketMQ DLedger 多副本(主从切换)的源码之前,首先还是要通过官方的分享、百度等途径对该功能进行一些基本的了解。

消息系统 开发框架与中间件 日志 源码 同步 aliyun 主从切换 单元测试 存储 raft RocketMQ DLedger 日志复制 源码阅读技巧 raft选主

RocketMQ 平滑升级到主从切换实战

本文主要介绍如何将 RocketMQ 集群从原先的主从同步升级到主从切换。 首先介绍与 DLedger 多副本即 RocketMQ 主从切换相关的核心配置属性,然后尝试搭建一个主从同步集群,再从原先的 RocketMQ 集群平滑升级到 DLedger 集群的示例,并简单测试一下主从切换功能。

分布式 消息系统 Java核心技术 开发框架与中间件 实战 配置 集群 Image 主从切换 RocketMQ DLedger 多副本

源码分析 RocketMQ DLedger 多副本即主从切换实现原理

DLedger 基于 raft 协议,故天然支持主从切换,即主节点(Leader)发生故障,会重新触发选主,在集群内再选举出新的主节点。 RocketMQ 中主从同步,从节点不仅会从主节点同步数据,也会同步元数据,包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。

分布式 消息系统 开发框架与中间件 线程 源码 集群 同步 数据同步 主从切换 RocketMQ DLedger 多副本

RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧

源码分析 RocketMQ DLedger 多副本系列已经进行到第 8 篇了,前面的章节主要是介绍了基于 raft 协议的选主与日志复制,从本篇开始将开始关注如何将 DLedger 应用到 RocketMQ中。

分布式 消息系统 开发框架与中间件 java 日志 源码 配置 集群 主从切换 主从同步 存储 RocketMQ DLedger 多副本 平滑升级

基于 raft 协议的 RocketMQ DLedger 多副本日志复制设计原理

上一篇 源码分析 RocketMQ DLedger(多副本) 之日志复制(传播) ,可能有不少读者朋友们觉得源码阅读较为枯燥,看的有点云里雾里,本篇将首先梳理一下 RocketMQ DLedger 多副本关于日志复制的三个核心流程图,然后再思考一下在异常情况下如何保证数据一致性。

分布式 消息系统 开发框架与中间件 日志 源码 集群 Image aliyun 存储 raft RocketMQ 原理 DLedger 多副本 日志复制

源码分析 RocketMQ DLedger(多副本) 之日志复制(传播)

本文紧接着 源码分析 RocketMQ DLedger(多副本) 之日志追加流程 ,继续 Leader 处理客户端 append 的请求流程中最至关重要的一环:日志复制。 DLedger 多副本的日志转发由 DLedgerEntryPusher 实现,接下来将对其进行详细介绍。

消息系统 开发框架与中间件 java 日志 源码 logger request index 主从切换 type raft RocketMQ 多副本 日志复制

源码分析 RocketMQ DLedger(多副本) 之日志追加流程

上一篇我们详细分析了源码分析 RocketMQ DLedger 多副本之 Leader 选主,本文将详细分析日志复制的实现。 根据 raft 协议可知,当整个集群完成 Leader 选主后,集群中的主节点就可以接受客户端的请求,而集群中的从节点只负责从主节点同步数据,而不会处理读写请求,与M-S结构的读写分离有着巨大的区别。

分布式 消息系统 开发框架与中间件 java 日志 源码 集群 string 存储 RocketMQ DLedger 多副本 日志追加

RocketMQ 主题扩分片后遇到的坑

消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题。 1、案情回顾 1.

故障方案 分布式 消息系统 开发框架与中间件 集群 Image RocketMQ 集群扩容 消息队列不消费

源码分析 RocketMQ DLedger 多副本之 Leader 选主

本文将按照《RocketMQ 多副本前置篇:初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考: 节点状态需要引入3种节点状态:Follower(跟随者)、Candidate(候选者),该状态下的节点会发起投票请求,Leader(主节点)。

消息系统 开发框架与中间件 java 源码 集群 request RocketMQ leader DLedger 多副本 选主

源码分析 RocketMQ DLedger 多副本存储实现

详细介绍了RocketMQ DLedger 多副本存储实现部分,主要参考RocketMQ 存储部分的设计理念,并重点阐述 DLedger 消除存储格式、索引文件存储格式,诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍,故本文并未重复介绍。

消息系统 开发框架与中间件 日志 线程 源码 索引 void 内存映射 存储 RocketMQ DLedger 多副本 dledger存储协议

RocketMQ 多副本前置篇:初探raft协议

详细介绍了raft协议的Leader选举流程、日志复制两个重要部分,并提出实现raft协议需要考虑的问题点,为源码解析RocketMQ Dledger 多副本模块打下坚实的基础。

消息系统 开发框架与中间件 日志 集群 Image raft RocketMQ DLedger 多副本

RocketMQ一个新的消费组初次启动时从何处开始消费呢?

本文详细介绍一个新的消费组在启动时从何处开始消费,并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑,解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。

故障方案 消息系统 开发框架与中间件 消息队列 Consumer 存储 RocketMQ CONSUME_FROM_MAX_OFFSET CONSUME_FROM_FIRST_OFFSET CONSUME_FROM_TIMESTAMP

RocketMQ消息轨迹-设计篇

RocketMQ 消息轨迹主要包含两篇文章:设计篇与源码分析篇,本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹,主要跟踪消息发送、消息消费的轨迹,即详细记录消息各个处理环节的日志,从设计上至少需要解决如下三个核心问题: 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪? 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息: traceType跟踪类型,可选值:Pub(消息发送)、SubBefore(消息拉取到客户端,执行业务定义的消费逻辑之前)、SubAfter(消费后)。

消息系统 开发框架与中间件 服务器 配置 集群 消息中间件 中间件 存储 数据存储 RocketMQ 消息轨迹

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》,本文从源码的角度,分析一下RocketMQ ACL的实现原理。 备注:RocketMQ在4.4.0时引入了ACL机制,本文代码基于RocketMQ4.5.0版本。

消息系统 开发框架与中间件 java 源码分析 源码 配置 request string RocketMQ acl

RocketMQ ACL使用指南

详细介绍RocketMQ acl访问控制列表的流程图、plain_acl.yml文件各配置项的详细介绍、权限匹配验证流程与acl使用示例。

消息系统 开发框架与中间件 配置 static Consumer 数组 RocketMQ acl 使用指南 rocketmq访问控制

RocketMQ 主从同步若干问题答疑

主,从服务器都在运行过程中,消息消费者是从主拉取消息还是从从拉取?当消息消费者向从服务器拉取消息后,会一直从从服务器拉取?主从服务消息消费进是如何同步的?

消息系统 开发框架与中间件 服务器 同步 主从切换 主从同步 存储 RocketMQ 从不消费

4
GO