已有3人关注此标签
RocketMQ问题排查思路
作者: 阴转多云转晴
588人浏览
1、使用HTTP协议报错500。排查思路： 1）. 是不是有tcp的producer在发送。 2）. 是不是有大量的非法字符。建议单独建一个topic给http，然后再进行测试。 2、报没有权限： 1). 如果是主账号：确保GID和topic都是主账号创建； 2). 如果是子账号：确保GID是子账号创建，并且topic授权这个ak使用。
一次 RocketMQ 进程自动退出排查经验分享（实战篇）
作者: 丁威
707人浏览
1、背景 公司一个 RocketMQ 集群由4主4从组成，突然其中3台服务器“竟然”在同一时间下线，其监控显示如下：依次查看三台机器的监控图形，时间戳几乎完美“吻合”，不可思议吧。 2、故障分析 出现问题，先二话不说，马上重启各服务器，尽快恢复集群，降低对业务的影响，接下来开始对日志进行分析。
源码阅读技巧篇：RocketMQ DLedger 多副本即主从切换专栏回顾
作者: 丁威
416人浏览
RocketMQ DLedger 多副本即主从切换专栏总共包含9篇文章，时间跨度大概为2个月的时间，笔者觉得授人以鱼不如授人以渔，借以这个系列来展示该系列的创作始末，展示笔者阅读源码的技巧。 首先在下决心研读 RocketMQ DLedger 多副本(主从切换)的源码之前，首先还是要通过官方的分享、百度等途径对该功能进行一些基本的了解。
RocketMQ 平滑升级到主从切换实战
作者: 丁威
1074人浏览
本文主要介绍如何将 RocketMQ 集群从原先的主从同步升级到主从切换。 首先介绍与 DLedger 多副本即 RocketMQ 主从切换相关的核心配置属性，然后尝试搭建一个主从同步集群，再从原先的 RocketMQ 集群平滑升级到 DLedger 集群的示例，并简单测试一下主从切换功能。
源码分析 RocketMQ DLedger 多副本即主从切换实现原理
作者: 丁威
1507人浏览
DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。 RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。
RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧
作者: 丁威
946人浏览
源码分析 RocketMQ DLedger 多副本系列已经进行到第 8 篇了，前面的章节主要是介绍了基于 raft 协议的选主与日志复制，从本篇开始将开始关注如何将 DLedger 应用到 RocketMQ中。
基于 raft 协议的 RocketMQ DLedger 多副本日志复制设计原理
作者: 丁威
3307人浏览
上一篇 源码分析 RocketMQ DLedger(多副本) 之日志复制(传播) ，可能有不少读者朋友们觉得源码阅读较为枯燥，看的有点云里雾里，本篇将首先梳理一下 RocketMQ DLedger 多副本关于日志复制的三个核心流程图，然后再思考一下在异常情况下如何保证数据一致性。
源码分析 RocketMQ DLedger(多副本) 之日志复制(传播)
作者: 丁威
2141人浏览
本文紧接着 源码分析 RocketMQ DLedger(多副本) 之日志追加流程 ，继续 Leader 处理客户端 append 的请求流程中最至关重要的一环：日志复制。 DLedger 多副本的日志转发由 DLedgerEntryPusher 实现，接下来将对其进行详细介绍。
源码分析 RocketMQ DLedger(多副本) 之日志追加流程
作者: 丁威
609人浏览
上一篇我们详细分析了源码分析 RocketMQ DLedger 多副本之 Leader 选主，本文将详细分析日志复制的实现。 根据 raft 协议可知，当整个集群完成 Leader 选主后，集群中的主节点就可以接受客户端的请求，而集群中的从节点只负责从主节点同步数据，而不会处理读写请求，与M-S结构的读写分离有着巨大的区别。
RocketMQ 主题扩分片后遇到的坑
作者: 丁威
623人浏览
消息组接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 1、案情回顾 1.
源码分析 RocketMQ DLedger 多副本之 Leader 选主
作者: 丁威
691人浏览
本文将按照《RocketMQ 多副本前置篇：初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考： 节点状态需要引入3种节点状态：Follower(跟随者)、Candidate(候选者)，该状态下的节点会发起投票请求，Leader(主节点)。
源码分析 RocketMQ DLedger 多副本存储实现
作者: 丁威
655人浏览
详细介绍了RocketMQ DLedger 多副本存储实现部分，主要参考RocketMQ 存储部分的设计理念，并重点阐述 DLedger 消除存储格式、索引文件存储格式，诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍，故本文并未重复介绍。
RocketMQ 多副本前置篇：初探raft协议
作者: 丁威
923人浏览
详细介绍了raft协议的Leader选举流程、日志复制两个重要部分，并提出实现raft协议需要考虑的问题点，为源码解析RocketMQ Dledger 多副本模块打下坚实的基础。
RocketMQ一个新的消费组初次启动时从何处开始消费呢？
作者: 丁威
581人浏览
本文详细介绍一个新的消费组在启动时从何处开始消费，并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑，解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。
RocketMQ消息轨迹-设计篇
作者: 丁威
2824人浏览
RocketMQ 消息轨迹主要包含两篇文章：设计篇与源码分析篇，本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹，主要跟踪消息发送、消息消费的轨迹，即详细记录消息各个处理环节的日志，从设计上至少需要解决如下三个核心问题： 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪？ 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息： traceType跟踪类型，可选值：Pub(消息发送)、SubBefore(消息拉取到客户端，执行业务定义的消费逻辑之前)、SubAfter(消费后)。
源码分析RocketMQ ACL实现机制
作者: 丁威
3286人浏览
有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》，本文从源码的角度，分析一下RocketMQ ACL的实现原理。 备注：RocketMQ在4.4.0时引入了ACL机制，本文代码基于RocketMQ4.5.0版本。
RocketMQ ACL使用指南
作者: 丁威
525人浏览
详细介绍RocketMQ acl访问控制列表的流程图、plain_acl.yml文件各配置项的详细介绍、权限匹配验证流程与acl使用示例。
RocketMQ 主从同步若干问题答疑
作者: 丁威
460人浏览
主，从服务器都在运行过程中，消息消费者是从主拉取消息还是从从拉取？当消息消费者向从服务器拉取消息后，会一直从从服务器拉取？主从服务消息消费进是如何同步的？
