1. 云栖社区>
  2. 全部标签>
  3. #RocketMQ#
RocketMQ

#RocketMQ#

已有3人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

源码分析 RocketMQ DLedger(多副本) 之日志追加流程

上一篇我们详细分析了源码分析 RocketMQ DLedger 多副本之 Leader 选主,本文将详细分析日志复制的实现。 根据 raft 协议可知,当整个集群完成 Leader 选主后,集群中的主节点就可以接受客户端的请求,而集群中的从节点只负责从主节点同步数据,而不会处理读写请求,与M-S结构的读写分离有着巨大的区别。

分布式 消息系统 开发框架与中间件 java 日志 源码 集群 string 存储 RocketMQ DLedger 多副本 日志追加

RocketMQ 主题扩分片后遇到的坑

消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题。 1、案情回顾 1.

故障方案 分布式 消息系统 开发框架与中间件 集群 Image RocketMQ 集群扩容 消息队列不消费

源码分析 RocketMQ DLedger 多副本之 Leader 选主

本文将按照《RocketMQ 多副本前置篇:初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考: 节点状态需要引入3种节点状态:Follower(跟随者)、Candidate(候选者),该状态下的节点会发起投票请求,Leader(主节点)。

消息系统 开发框架与中间件 java 源码 集群 request RocketMQ leader DLedger 多副本 选主

源码分析 RocketMQ DLedger 多副本存储实现

详细介绍了RocketMQ DLedger 多副本存储实现部分,主要参考RocketMQ 存储部分的设计理念,并重点阐述 DLedger 消除存储格式、索引文件存储格式,诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍,故本文并未重复介绍。

消息系统 开发框架与中间件 日志 线程 源码 索引 void 内存映射 存储 RocketMQ DLedger 多副本 dledger存储协议

RocketMQ 多副本前置篇:初探raft协议

详细介绍了raft协议的Leader选举流程、日志复制两个重要部分,并提出实现raft协议需要考虑的问题点,为源码解析RocketMQ Dledger 多副本模块打下坚实的基础。

消息系统 开发框架与中间件 日志 集群 Image raft RocketMQ DLedger 多副本

RocketMQ一个新的消费组初次启动时从何处开始消费呢?

本文详细介绍一个新的消费组在启动时从何处开始消费,并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑,解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。

故障方案 消息系统 开发框架与中间件 消息队列 Consumer 存储 RocketMQ CONSUME_FROM_MAX_OFFSET CONSUME_FROM_FIRST_OFFSET CONSUME_FROM_TIMESTAMP

RocketMQ消息轨迹-设计篇

RocketMQ 消息轨迹主要包含两篇文章:设计篇与源码分析篇,本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹,主要跟踪消息发送、消息消费的轨迹,即详细记录消息各个处理环节的日志,从设计上至少需要解决如下三个核心问题: 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪? 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息: traceType跟踪类型,可选值:Pub(消息发送)、SubBefore(消息拉取到客户端,执行业务定义的消费逻辑之前)、SubAfter(消费后)。

消息系统 开发框架与中间件 服务器 配置 集群 消息中间件 中间件 存储 数据存储 RocketMQ 消息轨迹

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》,本文从源码的角度,分析一下RocketMQ ACL的实现原理。 备注:RocketMQ在4.4.0时引入了ACL机制,本文代码基于RocketMQ4.5.0版本。

消息系统 开发框架与中间件 java 源码分析 源码 配置 request string RocketMQ acl

RocketMQ ACL使用指南

详细介绍RocketMQ acl访问控制列表的流程图、plain_acl.yml文件各配置项的详细介绍、权限匹配验证流程与acl使用示例。

消息系统 开发框架与中间件 配置 static Consumer 数组 RocketMQ acl 使用指南 rocketmq访问控制

RocketMQ 主从同步若干问题答疑

主,从服务器都在运行过程中,消息消费者是从主拉取消息还是从从拉取?当消息消费者向从服务器拉取消息后,会一直从从服务器拉取?主从服务消息消费进是如何同步的?

消息系统 开发框架与中间件 服务器 同步 主从切换 主从同步 存储 RocketMQ 从不消费

RocketMQ问题排查思路

1、使用HTTP协议报错500。排查思路: 1). 是不是有tcp的producer在发送。 2). 是不是有大量的非法字符。建议单独建一个topic给http,然后再进行测试。 2、报没有权限: 1). 如果是主账号:确保GID和topic都是主账号创建; 2). 如果是子账号:确保GID是子账号创建,并且topic授权这个ak使用。

云栖社区 消息系统 ONS 日志 测试 string static RocketMQ

RocketMQ 消息发送system busy、broker busy原因分析与解决方案

1、现象 最近收到很多RocketMQ使用者,反馈生产环境中在消息发送过程中偶尔会出现如下4个错误信息之一:1)[REJECTREQUEST]system busy, start flow control for a while2)too many requests and system thre.

架构 服务器 线程 源码 Image 解决方案 busy RocketMQ broker 开源框架与中间件 TransientStorePool isOSPageCacheBusy REJECTREQUEST PC_SYNCHRONIZED PCBUSY_CLEAN_QUEUE

RocketMQ事务消息实战

本文主要是考虑在使用消息中间件时,如果保证不丢消息的一些实践思考。

Apache 消息中间件 string 伪代码 RocketMQ 事务消息 事务消息实战

RocketMQ源码分析之RocketMQ事务消息实现原下篇(事务提交或回滚)

事务消息提交或回滚的实现原理就是根据commitlogOffset找到消息,如果是提交动作,就恢复原消息的主题与队列,再次存入commitlog文件进而转到消息消费队列,供消费者消费,然后将原预处理消息存入一个新的主题RMQ_SYS_TRANS_OP_HALF_TOPIC,代表该消息已被处理;回滚消息与提交事务消息不同的是,提交事务消息会将消息恢复原主题与队列,再次存储在commitlog文件中。

源码 存储 RocketMQ 事务消息 RocketMQ事务提交或回滚

RocketMQ源码分析之RocketMQ事务消息实现原理中篇----事务消息状态回查

本文详细分析了RocketMQ事务消息实现原理中的事务状态回查实现,RocketMQ会默认一分钟的频率处理消息状态为Prepare的消息,通过调用消息生产者的事务状态查询接口得知消息的事务状态,从而决定提交或回滚消息。

java 消息队列 LOG 源码 string exception Group RocketMQ 事务消息 事务状态回查

RocketMQ实战:生产环境中,autoCreateTopicEnable为什么不能设置为true

1、现象 很多网友会问,为什么明明集群中有多台Broker服务器,autoCreateTopicEnable设置为true,表示开启Topic自动创建,但新创建的Topic的路由信息只包含在其中一台Broker服务器上,这是为什么呢? 期望值:为了消息发送的高可用,希望新创建的Topic在集群中的每台Broker上创建对应的队列,避免Broker的单节点故障。

消息系统 架构 服务器 集群 Image RocketMQ autoCreateTopicEnable

RocketMQ 学习之路 | 第二章 :RocketMQ-console的安装

一.介绍 rocketmq有一个对其扩展的开源项目,github:https://github.com/apache/rocketmq-externals 。 其中有一个子模块rocketmq-console,该子模块提供为rocketmq提供可视化的监控界面。

监控 模块 spring SSL Image Server github RocketMQ RocketMQ-Console

RocketMQ 学习之路 | 第一章 :RocketMQ 的安装与配置

一:RocketMQ 简介 RocketMQ 是一款分布式、队列模型的消息中间件,具有以下特点: 能够保证严格的消息顺序。 提供丰富的消息拉取模式。 高效的订阅者水平扩展能力。 实时的消息订阅机制。

分布式 java 日志 LOG 源码 配置 消息中间件 JDK RocketMQ 分布式消息

如何在优雅地Spring 中实现消息的发送和消费

本文将对rocktmq-spring-boot的设计实现做一个简单的介绍,读者可以通过本文了解将RocketMQ Client端集成为spring-boot-starter框架的开发细节,然后通过一个简单的示例来一步一步的讲解如何使用这个spring-boot-starter工具包来配置,发送和消费RocketMQ消息。

Cloud spring 配置 消息中间件 容器 stream RocketMQ rocktmq-spring-boot spring-boot-starter

【3-2 报名中】Apache RocketMQ 开发者沙龙 成都站

2019 年 3 月 2 日,【Apache RocketMQ 开发者沙龙成都站】将携社区核心成员、创始人,带着 Apache RocketMQ 5.0 新特性和渴望交流探讨的心,希望能与成都的开发者碰撞出火花。

云栖社区 分布式 架构 Apache 消息中间件 中间件 钉钉 高性能 RocketMQ

4
GO