1. 云栖社区>
  2. 全部标签>
  3. #RocketMQ#
RocketMQ

#RocketMQ#

已有3人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

源码分析 RocketMQ DLedger 多副本之 Leader 选主

本文将按照《RocketMQ 多副本前置篇:初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考: 节点状态需要引入3种节点状态:Follower(跟随者)、Candidate(候选者),该状态下的节点会发起投票请求,Leader(主节点)。

消息系统 开发框架与中间件 java 源码 集群 request RocketMQ leader DLedger 多副本 选主

源码分析 RocketMQ DLedger 多副本存储实现

详细介绍了RocketMQ DLedger 多副本存储实现部分,主要参考RocketMQ 存储部分的设计理念,并重点阐述 DLedger 消除存储格式、索引文件存储格式,诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍,故本文并未重复介绍。

消息系统 开发框架与中间件 日志 线程 源码 索引 void 内存映射 存储 RocketMQ DLedger 多副本 dledger存储协议

RocketMQ 多副本前置篇:初探raft协议

详细介绍了raft协议的Leader选举流程、日志复制两个重要部分,并提出实现raft协议需要考虑的问题点,为源码解析RocketMQ Dledger 多副本模块打下坚实的基础。

消息系统 开发框架与中间件 日志 集群 Image raft RocketMQ DLedger 多副本

RocketMQ一个新的消费组初次启动时从何处开始消费呢?

本文详细介绍一个新的消费组在启动时从何处开始消费,并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑,解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。

故障方案 消息系统 开发框架与中间件 消息队列 Consumer 存储 RocketMQ CONSUME_FROM_MAX_OFFSET CONSUME_FROM_FIRST_OFFSET CONSUME_FROM_TIMESTAMP

RocketMQ消息轨迹-设计篇

RocketMQ 消息轨迹主要包含两篇文章:设计篇与源码分析篇,本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹,主要跟踪消息发送、消息消费的轨迹,即详细记录消息各个处理环节的日志,从设计上至少需要解决如下三个核心问题: 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪? 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息: traceType跟踪类型,可选值:Pub(消息发送)、SubBefore(消息拉取到客户端,执行业务定义的消费逻辑之前)、SubAfter(消费后)。

消息系统 开发框架与中间件 服务器 配置 集群 消息中间件 中间件 存储 数据存储 RocketMQ 消息轨迹

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》,本文从源码的角度,分析一下RocketMQ ACL的实现原理。 备注:RocketMQ在4.4.0时引入了ACL机制,本文代码基于RocketMQ4.5.0版本。

消息系统 开发框架与中间件 java 源码分析 源码 配置 request string RocketMQ acl

RocketMQ ACL使用指南

详细介绍RocketMQ acl访问控制列表的流程图、plain_acl.yml文件各配置项的详细介绍、权限匹配验证流程与acl使用示例。

消息系统 开发框架与中间件 配置 static Consumer 数组 RocketMQ acl 使用指南 rocketmq访问控制

RocketMQ 主从同步若干问题答疑

主,从服务器都在运行过程中,消息消费者是从主拉取消息还是从从拉取?当消息消费者向从服务器拉取消息后,会一直从从服务器拉取?主从服务消息消费进是如何同步的?

消息系统 开发框架与中间件 服务器 同步 主从切换 主从同步 存储 RocketMQ 从不消费

RocketMQ问题排查思路

1、使用HTTP协议报错500。排查思路: 1). 是不是有tcp的producer在发送。 2). 是不是有大量的非法字符。建议单独建一个topic给http,然后再进行测试。 2、报没有权限: 1). 如果是主账号:确保GID和topic都是主账号创建; 2). 如果是子账号:确保GID是子账号创建,并且topic授权这个ak使用。

云栖社区 消息系统 ONS 日志 测试 string static RocketMQ

RocketMQ 消息发送system busy、broker busy原因分析与解决方案

1、现象 最近收到很多RocketMQ使用者,反馈生产环境中在消息发送过程中偶尔会出现如下4个错误信息之一:1)[REJECTREQUEST]system busy, start flow control for a while2)too many requests and system thre.

架构 服务器 线程 源码 Image 解决方案 busy RocketMQ broker 开源框架与中间件 TransientStorePool isOSPageCacheBusy REJECTREQUEST PC_SYNCHRONIZED PCBUSY_CLEAN_QUEUE

RocketMQ事务消息实战

本文主要是考虑在使用消息中间件时,如果保证不丢消息的一些实践思考。

Apache 消息中间件 string 伪代码 RocketMQ 事务消息 事务消息实战

RocketMQ源码分析之RocketMQ事务消息实现原下篇(事务提交或回滚)

事务消息提交或回滚的实现原理就是根据commitlogOffset找到消息,如果是提交动作,就恢复原消息的主题与队列,再次存入commitlog文件进而转到消息消费队列,供消费者消费,然后将原预处理消息存入一个新的主题RMQ_SYS_TRANS_OP_HALF_TOPIC,代表该消息已被处理;回滚消息与提交事务消息不同的是,提交事务消息会将消息恢复原主题与队列,再次存储在commitlog文件中。

源码 存储 RocketMQ 事务消息 RocketMQ事务提交或回滚

RocketMQ源码分析之RocketMQ事务消息实现原理中篇----事务消息状态回查

本文详细分析了RocketMQ事务消息实现原理中的事务状态回查实现,RocketMQ会默认一分钟的频率处理消息状态为Prepare的消息,通过调用消息生产者的事务状态查询接口得知消息的事务状态,从而决定提交或回滚消息。

java 消息队列 LOG 源码 string exception Group RocketMQ 事务消息 事务状态回查

RocketMQ实战:生产环境中,autoCreateTopicEnable为什么不能设置为true

1、现象 很多网友会问,为什么明明集群中有多台Broker服务器,autoCreateTopicEnable设置为true,表示开启Topic自动创建,但新创建的Topic的路由信息只包含在其中一台Broker服务器上,这是为什么呢? 期望值:为了消息发送的高可用,希望新创建的Topic在集群中的每台Broker上创建对应的队列,避免Broker的单节点故障。

消息系统 架构 服务器 集群 Image RocketMQ autoCreateTopicEnable

RocketMQ 学习之路 | 第二章 :RocketMQ-console的安装

一.介绍 rocketmq有一个对其扩展的开源项目,github:https://github.com/apache/rocketmq-externals 。 其中有一个子模块rocketmq-console,该子模块提供为rocketmq提供可视化的监控界面。

监控 模块 spring SSL Image Server github RocketMQ RocketMQ-Console

RocketMQ 学习之路 | 第一章 :RocketMQ 的安装与配置

一:RocketMQ 简介 RocketMQ 是一款分布式、队列模型的消息中间件,具有以下特点: 能够保证严格的消息顺序。 提供丰富的消息拉取模式。 高效的订阅者水平扩展能力。 实时的消息订阅机制。

分布式 java 日志 LOG 源码 配置 消息中间件 JDK RocketMQ 分布式消息

如何在优雅地Spring 中实现消息的发送和消费

本文将对rocktmq-spring-boot的设计实现做一个简单的介绍,读者可以通过本文了解将RocketMQ Client端集成为spring-boot-starter框架的开发细节,然后通过一个简单的示例来一步一步的讲解如何使用这个spring-boot-starter工具包来配置,发送和消费RocketMQ消息。

Cloud spring 配置 消息中间件 容器 stream RocketMQ rocktmq-spring-boot spring-boot-starter

【3-2 报名中】Apache RocketMQ 开发者沙龙 成都站

2019 年 3 月 2 日,【Apache RocketMQ 开发者沙龙成都站】将携社区核心成员、创始人,带着 Apache RocketMQ 5.0 新特性和渴望交流探讨的心,希望能与成都的开发者碰撞出火花。

云栖社区 分布式 架构 Apache 消息中间件 中间件 钉钉 高性能 RocketMQ

《RocketMQ技术内幕:RocketMQ架构设计与实现原理》—1.1.2 Eclipse调试RocketMQ源码

本节书摘来自华章计算机《RocketMQ技术内幕:RocketMQ架构设计与实现原理》一书中的第1章,丁威 周继峰 著。更多章节内容可以访问云栖社区“华章计算机”公众号查看。

架构 源码 eclipse Image Server Consumer 存储 RocketMQ 中间值

《RocketMQ技术内幕:RocketMQ架构设计与实现原理》—1.1.1 Eclipse获取RocketMQ源码

本节书摘来自华章计算机《RocketMQ技术内幕:RocketMQ架构设计与实现原理》一书中的第1章,丁威 周继峰 著。更多章节内容可以访问云栖社区“华章计算机”公众号查看。

架构 Apache 源码 eclipse 消息中间件 Maven Image xml plugin RocketMQ 中间值

4
GO