丁威 + 关注
RocketMQ早期布道师、RocketMQ社区视频直播讲师。《RocketMQ架构设计与实战原理》作者。

源码分析 RocketMQ DLedger 多副本存储实现

发布时间:2019-09-15 20:27:32 浏览:61 评论 :0

详细介绍了RocketMQ DLedger 多副本存储实现部分,主要参考RocketMQ 存储部分的设计理念,并重点阐述 DLedger 消除存储格式、索引文件存储格式,诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍,故本文并未重复介绍。

消息系统 开发框架与中间件 日志 线程 源码 索引 void 内存映射 存储 RocketMQ DLedger 多副本 dledger存储协议

源码分析 RocketMQ DLedger 多副本之 Leader 选主

发布时间:2019-09-15 20:22:45 浏览:63 评论 :0

本文将按照《RocketMQ 多副本前置篇:初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考: 节点状态需要引入3种节点状态:Follower(跟随者)、Candidate(候选者),该状态下的节点会发起投票请求,Leader(主节点)。

消息系统 开发框架与中间件 java 源码 集群 request RocketMQ leader DLedger 多副本 选主

RocketMQ 多副本前置篇:初探raft协议

发布时间:2019-09-12 20:54:25 浏览:252 评论 :0

详细介绍了raft协议的Leader选举流程、日志复制两个重要部分,并提出实现raft协议需要考虑的问题点,为源码解析RocketMQ Dledger 多副本模块打下坚实的基础。

消息系统 开发框架与中间件 日志 集群 Image raft RocketMQ DLedger 多副本

RocketMQ一个新的消费组初次启动时从何处开始消费呢?

发布时间:2019-09-11 20:40:15 浏览:136 评论 :0

本文详细介绍一个新的消费组在启动时从何处开始消费,并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑,解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。

故障方案 消息系统 开发框架与中间件 消息队列 Consumer 存储 RocketMQ CONSUME_FROM_MAX_OFFSET CONSUME_FROM_FIRST_OFFSET CONSUME_FROM_TIMESTAMP

RocketMQ消息轨迹-设计篇

发布时间:2019-09-10 20:47:18 浏览:2368 评论 :0

RocketMQ 消息轨迹主要包含两篇文章:设计篇与源码分析篇,本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹,主要跟踪消息发送、消息消费的轨迹,即详细记录消息各个处理环节的日志,从设计上至少需要解决如下三个核心问题: 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪? 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息: traceType跟踪类型,可选值:Pub(消息发送)、SubBefore(消息拉取到客户端,执行业务定义的消费逻辑之前)、SubAfter(消费后)。

消息系统 开发框架与中间件 服务器 配置 集群 消息中间件 中间件 存储 数据存储 RocketMQ 消息轨迹

源码分析RocketMQ ACL实现机制

发布时间:2019-09-10 20:40:07 浏览:3006 评论 :0

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》,本文从源码的角度,分析一下RocketMQ ACL的实现原理。 备注:RocketMQ在4.4.0时引入了ACL机制,本文代码基于RocketMQ4.5.0版本。

消息系统 开发框架与中间件 java 源码分析 源码 配置 request string RocketMQ acl

RocketMQ ACL使用指南

发布时间:2019-09-09 21:43:42 浏览:167 评论 :0

详细介绍RocketMQ acl访问控制列表的流程图、plain_acl.yml文件各配置项的详细介绍、权限匹配验证流程与acl使用示例。

消息系统 开发框架与中间件 配置 static Consumer 数组 RocketMQ acl 使用指南 rocketmq访问控制

RocketMQ 主从同步若干问题答疑

发布时间:2019-09-09 21:39:06 浏览:196 评论 :0

主,从服务器都在运行过程中,消息消费者是从主拉取消息还是从从拉取?当消息消费者向从服务器拉取消息后,会一直从从服务器拉取?主从服务消息消费进是如何同步的?

消息系统 开发框架与中间件 服务器 同步 主从切换 主从同步 存储 RocketMQ 从不消费

elasticsearch之索引管理API(Index management)

发布时间:2019-09-05 22:04:52 浏览:257 评论 :0

本节详细介绍了索引管理相关的API,主要包括Index Create、Delete Index、Get index、indices Exists Index、Open/Close Index 、Shrink Index、Split Index、Rollover Index。

开发框架与中间件 配置 request API 索引 open Elasticsearch index Split 使用指南 索引管理 rollover

Elasticsearch Index Aliases详解

发布时间:2019-09-05 21:59:10 浏览:107 评论 :0

index aliases,索引别名,有点类似名称映射,一个索引别名可以映射多个真实索引,索引别名在定义时还支持filter,构成同一个索引,不同的视图。 思考:一个索引别名可以映射成多个索引,那如果向一个别名添加一个文档时,会在该别名下对应的所有索引下都创建一个文档? 1、如何创建索引别名 PO...

开发框架与中间件 中间件 ADD 索引 Elasticsearch test index 使用指南 Aliases 索引模板

Elasticsearch Index Setting一览表

发布时间:2019-09-05 21:52:25 浏览:498 评论 :0

索引的配置项按是否可以更改分为static属性与动态配置,所谓的静态配置即索引创建后不能修改。 1、索引静态配置 index.number_of_shards索引分片的数量。在ES层面可以通过es.index.max_number_of_shards属性设置索引最大的分片数,默认为1024,index.number_of_shards的默认值为Math.min(es.index.max_number_of_shards,5),故通常默认值为5。

开发框架与中间件 日志 模块 配置 集群 trace logger 索引 Elasticsearch 内存映射 index 索引参数 slowlog Translog

elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)

发布时间:2019-09-05 21:36:41 浏览:79 评论 :0

本节详细介绍了ES Pipeline Aggregation 管道聚合的使用方法,重点介绍了Avg Bucket Aggregation、Percentiles Bucket Aggregation、Cumulative Sum Aggregation、Bucket Sort Aggregation、Max Bucket Aggregation、Min Bucket Aggregation、Sum Bucket Aggregation、Stats Bucket Aggregation。

开发框架与中间件 排序 pipeline Elasticsearch 聚合 Aggregation sibling 管道聚合

Es Bucket聚合(桶聚合) 第二篇-Terms Aggregation与Significant Terms Aggregation

发布时间:2019-09-05 12:40:28 浏览:143 评论 :0

本章将介绍elasticsearch最重要的桶聚合terms aggregation。 1、Terms Aggregation 多值聚合,根据库中的文档动态构建桶。基于词根的聚合,如果聚合字段是text的话,会对一个一个的词根进行聚合,通常不会在text类型的字段上使用聚合,对标关系型数据中的(Group By)。

架构 开发框架与中间件 索引 Elasticsearch Aggregation elasticsearch使用指南 Terms

Elasticsearch Bucket聚合(桶聚合) 第一篇(常用桶聚合一览)

发布时间:2019-09-03 22:57:52 浏览:107 评论 :0

本篇将开始介绍Elasticsearch Bucket聚合(桶聚合)。 Buket Aggregations(桶聚合)不像metrics Aggregations(度量聚合)那样计算字段上的度量,而是创建文档桶,每个文件桶有效地定义一个文档集。

排序 Elasticsearch bucket 开源框架与中间件 elasticsearch聚合 桶聚合 Bucket聚合

ES度量聚合(ElasticSearch Metric Aggregations)

发布时间:2019-09-02 20:33:05 浏览:95 评论 :0

从本篇将开始进入ES系列的聚合部分(Aggregations)。 本篇重点介绍Elasticsearch Metric Aggregations(度量聚合)。 Metric聚合,主要针对数值类型的字段,类似于关系型数据库中的sum、avg、max、min等聚合类型。

算法 开发框架与中间件 Elasticsearch type varchar 聚合 Aggregation metric

Elasticsearch Search API之(Request Body Search 查询主体)

发布时间:2019-09-01 09:16:59 浏览:263 评论 :0

详细介绍了es三种分页方式、排序、from、size、source filter、dov values fields、post filter、高亮显示、rescoring、search type、scroll、preference、preference、explain、version、index boost、min_score、names query、Inner hits、field collapsing、Search After。

云栖社区 数据存储与数据库 分布式 开发框架与中间件 排序 request API 索引 Elasticsearch index source type 分页 使用指南

RocketMQ 消息发送system busy、broker busy原因分析与解决方案

发布时间:2019-08-30 21:16:23 浏览:215 评论 :0

1、现象 最近收到很多RocketMQ使用者,反馈生产环境中在消息发送过程中偶尔会出现如下4个错误信息之一:1)[REJECTREQUEST]system busy, start flow control for a while2)too many requests and system thre.

架构 服务器 线程 源码 Image 解决方案 busy RocketMQ broker 开源框架与中间件 TransientStorePool isOSPageCacheBusy REJECTREQUEST PC_SYNCHRONIZED PCBUSY_CLEAN_QUEUE

RocketMQ实战:生产环境中,autoCreateTopicEnable为什么不能设置为true

发布时间:2019-08-27 23:17:15 浏览:253 评论 :0

1、现象 很多网友会问,为什么明明集群中有多台Broker服务器,autoCreateTopicEnable设置为true,表示开启Topic自动创建,但新创建的Topic的路由信息只包含在其中一台Broker服务器上,这是为什么呢? 期望值:为了消息发送的高可用,希望新创建的Topic在集群中的每台Broker上创建对应的队列,避免Broker的单节点故障。

消息系统 架构 服务器 集群 Image RocketMQ autoCreateTopicEnable

elasticsearch使用指南之Elasticsearch Search API 概述与URI Search

发布时间:2019-03-28 22:24:14 浏览:52 评论 :0

本节主要对elasticsearch search api做一个简单的介绍,重点介绍了QUERY_THEN_FETCH、QUERY_AND_FETCH、DFS_QUERY_THEN_FETCH三种搜索类型的工作方式。

排序 API string Elasticsearch 使用指南 QUERY_THEN_FETCH QUERY_AND_FETCH DFS_QUERY_THEN_FETCH

生产环境JVM内存溢出案例分析

发布时间:2019-03-27 21:53:46 浏览:886 评论 :0

线上JVM内存溢出案例分析详解,本文详细的介绍了生产环境JVM内存溢出的故障分析过程,更是提供在故障发生之前如何快速隔离故障源、防止故障扩散等方法。

服务器 SQL 线程 数据库 dump hashmap 内存溢出 线上故障分析

2

gaodb 2019-05-15 评论了:

ElasticSearch C...

宋淑婷 2019-03-10 评论了:

ElasticSearch C...