0006-Zookeeper指标分析

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1. 问题描述

通过CDH管理平台,进入Zookeeper管理界面,Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变,指标数据异常。

2.问题复现

  • 登录CDH平台,进入Zookeeper管理页面,查看Zookeeper各服务器状态,页面如下:

  • 查看如下指标

平均请求延迟、最小请求延迟、最大请求延迟三个指标维持不变,指标异常。

3.问题分析

3.1 指标来源

  • 该指标是CDH通过ZookeeperJMX方式获取,具体参考Zookeeper官网

http://zookeeper.apache.org/doc/r3.5.3-beta/zookeeperJMX.html#ch_jmx

  • 通过命令方式获取Zookeeper指标信息

通过以上分析可以判断指标数据非CDH计算得来,而是Zookeeper计算,排除CM问题;

3.2 分析Zookeeper源码

  • 命令行调用Zookeeper监控指标代码片段(MonitorCommand.java)

通过查看源码,指标数据是通过ServerStats获取“请求延迟”指标

  • 分析ServerStats代码,代码片段(ServerStats.java)

ServerStats只提供了updateLatency方法来更新maxLatency和minLatency指标。

  • 调用更新ServerStats方法代码片段如下:(FinalRequestProcessor.java)

3.3 异常指标分析

通过分析代码,maxLatency和minLatency指标数据在Zookeeper服务器启动记录每次Request的指标数据;

在获取Zookeeper服务器的的maxLatency和minLatency指标记录服务器所有请求中最大请求延迟和最小请求延迟;

  • 最大请求延迟指标

Zookeeper服务器1,在通过A请求更新ServerStats的maxLatency的指标值为100ms,在之后所有请求均未超过maxLatency为100ms的值。CDH平台每次获取Zookeeper服务器1的maxLatency指标时均为100ms,因此导致文章开头CDH平台Zookeeper的maxLatency指标维持不变“异常”。

  • 最小请求延迟指标

Zookeeper服务器1,在通过A请求后更新ServerStats的minLatency的指标值为0ms,在之后所有请求均未小于minLatency为0ms的值。CDH平台每次获取Zookeeper服务器1的minLatency指标时均为0ms,因此导致文章开头CDH平台Zookeeper的minLatency指标为0ms维持不变的“异常”。

  • 平均请求延迟指标

Zookeeper服务器1累计所有请求的延迟时间(totalLatency),累计总共请求次数(count),通过totalLatency/count获取avgLatency指标。至于avgLatency指标持续维持为0ms,由于totalLatency

由此推断多次请求Latency的延迟为0ms。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
4月前
|
分布式计算 安全 Java
ZooKeeper【实际案例】
ZooKeeper【实际案例】
|
8月前
|
大数据 开发工具
|
4月前
|
存储 监控 网络协议
Zookeeper监控之四字监控
Zookeeper监控之四字监控
61 0
|
8月前
|
监控 负载均衡
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(二)
|
8月前
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(一)
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合(一)
|
8月前
|
SQL 存储 分布式计算
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
Flume学习---2、Flume进阶(事务)、负载均衡、故障转移、聚合
|
存储 大数据 Unix
2021年大数据ZooKeeper(三):Zookeeper数据模型和节点类型
2021年大数据ZooKeeper(三):Zookeeper数据模型和节点类型
155 0
2021年大数据ZooKeeper(三):Zookeeper数据模型和节点类型
|
消息中间件 存储 设计模式
Zookeeper从入门到放弃之Zookeeper典型应用场景
Zookeeper从入门到放弃之Zookeeper典型应用场景
180 0
Zookeeper从入门到放弃之Zookeeper典型应用场景
|
存储 安全 数据库
【分布式】Zookeeper系统模型
前面已经讲解了Zookeeper的一些应用场景,但是并没有深入到Zookeeper内部进行分析,本篇将讲解其系统模型。
103 0
【分布式】Zookeeper系统模型
|
消息中间件 分布式计算 自然语言处理
探究 | kafka-connector 同步 Elasticsearch速度慢根因分析?
1、kafka同步Elasticsearch的方式 之前博文中也有介绍: 方式一:logstash_input_kafka 方式二:kafka_connector 方式三:spark stream 方式四:java程序读写自己实现
395 0
探究 | kafka-connector 同步 Elasticsearch速度慢根因分析?

热门文章

最新文章