JVM Profiler介绍

开篇

 过去的几周把java多线程相关部分的源码粗粗的看了一遍基本上也算告一段落了，后面应该会聚焦看下dubbo、mycat、datax以及剩下部分的mybatis。

 应该是周一的时候公众号推了一篇文章《Uber开源JVM Profiler，用以跟踪分布式Java虚拟机》，刚好认识公司内部的一个大神（在java方面造诣很深让人非常佩服，技术深的跟大海一样，知道是谁了吧，你们懂的）在公司内部开发了类似的系统，然后勾起了我的兴趣，然后自然而然地把核心代码看了一遍，准备分几篇文章依次讲解，希望有兴趣的可以一并看看。

 之所以我觉得值得看，原因有以下几点：

• 代码全java编写，结构清晰阅读难度不大。
• 整个代码框架非常有扩展性，适合内部拉分支然后继承更多的东西。
• 对jvm相关系统采集、jvm字节码修改等技术有一定了解。

JVM Profile诞生

 Apache Spark 计算框架已经被广泛用来构建大规模数据应用。对 Uber 而言, 数据是战略决策和产品开发的核心。为了更好地利用这些数据, Uber 需要管理遍布全球的 Spark 实例。 Spark 使得数据技术更易于访问, 如果要做到对 Spark 应用程序的进行合理的资源分配, 优化数据基础架构的操作效率, 就需要对这些系统有更细粒度的洞察力, 即识别其资源使用模式。
 为了在不改变用户代码的情况下也能达成上述目标, Uber Engineering 团队构建并开源了 JVM Profiler —— 一个分布式探查器，用于收集性能和资源使用率指标为进一步分析提供服务。尽管它是为 Spark 应用而构建的, 但它的通用实现使其适用于任何基于 Java 虚拟机 ( Java virtual machine ，JVM) 的服务或应用程序。
 但是，JVM Profile可以用到其他地方，包括用来监控方法级耗时，IO&CPU性能，JVM各代垃圾回收等

JVM Profiler介绍

 Uber Engineering 团队构建并开源了 JVM Profiler 。现有的同类开源工具, 比如 Etsy 的 statsd-jvm-profiler , 可以在单个应用程序级别收集度量, 但是不提供动态代码注入收集度量的能力。在这些工具的启发下, 我们的探查器提供了新功能, 如任意 Java 方法/参数分析。

 JVM Profiler 由三项主要功能组成, 它使收集性能和资源使用率指标变得更容易, 然后可以将这些指标 (如 Apache Kafka) 提供给其他系统进行进一步分析:

• 代理功能 ( java agent ) : 支持用户以分布式的方式收集各种指标 (例如如 CPU/内存利用率) ，用于 JVM 进程的堆栈跟踪。
• 高级分析功能（Advanced profiling capabilities）: 支持跟踪任意 Java 方法和用户代码中的参数, 而不进行任何实际的代码更改。此功能可用于跟踪 Spark 应用的 HDFS NameNode RPC 调用延迟, 并标识慢速方法调用。它还可以跟踪每个 Spark 应用读取或写入的 HDFS 文件路径, 用以识别热文件后进一步优化。
• 数据分析报告( Data analytics reporting ): 使用 JVM Profile 可以将指标数据推送给 Kafka topics 和 Apache Hive tables , 提高数据分析的速度和灵活性。

JVM Profiler 实现

JVM Profiler 具有非常简单且可扩展的设计。可以很容易地添加其他 Profiler 收集更多的指标, 也能部署自定义 reporter 向不同的系统发送数据指标。

image

一旦启动 JVM Profiler 代码即通过代理参数加载到一个 Java 进程中。它由三个主要部分组成:

Class File Transformer

• 类文件转换器介由进程内的 Java 方法字节码监视任意用户代码并在内部度量缓冲区中保存度量。

Metric Profilers

• CPU/Memory Profiler: 通过 JMX 收集 CPU/内存利用率并发送给 reporter
• Method Duration Profiler: 从度量缓冲区读取方法时延 (method duration) 并发送给 reporter
• Method Argument Profiler: 从度量缓冲区读取方法参数值（method argument ）并发送给 reporter

Reporters

• Console Reporter: 控制台输出
• Kafka Reporter: 发送到 Kafka topics

JVM Profiler 扩展
通过 -javaagent 选项可以构建自己的 reporter , 例如：

java -javaagent:jvm-profiler-0.0.5.jar=reporter=com.uber.profiling.reporters.CustomReporter

JVM Profiler 应用
示例：使用 JVM Profiler 跟踪一个简单的 Java 应用

首先，git clone 项目代码
git clone https://github.com/uber-common/jvm-profiler.git

然后，mvn package 构建 jvm-profiler jar
mvn clean package

最后，调用 JAR 运行 JVM Profiler (e.g.target/jvm-profiler-0.0.5.jar)
java -javaagent:target/jvm-profiler-0.0.5.jar=reporter=com.uber.profiling.reporters.ConsoleOutputReporter -cp target/jvm-profiler-0.0.5.jar com.uber.profiling.examples.HelloWorldApplication

上述命令行将运行一个简单的 Java 应用并通过控制台输出性能和资源使用情况。

ConsoleOutputReporter - MethodDuration: {"metricName":"duration.count","processName":"1871@xiaozhideMacBook-Pro.local","appId":null,"host":"xiaozhideMacBook-Pro.local","processUuid":"ab87c07f-0c4b-493e-9465-f2b081545873","metricValue":2.0,"methodName":"publicSleepMethod","className":"com.uber.profiling.examples.HelloWorldApplication","epochMillis":1536043534991,"tag":"mytag"}
ConsoleOutputReporter - MethodDuration: {"metricName":"duration.sum","processName":"1871@xiaozhideMacBook-Pro.local","appId":null,"host":"xiaozhideMacBook-Pro.local","processUuid":"ab87c07f-0c4b-493e-9465-f2b081545873","metricValue":2026.0,"methodName":"publicSleepMethod","className":"com.uber.profiling.examples.HelloWorldApplication","epochMillis":1536043534991,"tag":"mytag"}
ConsoleOutputReporter - MethodDuration: {"metricName":"duration.min","processName":"1871@xiaozhideMacBook-Pro.local","appId":null,"host":"xiaozhideMacBook-Pro.local","processUuid":"ab87c07f-0c4b-493e-9465-f2b081545873","metricValue":1005.0,"methodName":"publicSleepMethod","className":"com.uber.profiling.examples.HelloWorldApplication","epochMillis":1536043534991,"tag":"mytag"}

参考文章

jvm-profiler github