Xmonitor工具介绍

背景

在项目周期中，每一次代码提交、版本升级都会发生代码变更，而这些变更对QA来说往往是后知后觉的且无序的，它可以是某代码行的变更也可以是某一个方法的添加、某一类文件的添加，当我们写service层的单测case时，经常是根据service方法而进行的，那么我们是否可以知道这些变更属于那些方法呢，这些方法有没有被case覆盖到呢？
答案是肯定的，我们能够找到变更的归属，并且通过case本身对于生产代码的依赖找到方法覆盖，进而推断出哪些生产代码需要增加CASE。

怎么去做？

首先我们需要维护一个本地代码版本(可称之为历史版本)，当每次拿到最新代码时都与本地代码版本作一下比较，那么就能得出变更结果了。貌似很简单的，对吧！我们用diff做吗？？no,diff的方式不能帮我们找到方法，我们需要设计一个java源码比对算法。将java源码抽象出语法树，并在词基础上进行比对，这样就能得出方法变更了。最后一个问题，我们怎样拿到测试case覆盖的生产方法？通常我们在写case的时候在会写xxx接口.xxx方法，并以此来run生产代码，因此会产生一个从case到生产代码的依赖，而这个依赖就是我们case对生产方法的覆盖了。
下面就来介绍一下基于以上思路实现的工具xmonitor，用来结合checkin_build来监控生产代码测试覆盖的的小东西。

Xmonitor设计思路

Xmonitor会维护一个本地代码仓库，被启动时将检查线上代码库与本地维护的代码(历史版本)是否一样，如果发生变更则去找出变更了的方法，并判定这些变更的方法是否被测试CASE(service的单测CASE)覆盖到。当然也可以用它找出当前版本中所有的没有被case覆盖到的生产方法和已经被覆盖到的生产方法。
从开发的模块上分为五个部分，获取CASE依赖、获取最新版本代码、抽取测试覆盖方法、抽取生产代码方法、获取测试覆盖/未覆盖，见下图：
 

目录结构说明：

1.bin目录下存放sh文件：
getDiffRes.sh：调度java文件比对模块，完成工程下所有java文件方法抽取，并根据旧版本代码内容生成变更方法List.
createDependencyXML.sh:调度第三方工具[dependencyFinder]捕获测试CASE覆盖到的生产方法。
compareJavaCode.sh :调度代码比对模块是生成最新的代码变更生产代码中的方法。
2.lib目录下存放jar包，用于java程序执行：
CompareJavaCode.jar：完成新旧版本java文件对比，生成变更方法记录、接口-实现类关系。
CreateXmonitorXML.jar：生成xml格式的最终结果{此次变更中未覆盖的生产方法、此次变更中已覆盖的方法、所有代码中未覆盖的方法、所有代码中已覆盖的方法}。
GenNoCovModifyMethod.jar：引入测试CASE依赖信息、变更方法、接口-实现类关系，进行逻辑运算，生成各种情况下的覆盖/未覆盖生产方法列表。
3.conf目录下存放配置：di2ACC.conf、blacklist.dat
di2ACC.conf：工具依赖配置。
blacklistofnocover.dat、blacklistofcovered.dat：测试未覆盖、已覆盖过滤条件，对最后产出结果进行过滤。
注：默认过滤action包、bo包下的set、get方法，可以通过修改文件内容调整过滤条件。
3.Utils：工具函数目录，存放文件：Empty.java，getNoDuplicat.sh
getNoDuplicat.sh：结合blacklist.dat文件进行结果过滤。
Empty.java:一个空的java文件，协助生成java代码对比变更。
4.Data目录：程序运行中产出的各种结果文件。
5.Logs目录：用于存放日志，目前未开发独立的日志功能，试用期间以重定向的方式写Log.
6.main.sh：xmonitor工作主程序，完成对其他工作模块调度。

获取工具：

请参照wiki直接下载。

工具使用：

准备条件
1. 工具运行依赖条件：
a) 需要运行在执行checkin_build的hudson服务器上。一般来说在hudson服务器上都会有svn客户端、编译结果class等。
b) 需要安装jdk1.6。
2. 运行工具要做的事情：
a) 下载crm-xmonitor包到执行服务器上，并解压缩。
b) 在工具目录下找到conf/di2ACC.conf，并修改配置。

如何配置：

di2ACC.conf配置文件中共有三种类型的配置项：项目本身的配置、运行环境配置、工具运行时临时文件配置。由于项目之间的差异(表现在项目名、项目svn路径、测试用例编译前后目录、生产代码编译前后目录)

第一部分：项目svn路径、项目名称、测试/生产代码编译前后路径

Svnrootdir与Svnnewtag：前者是当前项目在svn服务器上的根路径，后者是当前项目的名称；两者拼成字符串时用于下载项目源码。
SRC_BIN、QATEST_BIN、RDTEST_BIN：前者是项目最新代码在checkin_bulid任务中编译完成的生产代码class路径，后两者主分别为QA、RD各自的测试用例编译class。程序将根据这些class信息寻找依赖关系，找到测试覆盖。
注：SRC_BIN路径主要了辅助帮助查找散落在生产代码目录内的测试用例。
PRO_SRC、QATEST_SRC、RDTEST_SRC：前者是checkin_bulid任务中获取的项目最新生产代码，后两者分别为QA、RD各自的测试用例。该配置用于找到测试用例。
第二部分：jdk依赖目录

第三部分：程序运行时内部变量

启动模式：

工具有两种工作模式，其区别在作用范围不同，第一种作用范围为当前项目，产出所有本项目当前版本中所有未覆盖、已覆盖的生产方法。并根据版本差异中的代码变更情况抽取出属于此次引起的未覆盖、已覆盖。
启动工具命令(有all参数)：Sh –x main.sh all >logs/xmoitor.log

另一种工作模式作用范围为此次变更，产出此次变更未覆盖的生产方法、已覆盖的生产方法。由于需要进行新旧版本对比，所以必须是在初次运行之后才能使用该模式，否则会由于没有历史版本作为参考，导致工具运行失败。因此，工具初始运行不能选用该模式。
启动工具命令(无参数)：Sh –x main.sh >logs/xmonitor.log
程序执行完毕后会将结果分别以文本文件、XML两种格式输出到out文件夹中。 
文本文件名为：updatenocoverprodcode.dat、updatecoveredprodcode.dat、allcoveredprodcode.dat、allnocoverprodcode.dat， 分别表示此次更新中测试未覆盖的生产代码，此次更新中已测试覆盖的生产代码；当前前项目中测试未覆盖的生产代码，当前前项目中已测试覆盖的生产代码。 
XML格式文件名为xmonitor.xml包括所有输出内容，四个标签囊括了四个文本文件的内容，当文本文件不存在时，XML对应标签内容为空。

结束语

到这里本文基本上就结束了，限于笔者的编码水平，代码写的比较ugly，后面会持续进行优化，敬请期待。

【参考文献】* 
1. 开源工具DependencyFinder, http://depfind.sourceforge.net/.

 作者：kzhao
 

本文转自百度技术51CTO博客，原文链接：http://blog.51cto.com/baidutech/744401，如需转载请自行联系原作者