蚂蚁金服开源自动化测试框架 SOFAACTS

2019-03-15 4053

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 伴随着业务需求的爆发，蚂蚁金服金融级分布式架构质量测试活动变得复杂起来，表现在测试的业务场景复杂，诸如分布式事务处理流程场景、并发性、账户状态多样性、幂等性和兼容性等等。在原有的自动化测试框架下，测试流程编排极易出现测试数据冗余分散、可维护性差、人工编码成本高和测试验证点易遗漏的问题。

SOFAStack
Scalable Open Financial Architecture Stack
是蚂蚁金服自主研发的金融级分布式架构，包含了构建金融级云原生架构所需的各个组件，是在金融场景里锤炼出来的最佳实践。

蚂蚁金服在 SOFAStack 体系内研发了基于模型驱动的自动化接口测试框架 SOFAACTS。
GitHub 地址：https://github.com/alipay/sofa-acts

背景

伴随着业务需求的爆发，蚂蚁金服金融级分布式架构质量测试活动变得复杂起来，表现在测试的业务场景复杂，诸如分布式事务处理流程场景、并发性、账户状态多样性、幂等性和兼容性等等。在原有的自动化测试框架下，测试流程编排极易出现测试数据冗余分散、可维护性差、人工编码成本高和测试验证点易遗漏的问题。

如何解决上面的问题呢？

蚂蚁金服在 SOFAStack 体系内研发了基于模型驱动的自动化接口测试框架 SOFAACTS。

SOFAACTS 介绍

SOFAACTS 由 IDE 和测试引擎组成，下图为产品架构图：

框架适配 TestNg+Spring 的测试上下文环境，以 YAML 为数据载体并在此上构建数据模型驱动，具有契合快速互联网发展和复杂分布式金融系统特点的优良特性：

模型驱动和标准执行引擎；
精细化校验和数据的自动回写；
具有灵活的可扩展性；
用例可视化维护。

1.模型驱动和标准化

在测试用例数据与测试代码分离的探索上，很多测试框架采用数据驱动的方式，但这也无法从容应对金融级的复杂业务场景。框架对用例数据进行了深度抽象，提出模型驱动理念，研发出基于模型的数据驱动和标准化执行引擎，实现了数据和代码的分离管理，同时对测试过程中的数据清理、数据准备、用例执行、结果校验阶段进行标准化，做到测试数据维护和测试代码的简洁优雅。用例执行时用户无需关注数据如何加载，结果和期望数据如何比对，只需要关注测试数据和执行结果。

接下来，我们介绍如何使用 SOFAACTS 来高效率地完成一键生成数据模型生成和一键生成测试脚本。

数据模型生成

首先进行数据模型的准备，以方便之后模版化地快速创建对象和表，按照如下方式来准备 DB 数据、接口请求参数和返回结果对象模型。

DB 数据模型生成

1.任意测试代码中右击-> SOFAACTS 功能->生成 DB 表结构模板；

2.选择生成的目标测试工程；

3.点击确认后选择并添加需要生成模型的表即可生成。

类对象模型生成

1.待构建模型的类定义的任意方法上右击-> SOFAACTS 功能->模板生成，生成当前对象的模型；

2.生成完成后，我们可以在下图位置找到生成的数据对象模型；

3.按照上述步骤，这样我们就生成了接口对象模板。

接下来，我们开始进行脚本一键生成：

测试脚本生成

SOFAACTS IDE 提供测试脚本自动生成功能，无需手动编码。操作方式如下：

1.被测接口方法上点击，选择 SOFAACTS 功能-->生成测试用例；

2.这时会弹出一个文本框，填写脚本生成的位置和编码格式，如下：

3.填写完成后，点击 OK 即可自动生成如下测试脚本，可以看出模型驱动生成的脚本精简而优雅。

原来数据驱动下的脚本是如下面图这样的，测试数据冗余分散，人工编码成本高维护性差。

实践证明 SOFAACTS 用例的测试代码构建效率提高 80% ，测试数据精简到 1/case 数。

2.精细化校验

在解决复杂业务场景下测试验证难、易遗漏等问题时，SOFAACTS 基于代码行为跟踪和分析理念，通过反射机制和日志解析实现结果数据的自动采集，以此做为场景用例校验的数据基线，并在持续集成时进行基线全量因子匹配来达到精细化验证。如下图：

同时，为了提高自动采集后数据回填的效率，框架支持预校验数据的自动写入能力，进一步实现了数据的自动化精细校验。如下图：一键点击即可采集到校验数据基线，在蚂蚁内部实践中 ACTS 做到了结果校验效率提升至少 80%，场景验证 0 遗漏。

3.灵活可扩展

框架为了应对各种特殊业务测试情况而不需要过多改动，设计上应用高内聚与低耦合原则，支持既可以复用框架底层代码又可以针对业务个性化情况做扩展的能力。整个框架提供了丰富的 API，测试执行过程每个方法、每个类以便测试执行过程的每个阶段（如下图）都能够在测试脚本里面被重新为其他方法或者被其他多态的子类替换，这样让框架变得更通用，既赋予了框架轻量性又增加了灵活性。