备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

TDD 与 CI 在 Python 中的实践

2017-02-09 1147
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Travis CI社区化产品的长久生存之道可能莫过于对迭代周期的控制。还记得以前采用老土的阶段开发的年代，将软件生命周期分为各个阶段，当到达每个阶段的里程碑则集中所有的资源、人力作全面冲刺。
Travis CI

社区化产品的长久生存之道可能莫过于对迭代周期的控制。还记得以前采用老土的阶段开发的年代，将软件生命周期分为各个阶段，当到达每个阶段的里程碑则集中所有的资源、人力作全面冲刺。每次到了里程碑的检查点冲过了就可以集体庆功，冲爬下了就集体加班。而后者发生的机率总是比前者要多，现在回想起来真有种大浪淘沙，不堪回首之感。

现在 敏捷开发 用顺溜了，回过头来看这种作坊式的开发甚是感触。阶段式的开发本身并无问题，而是迭代周期的控制很容易出错。往往都会将阶段周期拉得很长，尽量在每个阶段内将所有的工作完善之后再进入下一周期。然而，千里之堤，溃于蚁穴，过长的周期往往不会按我们预期的想法而进行，总是出现各种的问题，归结原因更多的是因为风险叠加的结果。优秀的PM会有N种处理风险的手段与经验，而且关于风险控制的理论层出不穷，这类的课程也是一扫一大堆。不过再强的PM再优秀的PM也架不住风险在里程碑的集中性爆发。

这可能是也是 敏捷开发 最吸引人的地方，因为风险的集中性爆发的影响被 持续集中 CI 给最小化了。本文的主题并不是全面地讨论敏捷的理论，我相信有敏捷开发实践的人并不在少数，真正驱动我写下本文的动力是自从.net 移居到 linux 这个大世界后发现持续集成是如此的简单，执行的成本是如此之低，各种敏捷的工具可谓一应俱全，很想将这个过程记录下来以供分享。

测试驱动 TDD

最近，在完成FreezesBeta版的开发，我就遇到发布问题，在微软平台上轻车熟路的做法现在得重新适应。Python 之所以诱惑人可能是她总是能给人惊喜吧。

多年强制实践敏捷的好处是可以彻底改掉不写测试的坏毛病，当测试写多了会自然萌生一种“不写测试就不安心”的感觉。 Python 世界有很优秀的的测试框架，例如：unittest, pyTest, nose, doctest 等等。由于 unittest 是内置框架，而且本人也比较懒所以很长时间内我也没用采用其它的测试框架，直至最近才发现 nose 在这诸多测试框架中的便利性，而且可以完全与 unittest 兼容还带有大量的代码断言工具，实在是很不错。关于 nose 的使用心得可以参考我发布在自己博客上的使用笔记：Nose 测试框架
。

我认为实践持续集成的核心就是TDD而不是小版本，因为通过测试就是验证小版本可发布的唯一标准。在体验 python TDD过程中不得不为 pyCharm 4 这个工具点赞！由其是当全面运行覆盖率检测时，pyCharm4已将UI与 coverage 很好的集成在一齐，可以很方便地查看项目中代码的测试覆盖情况：

pycharm

另外在构建python测试有几个十分实用的工具

  • coverage - 生成代码测试覆盖率
  • ForgeryPy - 数据伪造工具
  • selenium - 著名的E2E测试服务器
  • mock - 对象、接口伪装工具

关于 TDD 的基础理论在此不作赘述有兴趣的朋友可以去度娘或者谷歌。

Python 发布包

当所有的测试通过后，一下步就是小版本的发布了。现在几乎没有什么开发语言体系是不具备官方的依赖包引用库的了，用 python 的话当然需要将可运行代码发布到 pypi 上，其它用户就能通过本地的命令行工具 pip 直接安装了（相当于做C#开发时直接从Nuget直接下载依赖包一样）。

python 的安装包是需要通过 setuptools 工具打包，生成 egg-info 和 发布包的。在代码中唯一需要做的工作就是编写 setup.py 文件。这个过程其实是瞒坑爹的，因为在python的包管理工具除了 setuptools 这个历史最为悠久的还有新一代的 distutils 工具，而官方说明非常地详细，具体可以参考Python Packaging User Guide 。 我花了老半天才将这份官方文档全部读完，但坑爹的是实作过程根本没有这么复杂，所以我在此总结了一下：

首先，在编写setup.py 之前需要一份依赖包引用文件 requirements.txt，（如果有就跳到下一步），在当前目录下进入命令行执行：

$ pip freeze

这里是 pip 的详细使用文档

执行成功后将会自动产生 requirements.txt。如果你不做这一步那么只能在 setup.py 内手工写 install_requires 了。

是在项目根目录下建立 setup.py文件,最简单的做法如下：

import os
import re
from setuptools import setup, find_packages

# 读入依赖引用文件
with open('requirements.txt') as reqs_file:
    REQS = reqs_file.read()

setup(
    name='项目名', # Pypi 显示的项目名
    version='1.0',
    packages=find_packages(exclude=['tests']), 
    install_requires=REQS, # 指定 setup 运行时的依赖包
)

这里有两个重点，一个是 find_packages，这个方法会在 setup.py 执行时将所有的 python 包（必须带有init.py）和包内的 .py 文件添加到打包目录中, 另一个就是 install_requires 这是 setup.py 在运行时自动检查环境内是否具备指定的依赖，如果没有就会自动下载安装。

写完 setup.py 就可以在命令行执行测试了

$ python setup.py build

注意，此处我并没有直接执行install 而只是使用 build 先将发布包生成至 build 目录并且输出 egg-info。通过这一步可以先检查最终发布包中是否有文件缺失。

如果 python 项目中包含有源码文件以外的资源需要打包发布，那么可以使用package_data属性，这个属性是一个“字典”类型，键(Key)值用于指定路径（当前项目路径是空串）。值(Value) 是一个文件数组，指定包含的文件资源的匹配表达式。如果是 Flask 的标准项目结构，要将 static 和 templates 的内容包含于发布包内，那么:

#...

setup(
    #...
    package_data={
        '': ['*.*', # 根目录下所有的文件类型
             'static/**/*.*',   # static 目录下所有的子目录及所有文件
             'templates/*.*',   # tempaltes 目录下所有的文件
             'templates/**/*.*' # tempaltes 目录下所有子目录及所有文件
        ]
    },
    #...
)

以下是整个项目的完整 setup.py 文件

import os
import re
from setuptools import setup, find_packages

## 从源码目录中读取顶层包的 __version__ ，以便以后版本的统一更改
with open(os.path.join(os.path.dirname(__file__),
                       '这里是源码目录名', '__init__.py')) as init_py:
    VERSION = re.search("VERSION = '([^']+)'", init_py.read()).group(1)

# 读入依赖引用文件
with open('requirements.txt') as reqs_file:
    REQS = reqs_file.read()

setup(
    name='Freezes',
    version=VERSION,
    packages=find_packages(exclude=['tests']), 
    install_requires=REQS, # 指定 setup 运行时的依赖包
    package_data={
        '': ['*.yml',
             '*.json',
             '*.cfg',
             'layouts/*',
             'seeds/*',
             'static/**/*.*',
             'templates/*.*',
             'templates/**/*.*',
             'translations/*.*'
        ]
    },
    entry_points={
        'console_scripts': [
            'freezes=freezes.server:main'
        ],
        'setuptools.installation': [
            'eggsecutable = freezes.server:main'
        ]
    },
    ## 以下内容是可选的，用于生成 egg-info 的内容
    url='http://freezes.dotnetage.com',
    license='BSD',
    author='Ray',
    author_email='csharp2002@hotmail.com',
    description="这里是项目简述，会在pipy的项目列表中显示",
    long_description="这里是项目的详细描述，会在pypi项目详细页面中显示",
    zip_safe=False,
    platforms='any',
    keywords=('static', 'flask'),
    classifiers=['Development Status :: 4 - Beta',
                 'Intended Audience :: Developers',
                 'License :: OSI Approved :: BSD License',
                 'Natural Language :: English',
                 'Operating System :: OS Independent',
                 'Programming Language :: Python :: 2.7',
                 'Topic :: Software Development :: Libraries',
                 'Topic :: Utilities']
)

到此，貌似所有的准备工作已准备完成，但恰恰这里可能就有个坑，我多次生成发布发现发布包缺少了文件，那么请加上 MANIFEST.in 并将项目根目录下的文件包含在内

** MANIFEST.in **

include requirements.txt

我在园子内找到一园友写的一篇博文就是关于 MANIFEST.in 的，详细参考 Python distribute到底使用package_data还是MANIFEST.in？

现在只要在pypi上注册一个帐户，然后回到项目的命令行状态运行：

将项目注册到 pypi 上

$ python setup.py register

生成安装包将上传至pypi

$ python setup.py sdist upload

就可以生成安装包并直接上传到pypi上了，接下来就可以用 pip install <你的项目名> 检验你的发布成果了。

Github

在进行持续集成之前更重要的部署当然是源码控理了，关于 github 在此就不多说了，估计不会有人不知道它的大名的了。在发布到 Github 之前这里一份 .gitignore 文件可供参考，避免将无用的文件上传到Github：

.gitignore

.idea
.webassets-cache
*.pyc
*.pypirc

# Packages
*.egg
*.egg-info
dist
build
eggs
parts
bin
var
sdist
develop-eggs
.installed.cfg
lib
lib64
__pycache__

# Installer logs
pip-log.txt

# Unit test / coverage reports
.coverage
.tox
nosetests.xml

# SQLite databases
*.sqlite

# Virtual environment
venv

如果你在使用pyCharm 那么推荐安装 .ignore 这个插件，可以直接支持多种的 ignore 文件。

自动构建

最后一公里就是就是自动构建，我们要达到的效果就是以后每次向 Github 提交变更时能自动执行部署和测试。如果条件允许可以使用Docker自建一台构建服务器完成这个过程。而另一个更佳做法是使用 Travis 的自动构建服务，只要用Github的账号注册，并将Reposiotry加入到Travis的跟踪项后，当Github上的项目发生变更时Travis就会自动从Github上将最新版本的源代码拉到一个独立的Docker环境内直接进行部署和测试，每次测试结束还会向你的邮箱发送测试报告。如果在项目的Readme文件内引入自动更新的状态标签PyPI Shields/Pins就将发布与最终用户之间的最后屏障打通。

Travis 可以支持很多的语言，文本以python为例，只要在项目的根目录内加入.travis.yml的配置文件，配置Travis的自动构建行为（这是可选的，如果没有此文件Travis 会执行默认构建）

以下是 .travis.yml 的完整内容：

language: python  #指定源码的语言
python:           #指定python的版本
  - "2.7"
  - "pypy"

# 执行安装前安装必要的依赖环境
before_install:
  - sudo apt-get install node-less
  - sudo apt-get install coffeescript

# 执行安装指令
install:
  - pip install -r tests/requirements.txt
  - python setup.py -q install

# 安装成功后执行的指令集，此处为自动执行测试
script: python tests/test_suites.py

最后就是将状态标签加入到的Readme文件内，让用户即时了解当前源码的状态,效果如下图：

pypiin

要达到此效果只要在项目内加入readme.rst 文件并加以下以代码:

将以下变量替换为您的项目注册信息：

  • <github-username> - Github 用户名
  • <repository> - Github 源码项目名称
  • <pypi-project-name> - 在Pypi上发布的可执行包名
项目名称
=======

.. image:: https://secure.travis-ci.org/<github-username>/<repository>.png?branch=master
   :alt: Build Status
   :target: http://travis-ci.org/<github-username>/<repository>

.. image:: https://pypip.in/py_versions/<pypi-project-name>/badge.svg
    :target: https://pypi.python.org/pypi/<pypi-project-name/
    :alt: Supported Python versions

..  image:: https://pypip.in/status/<pypi-project-name/badge.svg
    :target: https://pypi.python.org/pypi/<pypi-project-name/
    :alt: Development Status

.. image:: https://pypip.in/version/<pypi-project-name/badge.svg
    :target: https://pypi.python.org/pypi/<pypi-project-name/
    :alt: Latest Version

.. image:: https://pypip.in/license/<pypi-project-name/badge.svg
    :target: https://pypi.python.org/pypi/<pypi-project-name/
    :alt: License

小结

自此整个项目的持续环境搭建宣告完成，以后每个版本的迭代就只是管理 pypi 上的可运行版本与github上的源码版本即可。将这个方法延伸，则可应用于任何语言体验下的项目开发。同样只需要做的步骤：

  • 选定测试框架
  • 编写各种测试
  • 将运行版本发布至公共包管理库
  • 将源码发布至源码服务器 (github)
  • 接入构建服务器 (travis)

附：本文相关资源连接

文章标签：
Python
测试技术
敏捷开发
持续交付
C#
容器
数据库管理
Unix
网络架构
Docker
关键词：
Python实践
西关大叔
目录
相关文章
请看我回答~
|
30天前
|
缓存 算法 测试技术
Python中的装饰器：原理与实践
【2月更文挑战第29天】 在Python编程领域，装饰器是一种强大的工具，它允许我们在不修改原始函数代码的情况下，增加或修改函数的行为。本文将深入探讨Python装饰器的概念、实现原理以及实际应用，帮助读者掌握这一技术并在实际项目中灵活运用。
请看我回答~
14 1
技术混子
|
1月前
|
Python
Python中的装饰器：理解与实践
【2月更文挑战第21天】 装饰器在Python中是一种强大的工具，它允许我们在不修改原始函数代码的情况下，增加函数的功能。本文将深入探讨Python装饰器的工作原理，并通过实例演示如何创建和使用装饰器。
技术混子
19 3
游客762btuqu5wybw666
|
1月前
|
测试技术 Python
Python中的装饰器应用与实践
在Python编程中，装饰器是一种强大的工具，能够优雅地扩展和修改函数或方法的行为。本文将深入探讨Python中装饰器的作用、原理以及实际应用场景，帮助读者更好地理解并运用装饰器提升代码的可维护性和灵活性。
游客762btuqu5wybw666
21 3
天下无贼001
|
1月前
|
Python
Python中的装饰器：从入门到实践
【2月更文挑战第16天】 在本文中，我们将深入探讨Python的装饰器。装饰器是Python的一种高级功能，它允许我们在不修改原始函数代码的情况下，增加函数的功能。我们将从装饰器的基本概念开始，然后逐步深入到更复杂的使用场景，包括带参数的装饰器和装饰器的顺序问题。最后，我们将通过一个实际的例子，展示如何在实际项目中使用装饰器。
天下无贼001
18 2
小白学大数据
|
29天前
|
数据采集 数据挖掘 调度
异步爬虫实践攻略：利用Python Aiohttp框架实现高效数据抓取
本文介绍了如何使用Python的Aiohttp框架构建异步爬虫，以提升数据抓取效率。异步爬虫利用异步IO和协程技术，在等待响应时执行其他任务，提高效率。Aiohttp是一个高效的异步HTTP客户端/服务器框架，适合构建此类爬虫。文中还展示了如何通过代理访问HTTPS网页的示例代码，并以爬取微信公众号文章为例，说明了实际应用中的步骤。
小白学大数据
47 1
技术混子
|
1月前
|
数据可视化 数据挖掘 数据处理
Python在数据分析中的应用实践
【2月更文挑战第13天】 本文旨在探讨Python语言在当前数据驱动时代的核心应用之一——数据分析领域的实践方法和技术。Python，作为一种高级编程语言，因其简洁的语法、强大的库支持以及广泛的社区资源，已成为数据科学家和分析师首选的工具之一。文章首先简要介绍Python及其在数据分析中的优势，随后深入讲解使用Python进行数据处理、分析、可视化的关键技术，包括但不限于Pandas库的数据处理、Matplotlib和Seaborn库的数据可视化技术，以及SciPy和Scikit-learn库在数据分析中的应用。通过具体案例，展示Python如何有效地解决实际数据分析问题，最终旨在为读者提供一
技术混子
20 2
叫我兔兔酱
|
6天前
|
开发者 索引 Python
实践：如何使用python在网页的表格里抓取信息
实践：如何使用python在网页的表格里抓取信息
叫我兔兔酱
8 0
叫个什么名字
|
25天前
|
数据可视化 数据挖掘 Python
Python中的数据可视化工具Matplotlib简介与实践
在本文中，我们将介绍Python中常用的数据可视化工具Matplotlib，包括其基本概念、常用功能以及实际应用。通过学习Matplotlib，读者可以更好地理解和运用数据可视化技术，提升数据分析与展示的能力。
叫个什么名字
16 2
疯狂的猿
|
27天前
|
运维 安全 网络安全
Python灰帽子网络安全实践
旨在降低网络防范黑客的入门门槛，适合所有中小企业和传统企业。罗列常见的攻击手段和防范方法，让网站管理人员都具备基本的保护能力。Python 编程的简单实现，让网络运维变得更简单。各种黑客工具的理论和原理解剖，让人知其然更知道防范于未来。涉及互联网和局域网，让企业级网管工作更轻松。涵盖Linux&Windows 的知识点。
疯狂的猿
14 1
叫个什么名字
|
28天前
|
测试技术 Python
探究Python中的装饰器应用及实践
本文将深入探讨Python中装饰器的概念、原理和应用，并结合实际案例详细介绍装饰器在代码中的作用，帮助读者更好地理解和运用这一重要的编程技术。
叫个什么名字
9 0

热门文章

最新文章

  • 1
    【Python 基础教程 02】 数据类型全解析：从基础到高级，实用指南及详细使用案例
  • 2
    【Python 基础教程 01 全面介绍】 Python编程基础全攻略：一文掌握Python语法精髓，从C/C++ 角度学习Python的差异
  • 3
    使用Python实现DBSCAN聚类算法
  • 4
    在Python Web开发过程中：数据库与缓存，MySQL和NoSQL数据库的主要差异是什么？
  • 5
    Redis与Python的完美结合：实现高效数据交互和应用场景全解析
  • 6
    【Python 基础教程 23】Python3 错误与异常处理全面指南：从入门到精通的实用教程
  • 7
    Python读取.nc文件的方法与技术详解
  • 8
    Pandas基本操作：Series和DataFrame（Python）
  • 9
    【Python 基础教程 运算符06】Python3运算符超详细解析：全面入门教程，初学者必读
  • 10
    【Python 基础教程 05】超详细解析Python3注释：全面入门教程，初学者必读,了解Python如何 进行注释
  • 1
    Python中的装饰器：概念、用法和实例
    18
  • 2
    Python中的装饰器：概念、用法及实例
    17
  • 3
    使用Python实现图像处理中的边缘检测算法
    39
  • 4
    Python中如何实现字符串反转？请提供至少两种方法。
    17
  • 5
    请简述Python中的继承、封装和多态的概念。
    22
  • 6
    在Python中，如何创建一个迭代器？
    19
  • 7
    请解释Python中的迭代器和生成器的区别？并分别举例说明。
    18
  • 8
    在Python中，如何使用装饰器重写类的方法？
    21
  • 9
    Python中的装饰器是什么？请举例说明其用法。
    19
  • 10
    Python中的装饰器：概念、用法及实例
    17

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • 使用Python完成RDS数据开发及分析
  • 语言入门-1：环境构建
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4