小博无线CI系统演进之路

  1. 云栖社区>
  2. 博客>
  3. 正文

小博无线CI系统演进之路

rippletek 2017-08-15 11:43:02 浏览1356
展开阅读全文

小博无线技术团队至2014年创建以来,这三年多以来所使用的CI系统经过数次升级换代,现已全部上云,全面实现了容器化和pipeline化,并引入了扁平和伸缩的实践来节省云计算成本。本文回顾了CI系统的成长历程。

2014 - virtual box

2014年初,拼了一台16G内存的PC机,在上面开了多个virtual box,一个跑gitlab, 一个跑jenkins master, 剩下的几个就用于搭建build环境,作为jenkins的ssh slave。上线部署通过配置promotion plugin实现 - 先将build出来的release package scp到线上ecs, 再ssh运行一个安装升级脚本。

遇到的问题

  • virtual box比较重,很耗资源,16G内存也跑不了几个虚拟机
  • virtual box实例是长期存在的,每次build都要注意对应的cleanup操作,避免不同的build之间相互干扰
  • 每个虚拟机都需要单独的环境配置,复制成本高
  • scp+ssh的上线方式难以统一运作,基本上每个服务都需要定制;如果代码和配置都有变更,升级部署及回滚动作都可能相当复杂且风险较高

2015 - docker

2014年底,docker慢慢流行开来,容器比虚拟机要轻量很多,并且环境配置可以用Dockerfile很方便的以代码形式管理起来,我们便将原本以virtual box形式存在的jenkins slave都替换成了docker。

另外,将线上服务也容器化,将代码和配置统一装入一个docker image, 这样可以整体升级部署或回退,就消除了"代码和配置都有变更时,是先回滚配置,还是先回滚代码?"的难题。

遇到的问题

  • docker虽然解决了资源消耗的问题,但此时的docker仍然是作为长期存在的ssh slave来运行的,在build时仍然需要考虑对应的cleanup操作以避免不同的build之间相互干扰
  • 每个服务的相关CI配置仍然是用jenkins web ui进行配置,变更比较麻烦,并且需要jenkins的配置权限

2016 - Jenkins pipeline & docker plugin

6月份,办公室停了两次电,有一次竟长达两天!为了解决停电问题对上线迭代的影响,我们将位于办公室内的CI系统逐步迁移到了阿里云上。本地的数据备份和恢复是一件非常麻烦的事情,上云后,数据备份就方便多了。

另外,同年4月份Jenkins官方在新发布的Jenkins 2.0中开始全面推进pipeline,随着这次迁移,我们也一并实施了pipeline结合docker plugin的容器化改造。

pipeline化后,所有的build动作都通过代码仓库中的Jenkinsfile定义,完全不需要在jenkins的网页上进行配置,开发通过git push Jenkinsfile就能实现对CI流程的控制。

容器化后,CI的各种build环境也通过Dockerfile得以标准化,并且每次build的容器都是按需新建的,无需考虑cleanup操作。

2017 - mesos plugin & auto scaling

之前的docker plugin连接的docker cloud是一个单点ecs, 负责代码的编译,测试,打包,及部署操作,对于线上运行的各种微服务项目,还能应付,但如果用来跑编译路由器固件这种CPU密集型的任务,就力有未逮了。另一方面,预发布的测试集群由于流量很小,在绝大多数时候,各个节点的CPU都是空闲的。于是自然想到将预发布环境和CI环境进行扁平化:利用mesos plugin在预发布测试环境的mesos集群中集成jenkins framework, 用于运行容器化的jenkins slave。

固件编译虽然很耗CPU,但这只是一个耗时不到1小时的短任务,如果为了一天只做几次的build而多开几台包月ecs,会带来巨大的浪费。使用自动伸缩,当jenkins提示mesos资源不足时,利用API创建按量ecs加入mesos集群,等build完成后就将它释放掉,是一种高性价比的解法。

结论

系统化、标准化是降低成本,提升效率和质量的重要手段。2014年开始搭建CI系统时,build环境、部署环境、部署方式和配置方式都很零散,难以管理和维护。从2014-2017,先用容器标准化build环境和部署环境,并用pipeline标准化部署方式和配置方式,有效降低系统复杂度后,再用云计算资源降低电力供应和数据备份的风险和维护成本,最后用"扁平"与"伸缩"[1]降低云计算成本。


[1] 在云计算的五种基本实践方法 - "冗余, 漂移, 伸缩, 熔断, 扁平"中,"扁平"与"伸缩"是两种提高资源利用率,降低成本的方法,这方面的更多介绍请参考《云计算十字真言及其在小博无线的实践》一文 (https://yq.aliyun.com/articles/62686)

网友评论

登录后评论
0/500
评论
rippletek
+ 关注