基于jenkins结合svn、ansible、shell和mysql版本迁移实现多服务器批量发布

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

hello,大家好! 由于工作原因,本篇博文迟迟没有发布上来,在此深表歉意!因宅鸟作为一个老鸟,还有很多东西需要和大家分享,所以宅鸟有意将本篇博文作为Jenkins持续集成自动测试部署系列的收尾之篇,关于这方面的话题,有感兴趣的同学可以线下交流分享。

废话不在多说,本篇是在上篇 基于Jenkins 实现php项目的自动化测试、自动打包和自动部署 基础上,更深一层更具有实战性质,完全是线上环境.本篇有一点难度,如果有看不懂的同学请从本系列第一篇读起,如果有条件的同学可以自己搭建环境动手试试。由于本篇需要包含的内容比较多,所以某些细节不会再啰嗦。


由于生产环境下网络拓扑比较复杂,下面宅鸟给出一个简化版的网路拓扑图.

wKiom1LU7oDQweUTAAD41jMNR-s511.jpg


如果所示,我们目前有的资源是分别是:

公司内网:

1 svn server 代码版本库

2 jenkins 持续集成服务器

公司公网服务器资源:

webserver1 公网测试服务器

webserver2,webserver3公网正式服务器

db1,db2公网正式db


拿到这些资源我们该怎么规划部署我们的webapp到这些服务器呢?

我们以phpweb为例,假设所有webserver都已经安装好lnmp环境,dbserver已经安装好mysql环境


需要注意一点,boss要求所有公网生产服务器必须通过跳板机登录,并且所有部署到生产服务器的代码都需要在svn源码库和线上服务器上都有历史记录,一旦程序发布后,有问题,可以方便回滚到之前稳定版本


在这种清空下,我们该如何规划部署我们的程序呢?


下面宅鸟给出自己的解决方案:(本例以cms系统为例)

1、在Jenkins系统中创建一个deploy_cmsv4_to_dev的job,在该jobs配置中添加svn源代码地址,通过自动化单元集成测试后,打包,然后通过Jenkins发布到测试服务器webserver1上,然后再进行人工测试,确定无误后,再在jenkins上给本次构建打tag,并在tag上注明版本日期等。

2、在Jenkins系统中再创建一个deploy_cmsv4_to_production的项目,该job发布时,引用刚已在deploy_cmsv4_to_dev的job中已经打好的tag,然后通过Jenkins把程序打包通过ssh上传到指定目录,然后通过跳板机把程序包发布到正式公网服务器(跳板机上需要安装自动化部署工具ansible,进行实现批量部署功能)。


关于ansible的安装在此不做详解。有感兴趣的同学可点击这里,但需要注意的是需要配置好跳板机到公网上服务器上ssh免密码登录,以及在ansible的配置中添加公网webServerIp地址列表.

这里只做技术交流与分享,本篇涉及到公司公网ip地址以及涉及商业机密的地方均使用画图工具遮盖,给各位同学带来不阅读不便,深表歉意!


下面开始宅鸟的部署之旅:


第一步开始创建一个自由风格的到测试服务器上的job:deploy-cmsv4-to-dev ,进入配置界面 如图:



wKioL1LVEnHxsUH9AAF4entEkCk790.jpg



在源码管理下选择Subversion:

添加上项目svn地址如图:

wKioL1LVEs6iRY7GAAD5qDciY8k475.jpg


然后在增加构建步骤中选择Invoke Phing targets:

添加自动测试和打包的target,target名称对应项目根目录下的build.xml文件

wKiom1LVFH2wtbp5AAJzP9cqPT8178.jpg


然后在 增加构建步骤 中选择 Send files or execute commands over SSh:


wKioL1LVFWbR8XxpAALgp3MgrmM146.jpg


最后 在 增加构建后操作步骤 中 选择:Archive the artifacts  存档打包文件:

wKioL1LVFgSDDCGsAACDC0F7rkc821.jpg

配置完毕后,我们就可以构建本job.

点击左上侧“立即构建”:

我们就可以看到一个job开始执行,完毕后查看查看控制台输出结果如图所示:


wKioL1LV6MuzwRMVAAM7OE-vuZ8665.jpg


然后登录测试服务器webserver1上到发布的目录下查看是结果如图:

注意:last本次发布上一个版本

wKioL1LV6d-w12OhAAC2HAke9v4866.jpg


该项目中所有的配置文件(包括db,webapp,crontab,nginx等)均使用软连从程序目录config下链接过来的.

如图展示数据库迁移的配置文件的链接,其它配置文件亦是如此,不在啰嗦.

wKiom1LV7Ofi9hVtAACaxxfLB_4839.jpg



下面来看一下程序发布的历史版本列表:

wKiom1LV7miRCSPEAAFdI15tDmA992.jpg


到此,公网测试服务器web程序发布完毕,然后就进入人工测试,测试通过后,就可以在jenkins服务器上给本次构建打tag然后就可以发到公网服务器了。

在jenkins上给job打tag此处略去,给大家看一下宅鸟之前在发布程序时所打过的tag,如下图所示,右边显示wKioL1LV8SfDpci1AAAFzTr63FA762.jpg标记的表示已打tag。


wKioL1LV8NOxwd9EAADHgOnjPlk767.jpg



下面我们开始介绍公网服务器程序的发布过程:

第一步、建一个自由风格的job名字为deploy-cmsv4-to-production

在job配置中选中"构建化参数过程"复选框

wKioL1LV9NWS7JLKAAC_9_r3YP0040.jpg

选择 List Subversion tags(and more),然后填写svn地址等如下信息

wKioL1LV9R7CkHysAAFY6VS59x8954.jpg



然后再添加一个choice ,添加我们需要部署的服务器组,该地方的组名称需要在 跳板机的ansible配置文件中指定,并且给部署组指定一组webserver ip列表

wKioL1LV-zvgPxQiAACfujrbt6w027.jpg



wKioL1LV-8vQUCZFAAA7zp-0VTM770.jpg

注:Choices可以添加多个服务器组(在ansible中指定,这里我们在cms_app_servers名称下指定了三台linux服务器做为webserver).



在源代码管理中填写如下配置:


wKiom1LV9dvxpMOIAADODbK-H3A731.jpg

下面再增加打包targets:

wKiom1LV9iWyt6_mAAElYmkQIJQ627.jpg



再添加发布步骤: 选择 "send file or execute commands over SSH"

wKioL1LV-jjgo2xKAAECAgm4Uyc373.jpg


wKiom1LV-nqzcB8VAANpFSRrFxM146.jpg


最后存档:

wKioL1LV_U_zDs6pAAHTOalpAwE289.jpg


wKiom1LV_XbCqYkdAABjJ3u1D8U094.jpg

到此,生产服务器部署配置已经完成,下面就可以发布了。

选择Jenkins左上方的 "Build with Parameters"

如图显示,上面的下拉菜单是 我们已经打好的tag列表,下面是部署服务器群组列表:

wKiom1LWAhbzz8oXAAEYLwxr8Y4177.jpg


然后点击"开始构建" jenkins就会按照我们事配置好的项,开始发布web程序了。

在控制台输出信息中最后一行出现“Finished: SUCCESS”,表示发布已经成功。这样我们可以登录到生产服务器上查看我们已发布的程序。


数据库升迁版本列表: 关于mysql迁移 不熟悉的同学可参看 宅鸟的另一篇博文:Mysql迁移工具在生产环境下的使用


wKioL1LWKF2gZXVfAAMNrow_qj0134.jpg


wKiom1LWBbHgpm_VAAMuKb3ZuXk866.jpg



我们通过跳板机到服务器下去:

先登录到cms-app-1,然后到网站目录下查看通过ls -l |grep cmsv4命令查看结果如图:

wKioL1LWB-yDeFv0AACIu-B25xU255.jpg


登录到cms-app-2,结果同cms-app-1如图:

wKiom1LWCCyRCC3FAACcO-WXAhM917.jpg


我们再检查一下nginx的配置:

wKioL1LWCVCBpTK1AACN76K-JMc749.jpg

再登录到cms-app-3 结果亦然,至此我们的程序已经发布完毕。


仔细阅读的同学可能已经注意到在deploy-cmsv4-to-dev&deploy-cmsv4-to-production -> configure "Send files or execute commands over SSH"的"Exec command" 文本列表最后一条shell命令:

cmsv4.${BUILD_NUMBER}.${BUILD_ID}/config/install.sh  ${BUILD_NUMBER} ${BUILD_ID}

这个config文件夹下的install.sh脚本,是宅鸟根据自己公司的业务要求逻辑自己编写的,有兴趣的同学可以自己试着根据自己公司的业务需求自己编写以实现需求



在此宅鸟给出一个install的简单实例(假设我们的项目名为myweb):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
#!/bin/bash
#created by lihuibin
#date 2014-01-15
#deploy web app to production install script
build_number=$1
build_id=$2
db_version= "max_version"
myweb_path= /webdir/myweb/myweb .$build_number.$build_id
#项目配置文件
config_path=$myweb_path /config .php
ln  -s $myweb_path /config/config .php  $config_path
#crontab
ln  -s   $myweb_path /config/crontab .txt   /etc/cron .d /myweb
#初始化数据库,如果数据库不存在则自动创建
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php init
if  [ $? - ne  0 ]; then
   echo  "db version table init:" $?
   exit  1
fi
#列出线上数据库版本
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php list
if  [ $? - ne  0 ]; then
   echo  "db version list:" $?
   exit  1
fi
#更新数据库到最大版本
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php  up $db_version
if  [ $? - ne  0 ]; then
   echo  "db update:" $?
   exit  1
fi
#查看迁升后数据库版本列表,及当前数据库版本
/usr/bin/php  $myweb_path /mysqlMigrations/migrate .php list
#web切换,给老版本改名,并且新版本程序接手老版本程序开始工作
web_path= "/htdocs/myweb"
uploads= '/webdir/myweb/uploaded'
if  [ -L $web_path ]; then
   ln  -sfn $(readlink -f  "/htdocs/myweb" "/htdocs/myweb_last"
   ln  -sfn  $myweb_path $web_path
   echo  "$myweb_path   $web_path  ln -s  :" $?
else
   if  [ -d $web_path ]; then
       mv  -f $web_path "/uploaded"  $uploads
       mv  -f $web_path  "/webdir/myweb/myweb_lagacy"
       ln  -sfn  $myweb_path $web_path
       ln  -sfn  "/webdir/myweb/myweb_lagacy"  "/htdocs/myweb_last"
   else
     ln  -s  $myweb_path $web_path
     if  [ ! -d  "$uploads"  ];  then
         mkdir  -p $uploads
         chown  -R www-data:www-data  $uploads
     fi
   fi
fi
ln  -s  $uploads $myweb_path /uploaded
#赋权限
chown  -R www-data:www-data  $myweb_path
#重新加载php5-fpm
/etc/init .d /php5-fpm  reload
#nginx应用新配置
nginx= /etc/nginx/sites-enabled/myweb .conf
if  [ -f $nginx ]; then
  rm  $nginx
fi
ln  -s $myweb_path /config/myweb .conf $nginx
#nginx加载新配置
/etc/init .d /nginx  reload
#删除临时文件
rm  -rf  /tmp/myweb .*
echo  "/tmp/myweb.* rm -rf:" $?

好了,关于宅鸟的部署系列博文到此告一段落。还有更多关于持续集成发布以及jenkins与git的集成等方面的话题,有机会再聊一聊。



本文转自birdinroom 51CTO博客,原文链接:http://blog.51cto.com/birdinroom/1351875,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
8天前
|
关系型数据库 MySQL 数据库
mysql卸载、下载、安装(window版本)
mysql卸载、下载、安装(window版本)
|
1月前
|
存储 数据安全/隐私保护 索引
Windows Server 各版本搭建文件服务器实现共享文件(03~19)
Windows Server 各版本搭建文件服务器实现共享文件(03~19)
109 1
|
27天前
|
关系型数据库 MySQL 数据库
django4版本提示 django.db.utils.NotSupportedError: MySQL 8 or later is required (found 5.7.26)
在学习Django时,用户遇到`django.db.utils.NotSupportedError`,提示需要MySQL 8.0.25或更高版本,但其系统上是5.7.26。为解决这个问题,用户决定不升级MySQL,而是选择注释掉Django源码中的数据库版本检查。通过Python命令行找到Django安装路径,进入`db/backends/base/base.py`,注释掉`self.check_database_version_supported()`函数
84 0
|
18天前
|
SQL 关系型数据库 MySQL
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(8.0版本升级篇)
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(8.0版本升级篇)
84 0
|
3月前
|
弹性计算 Linux Windows
如何升级计算巢服务实例版本,从而支持更便捷、可视化的游戏配置
现在你可以参考这篇教程,将之前老版本的幻兽帕鲁计算巢服务,升级到最新版本,支持最新版本的管理配置界面。包括修改游戏配置、重启游戏、存档管理等功能。
2632 2
如何升级计算巢服务实例版本,从而支持更便捷、可视化的游戏配置
|
3月前
|
弹性计算 Linux 数据安全/隐私保护
在已有的 ECS 上重装幻兽帕鲁服务器、迁移到计算巢、或升级计算巢服务版本
现在你可以参考这篇教程,将原来搭建的幻兽帕鲁服务器迁移到计算巢上,享受计算巢上所支持的界面化调整游戏配置(死亡掉落、服务器密码等)。 或者也可以用于重新安装,升级到最新版本的计算巢幻兽帕鲁服务。
27905 8
|
9天前
|
弹性计算 前端开发 Java
使用阿里云 mqtt serverless 版本超低成本快速实现 webscoket 长链接服务器
使用阿里云 MQTT Serverless 可轻松实现弹性伸缩的 WebSocket 服务,每日成本低至几元。适用于小程序消息推送的 MQTT P2P 模式。前端需注意安全,避免 AK 泄露,采用一机一密方案。后端通过调用 `RegisterDeviceCredential` API 发送消息。示例代码包括 JavaScript 前端连接和 Java 后端发送。
97 0
|
1月前
|
数据安全/隐私保护 Windows
Windows Server 各版本搭建终端服务器实现远程访问(03~19)
左下角开始➡管理工具➡管理您的服务器,点击添加或删除角色点击下一步勾选自定义,点击下一步蒂埃涅吉终端服务器,点击下一步点击确定重新登录后点击确定点击开始➡管理工具➡计算机管理,展开本地用户和组,点击组可以发现有个组关门用来远程登录右键这个组点击属性,点击添加输入要添加的用户名,点击确定添加成功后点击确定打开另一台虚拟机(前提是在同一个局域网内),按 WIN + R 输入 mstsc 后回车输入 IP 地址后点击连接输入用户名及密码后点击确定连接成功!
32 0
|
1月前
|
Windows
Windows Server 各版本搭建 Web 服务器实现访问本地 Web 网站(03~19)
Windows Server 各版本搭建 Web 服务器实现访问本地 Web 网站(03~19)
51 2
|
2月前
|
关系型数据库 MySQL 数据安全/隐私保护
【极光系列】Windows安装Mysql8.0版本
【极光系列】Windows安装Mysql8.0版本

推荐镜像

更多