最小化DevOps自动化流程(Golang)

简介: Why?为什么要做自动化流程?在开发过程中,我们在本地机器上做开发,完成一次功能迭代之后,如何发布到远程产品服务器一直是个很头疼的问题。最通常的做法就是使用(S)FTP把代码(或者代码压缩包)覆盖到服务器上。
  • Why?

为什么要做自动化流程?

在开发过程中,我们在本地机器上做开发,完成一次功能迭代之后,如何发布到远程产品服务器一直是个很头疼的问题。最通常的做法就是使用(S)FTP把代码(或者代码压缩包)覆盖到服务器上。这样的做法虽然“直截了当”,但是容易出错,而且全程需要人为干预。(笔者亲历过其他项目部门的负责人过来求助,说发布时拷贝代码到服务器的过程中,服务器突然宕机没有反应。)所以我们需要一种方式帮助我们完成代码发布的整个过程。有非常多的第三方工具帮助我们实现流程自动化的目的。
我们要完成的目标是:1,无人干预;2,缩短发布时间,减少发布时期存在的风险;3,增加项目迭代效率。

  • What?

用什么工具来做自动化流程?

git, github(gitlab)

  • When?

在什么时机下创建自动化流程?

理论上是在第一次发布项目到服务器之前就需要做自动化流程。但是根据迭代开发的思想,我们在创建项目的时候就应该开始着手创建自动化流程。

  • How?

如何创建一个最小化的自动化流程?

我们通过三部实现开发部署流程自动化。

  1. 创建版本仓库

笔者使用Gitlab创建一个名为DevOps的私有仓库.
img_6372424582df82e68816696d7bb1122b.png
new gitlab repo

接着clone 远程仓库到本地开发机器.
如果你还没有创建任何项目代码文件。此时可以使用命令:

git clone git@gitlab.com:EdisonLeung/devops.git
cd devops
touch README.md
git add README.md
git commit -m "add README"
git push -u origin master 

如果您已经开始了本地机器上的编码工作,此时可以在项目目录下使用命令:

git init
git remote add origin git@gitlab.com:EdisonLeung/devops.git
git add .
git commit -m "Initial commit"
git push -u origin master

如果您不光在本地开始了编码工作,同时在本地已经创建了git仓库.此时可以在项目目录下使用命令:

git remote rename origin old-origin
git remote add origin git@gitlab.com:EdisonLeung/devops.git
git push -u origin --all
git push -u origin --tags

最后在服务器clone我们的版本仓库(记得添加服务器SSH Key到Gitlab):

cd ~/www
git clone git@gitlab.com:EdisonLeung/devops.git

clone完成:

root@aliyun:~/www# git clone git@gitlab.com:EdisonLeung/devops.git
Cloning into 'devops'...
remote: Enumerating objects: 3, done.
remote: Counting objects: 100% (3/3), done.
remote: Total 3 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (3/3), done.

目前我们从项目开发到项目部署有三个动作要手动做:
a) 本地机器git push到远程仓库
b) 远程服务器git pull拉去远程仓库版本
c) 重启webserver服务
第二步我们就要将这三个动作自动化。

  1. 创建自动化部署脚本

创建deploy目录,并创建两个文件,main.go和deploy.sh:


img_5ddd037e5f93a3e36e7b93ce012fe358.png
目录结构

deploy.go

package main

import (
    "io"
    "log"
    "net/http"
    "os/exec"
)

func relaunching() {
    cmd := exec.Command("sh", "./deploy.sh")
    err := cmd.Start()
    if err != nil {
        log.Fatal(err)
    }
    err = cmd.Wait()
}

func restart(w http.ResponseWriter, r *http.Request) {
    io.WriteString(w, "<h1>deploy server: restarting webserver...</h1>")
    relaunching()
    io.WriteString(w, "<h1>deploy server: webserver restarted!</h1>")
}

func main() {
    http.HandleFunc("/", restart)
    http.ListenAndServe(":5000", nil)
}

当服务器5000端口被访问时,http.HandleFunc会创建路由调用restart函数relaunching函数,调用过程中在浏览器输出启动过程.
最终relaunching函数调用命令行deploy.sh来重启webserver.
deploy.sh脚本内容如下:

#! /bin/sh

kill -9 $(pgrep webserver)
cd ~/www/devops
git pull git@gitlab.com:EdisonLeung/devops.git
./webserver &

再创建一个main.go来启动一个最小web页面:


img_2e932d8bc07b0b462e92112a7efb70ff.png
webserver main.go

代码示例如下:

package main

import (
    "io"
    "net/http"
)

func index(w http.ResponseWriter, r *http.Request) {
    io.WriteString(w, "<h1>This is Index Page!</h1>")
}

func main() {
    http.HandleFunc("/", index)
    http.ListenAndServe(":8080", nil)
}

注意:这里的http监听端口号要与deploy.go内的端口号区别开,不能是相同端口号,不然会有端口冲突造成服务不能启动!

这时的代码架构就完成了,下面我们来编译发布代码:
因为我们在本地机器环境编译代码,所以对于异构系统来说,go语言为我们提供了相应的参数来针对不同的操作系统和架构进行代码的编译:
因为服务器所采用的是linux amd64的系统,所以编译命令的环境变量如下:
main.go编译生成webserver

env GOOS=linux GOARCH=amd64 go build -o webserver

进入deploy目录编译生成deploy

env GOOS=linux GOARCH=amd64 go build

输出的文件如图:


img_c76dcd712c7a7dca7edfb7863b6992d1.png
编辑结果

下面我们提交项目:
进入DevOps根目录

git add .
git commit -m "basic automatic publishing feature."
git push origin master

提交结果:

Counting objects: 8, done.
Delta compression using up to 4 threads.
Compressing objects: 100% (8/8), done.
Writing objects: 100% (8/8), 5.03 MiB | 1.21 MiB/s, done.
Total 8 (delta 1), reused 0 (delta 0)
To gitlab.com:EdisonLeung/devops.git
   91e5396..c9c087f  master -> master

接下来就要进入服务器拉去最新版本代码并发布。
登录远程服务器拉取代码:

root@aliyun:~/www/devops# git pull
remote: Enumerating objects: 9, done.
remote: Counting objects: 100% (9/9), done.
remote: Compressing objects: 100% (8/8), done.
remote: Total 8 (delta 0), reused 0 (delta 0)
Unpacking objects: 100% (8/8), done.
From gitlab.com:EdisonLeung/devops
   91e5396..c9c087f  master     -> origin/master
Updating 91e5396..c9c087f
Fast-forward
 deploy/deploy    | Bin 0 -> 6594124 bytes
 deploy/deploy.go |  28 ++++++++++++++++++++++++++++
 deploy/deploy.sh |   6 ++++++
 main.go          |  15 +++++++++++++++
 webserver        | Bin 0 -> 6498848 bytes
 5 files changed, 49 insertions(+)
 create mode 100755 deploy/deploy
 create mode 100644 deploy/deploy.go
 create mode 100644 deploy/deploy.sh
 create mode 100644 main.go
 create mode 100755 webserver

将deploy目录拷贝至用户根目录:
cp -r ~/www/devops/deploy/* ~/
启动webserver和deploy service:

cd ~
./www/devops/webserver &
./deploy &

打开浏览器查看结果显示:


img_a010c17cf92250fc6ee0231985a1c491.png
webserver result
img_d9edf0631822b50b14d54cf3e16231d4.png
deploy service result

两个服务均启动成功了!
注意1.两个服务启动前,先用以下命令查看是否有相同服务正在运行,如果有,先将其kill掉:
$ps aux | grep webserver
$kill [pid]
注意2.使用chmod命令给服务程序和脚本提权:
chmod a+x webserver

  1. 自动获取版本推送事件webhook

我们将部署触发的地址添加到远程版本仓库的webhook中,如图:

img_fab1f5caf716fb628f0b341c448431f2.png
webhook

webhook添加完成:
img_af256b1d0f60e8efdcf621a47aadae29.png
webhook

下面我们验证一下这个简单的自动化流程的效果。
我们把显示的文本改为"This is the Index Page2".
img_015e33cbdb2c32b43d03e2c4e12f8092.png
change code

然后编译提交
img_d782c236f0ddb47270fb2a732b32066b.png
编译提交

查看结果:
img_0217f952d1aa054c4002d1311ebaa410.png
发布迭代成功

文章中提到的做法仅仅是抛砖引玉,实现使用Golang是因为语言结构上简短精悍,更容易理解流程,如果您使用其他语言,例如python,php等都可以用相同的方式实现。同时流程上仅关注自动化的过程,开发编译的整个过程都在本地进行,服务端没有提到任何反向代理的服务及运行环境、虚拟环境的配置,因为在虚拟化环境下这些做法会有很多变化,很多情况下完全没有必要做,或者很少去做。更没有必要像目前这样自己去实现自动化流程。如果没有虚拟化实现自动化流程的经验,直接上手虚拟化,还没有很深入理解的情况下,在虚拟化环境下做DevOps及微服务架构,会给自己带来很大的困惑。具体这些将会在后续的文章中提到。

相关文章
|
25天前
|
监控 安全 搜索推荐
简化工作流程!邮件自动化如何助力Workplace操作高效化?
电子邮件在现代职场中扮演核心角色,不仅是通信工具,更是企业运营的关键。自动化驱动的电子邮件提高了效率,用于需求生成、流程管理和交易审批等。电子邮件自动化分为营销、事务性和操作性,各有特定触发器和目标,但也带来收件箱管理挑战。通过过滤、优先级设定和规则管理,收件人可更有效地处理自动化邮件。随着数字化转型,电子邮件将继续影响客户旅程和企业内部流程,未来的系列文章将进一步探讨这一主题。
14 1
|
1月前
|
测试技术 API 数据处理
Python办公自动化:解锁高效工作流程,掌握文档处理的艺术
Python办公自动化:解锁高效工作流程,掌握文档处理的艺术
72 1
|
2月前
|
安全 测试技术 持续交付
接口自动化测试的基本流程
接口自动化测试的基本流程
|
3月前
|
存储 测试技术 持续交付
自动化测试与持续集成/持续交付(CI/CD):优化软件开发流程的利器
自动化测试与持续集成/持续交付(CI/CD)是现代软件开发中至关重要的环节,通过将自动化测试与持续集成/持续交付相结合,可以实现开发流程的高效优化,提高软件质量和交付速度。本文将探讨自动化测试与CI/CD的概念、原理及其在软件开发中的重要性,以及如何实施这些技术以提升团队的协作效率和软件交付质量。
54 1
|
3月前
|
存储 小程序 Shell
Python 自动化指南(繁琐工作自动化)第二版:二、流程控制
Python 自动化指南(繁琐工作自动化)第二版:二、流程控制
40 0
|
3月前
|
运维 Cloud Native Devops
云原生 DevOps 自动化运维 概述
【1月更文挑战第7天】云原生 DevOps 自动化运维 概述
|
4月前
|
安全 jenkins 持续交付
使用Jenkins自动化上网时间监测软件的发布流程
在当前互联网时代,人们对上网时间的监测变得愈发重要。为了满足这一需求,我们可以利用Jenkins来自动化发布上网时间监测软件,以确保高效、可靠地监测用户的在线活动。本文将介绍如何使用Jenkins搭建自动发布流程,并通过代码示例展示关键步骤。
216 0
|
22小时前
|
运维 Kubernetes Devops
构建高效自动化运维体系:DevOps与容器技术融合实践
【4月更文挑战第15天】 在当今快速发展的信息技术时代,传统的IT运维模式已难以满足业务敏捷性的需求。本文旨在探讨如何通过整合DevOps理念和容器技术来构建一个高效的自动化运维体系。文章将详细阐述DevOps的核心原则、容器技术的基础知识,以及两者结合的优势。此外,文中还将分享一系列实践经验,包括持续集成/持续部署(CI/CD)流程的搭建、微服务架构的应用,以及监控和日志管理策略的优化,以期帮助企业实现快速、可靠且安全的软件交付过程。
|
1月前
|
机器学习/深度学习 测试技术 API
iOS系统下轻松构建自动化数据收集流程
iOS系统下轻松构建自动化数据收集流程
19 0
|
1月前
|
监控 Shell 持续交付
利用Shell脚本自动化员工电脑监管软件的部署流程
在企业管理中,对员工的电脑活动进行监管是一项重要任务。而为了实现这一目标,部署监管软件是必不可少的。本文将介绍如何利用Shell脚本来自动化部署员工电脑监管软件的流程。我们将演示如何使用Shell脚本来自动下载、安装和配置监管软件,并且在部署完成后自动启动服务。
119 4

热门文章

最新文章