部署流水线搭建小记:Docker、Jenkins、Java和Couchbase

简介: 本文讲的是部署流水线搭建小记:Docker、Jenkins、Java和Couchbase【编者的话】这篇文章讲述了如何用Jenkins和Docker来为一个需要和数据库交互的Java应用创建部署流水线(deployment pipeline)。

本文讲的是部署流水线搭建小记:Docker、Jenkins、Java和Couchbase【编者的话】这篇文章讲述了如何用Jenkins和Docker来为一个需要和数据库交互的Java应用创建部署流水线(deployment pipeline)。

Jenkins支持创建流水线。它使用一种基于Groovy的流水线领域特定语言(Pipeline DSL)的简单脚。

而这些脚本,通常名字叫Jenkinsfile。它定义了一些根据指定参数执行简单或复杂的任务的步骤。流水线创建好后,可以用来构建代码,或者编排从代码提交到交付过程中所需的工作。

流水线包括步骤(Step),节点(Node)和阶段(Stage)。流水线执行在节点上。节点是Jenkins安装的一部分。流水线通常包含多个阶段。一个阶段包含多个步骤。流水线上手指南可以查看到更多的内容。

对于我们本文中的应用,其基本的部署流程是这样的:

1.png


  1. 开发者更新工作区
  2. Jenkins收到通知
  3. Jenkins克隆工作区
  4. Jenkins创建一个Docker镜像
  5. Jenkins运行测试
  6. Jenkins将镜像推到Docker Hub


应用的完整代码放在了GitHub仓库上。

应用位于仓库中的webapp目录。应用会借助Couchbase的Java SDK,使用一个到Couchbase数据库的连接,保存一个简单的JSON文档。应用同时包含一个测试,以验证数据库是否包含持久化的文档。

特别感谢@alexsotob在Jenkins配置上对我的帮助。

让我们开始吧!

下载并安装Jenkins

jenkins.io下载Jenkins。这里使用的是Jenkins 2.21。

先把Jenkins启动起来:

JENKINS_HOME=~/.jenkins java -jar ~/Downloads/jenkins-2.21.war --httpPort=9090


这条命令指定了Jenkin家目录的路径。家目录下面存放了所有的配置信息。同时指定了Jenkins的监听端口。这里指定的是9090端口。

启动Jenkins会在中终端中看到如下消息:

Jenkins initial setup is required. An admin user has been created and a password generated.
Please use the following password to proceed to installation:

(译文:Jenkins需要初始化的设置。我们已经为你创建好了一个管理员用户生成好了密码。请使用下面密码继续安装。)

3521fbc3d40448efa8942f8e464b2dd9

This may also be found at: /Users/arungupta/.jenkins/secrets/initialAdminPassword

(译文:这个密码的内容同时也可以在`/Users/arungupta/.jenkins/secrets/initialAdminPassword`中找到。) 


复制一下终端中显示的密码,这个密码会用来解锁Jenkins。

在浏览器中输入localhost:9090访问Jenkins,然后粘贴密码:

2.png


点击Next进入下一步:

创建第一个如图所示的管理员用户:

3.png


点击Save and Finish继续。

点击Install suggested plugins

4.png


然后就会安装好一批默认的插件:

5.png


(很奇怪Ant和Subversion是默认的插件。)

然后会弹出登陆框:

6.png


输入之前创建好的用户名和密码。

最后Jenkins就可以使用了。

7.png


不得不说,要安装好一个简单的Jenkins所需要的步骤不少。真的有必要需要这么多步骤才能开始使用Jenkins吗?能不能有一个更简单,更傻瓜,更偷懒的方式来开始使用Jenkins呢?希望能遵守管理优先原则(Convention-over-Configuration)然后提供一个预先配置好的一键安装包。

创建Jenkins作业

让我们在Jenkins中创建一个用来运行流水线的作业。

  1. 在Jenkins重启之后,他会显示一个登陆界面。输入之前创建的用户名和密码。这会把你带回到Installing Plugins/Upgrade页面。点击页面左上角的Jenkins图标,可看到主控制面板:
     

    8.png

  2. 点击create new job,作业的名字取做docker-jenkins-pipeline,类型选Pipeline
     

    9.png


    点击OK按钮。
  3. 按照如图所示对流水线进行配置:
     

    10.png


    这里我们使用了本地的仓库。你当然也可以选择托管在Github上的仓库。另外,这个仓库可以配置一个git钩子或者定时的轮询器来触发流水线的运行。点击Save按钮来保存配置。


让Jenkins进行构建

在启动这个作业之前,Couchbase数据库需要显式地进行启动:

docker run -d --name db -p 8091-8093:8091-8093 -p 11210:11210 arungupta/oreilly-couchbase:latest


这个问题会在编号9的问题修复之后得以解决。确保你可以使用用户名Administrator和密码password,通过 http://localhost:8091 来访问Couchbase。点击Data Bucket标签页可以看到创建的名为books的Bucket。

11.png


点击Build Now你应该看见下图类似的输出:

12.png


看起来一切正常。

让我们来试着理解下背后发生了什么。

Jenkinsfile描述了流水线是如何构建的。从整体看它有四个阶段 - 打包、创建Docker镜像、运行应用和运行测试。每一个阶段在Jenkins的控制面板都是以一个方框显示的。每一个阶段花费的总体时间显示在每一个方框中间。

然后我们试着理解每一个阶段都做了什么事情。

打包:应用的的源码位于webapp目录下。而这一条Maven命令:

mvn clean package -DskipTests


用来创建应用的JAR包。注意Maven项目也包含测试,但是这里被故意通过-DskipTests忽略了。

通常,测试会分开放在一个下游的项目中。Maven项目创建一个应用的Fat JAR(译者注:Fat JAR是把项目所有类文件、资源文件和依赖打包在一起的JAR)文件并且包含所有的依赖。

创建Docker镜像:应用的Docker镜像是使用webapp目录下的Dockerfile来构建的。这个镜像仅仅包含一个Fat JAR,可以通过java -jar来运行。

每一个镜像都使用构建编号打上了标签:

${env.BUILD_NUMBER} 


运行应用:运行应用需要运行应用的Docker容器。数据库容器的IP地址可以通过下面这条命令来查到:

docker inspect


数据库容器和应用容器同时运行在默认的bridge网络中。这可以让两个容器来互相沟通。也可以在swarm模式的集群中运行流水线,这需要创建并且使用覆盖网络。

运行测试:测试可以使用如下命令来进行:

mvn test


如果测试通过,镜像会被推送到Docker Hub。不管测试是否成功,运行结构都能捕获到。同时我们显示了try/catch/finally块在Jenkinsfile中的使用。如果测试通过了,那镜像就会推送到Docker Hub中。在我们这个例子中,它被推送到了这里

待办事项

  • 把测试移到一个下游的项目中(#7
  • 使用Git钩子或者轮询来触发流水线(#8
  • 自动化数据库的启动与停止(#9
  • 用Swarm模式下的Docker引擎集群来运行流水线(#10
  • 增加额外的配置来将镜像推送到bintray(#11
  • 另外一个痛点找不到关于全局变量语法的文档。只有在<JENKINS-HOST>:<JENKINS-PORT>/job/docker-jenkins-pipeline/pipeline-syntax/globals能找到相关内容。这一点点戳。
  • 不是不可能,只是还没有实现” #sadpanda



目录
打赏
0
0
0
0
74
分享
相关文章
|
18天前
|
Jenkins环境的部署及任务构建
以上就是Jenkins环境的部署及任务构建的全部内容。希望可以帮助你轻松上手Jenkins,让你的CI/CD之旅更加顺畅!
145 68
DevOps实践:Jenkins在持续集成与持续部署中的价值
【10月更文挑战第27天】在快速发展的软件开发领域,DevOps实践日益重要。Jenkins作为一款流行的开源自动化服务器,在持续集成(CI)和持续部署(CD)中扮演关键角色。本文通过案例分析,探讨Jenkins在Java项目中的应用,展示其自动化构建、测试和部署的能力,提高开发效率和软件质量。
147 2
在线编程实现!如何在Java后端通过DockerClient操作Docker生成python环境
以上内容是一个简单的实现在Java后端中通过DockerClient操作Docker生成python环境并执行代码,最后销毁的案例全过程,也是实现一个简单的在线编程后端API的完整流程,你可以在此基础上添加额外的辅助功能,比如上传文件、编辑文件、查阅文件、自定义安装等功能。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
在线编程实现!如何在Java后端通过DockerClient操作Docker生成python环境
干货含源码!如何用Java后端操作Docker(命令行篇)
只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
Jenkins 自动化局域网管控软件构建与部署流程
在企业局域网管理中,Jenkins 作为自动化工具,通过配置源码管理、构建及部署步骤,实现了高效、稳定的软件开发与部署流程,显著提升局域网管控软件的开发与运维效率。
96 5
Jenkins 在前端项目持续部署中的应用,包括其原理、流程以及具体的实现方法
本文深入探讨了Jenkins在前端项目持续部署中的应用,涵盖其基本原理、流程及具体实现方法。首先介绍了Jenkins的基本概念及其在自动化任务中的作用,随后详细解析了从前端代码提交到生产环境部署的全过程,包括构建、测试、部署等关键步骤。最后,强调了持续部署中的代码质量控制、环境一致性、监控预警及安全管理等注意事项,旨在帮助开发者高效、安全地实施持续部署。
130 5
Jenkins在持续集成与持续部署中的价值
Jenkins在持续集成与持续部署中的价值
【技术开发】接口管理平台要用什么技术栈?推荐:Java+Vue3+Docker+MySQL
该文档介绍了基于Java后端和Vue3前端构建的管理系统的技术栈及功能模块,涵盖管理后台的访问、登录、首页概览、API接口管理、接口权限设置、接口监控、计费管理、账号管理、应用管理、数据库配置、站点配置及管理员个人设置等内容,并提供了访问地址及操作指南。
成功优化!Java 基础 Docker 镜像从 674MB 缩减到 58MB 的经验分享
本文分享了如何通过 jlink 和 jdeps 工具将 Java 基础 Docker 镜像从 674MB 优化至 58MB 的经验。首先介绍了选择合适的基础镜像的重要性,然后详细讲解了使用 jlink 构建自定义 JRE 镜像的方法,并通过 jdeps 自动化模块依赖分析,最终实现了镜像的大幅缩减。此外,文章还提供了实用的 .dockerignore 文件技巧和选择安全、兼容的基础镜像的建议,帮助开发者提升镜像优化的效果。
阿里云云效操作报错合集之部署docker时遇到报错,该怎么办
本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法,包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台,为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑,致力于提升企业的研发效能和创新能力。