Linux Shell脚本之Gitlab远程备份

简介:

注:Gitlab是一个git服务程序,有web图形界面和一系列管理工具,具体详细介绍可以Google it。

这一篇可以说是上一篇《Linux Shell脚本之Atlassian confluence远程备份方法》的姊妹篇。其说明和原理是和上一篇是一样的,其核心原理都是core dump、scp、ssh和find+rm,但也有不同。

1.Gitlab本身提供了较好的备份方法,只是一个命令那么简单,并且它也支持远程备份(远程存储和云存储),例如它可以存储到aws的s3上。

2.本脚本运行在Gitlab服务器上,不在备机上,上一篇的脚本是与运行在备机上。

脚本如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#!/bin/bash
# This shell script will execute on A Server
 
# SHELL=/bin/bash
# PATH=/sbin:/bin:/usr/sbin:/usr/bin
# MAILTO=root
# HOME=/
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
# m h  dom mon dow   command
# execute on 11:59 per sunday
# 59 11 * * */0 $0 >/tmp/gitlab_backup_$(date -d "yesterday" +"%Y%m%d%H%M%S").log
# execute on 23:59 per day
# 59 23 * * * $0 >/tmp/gitlab_backup_$(date -d "yesterday" +"%Y%m%d%H%M%S").log
 
#    xxx.xxx.xxx.xxx                xxx.xxx.xxx.xxx
#           |         ssh tunnel          |
#    xxx.xxx.xxx.xxx  <==========>  xxx.xxx.xxx.xxx
#           |                             |
# ----------+-----------------------------+-------
#           |                             |
#     +-----+-----+                +------+------+
#     |     A     |                |      B      |
#     +-----------+                +-------------+ 
#     gitlab server                backups clinet
#
# A and B passed ssh Authentication
# A-->B: ssh lan_ip
# A-->B: ssh wan_ip
# B-->A: ssh lan_ip
# B-->A: ssh wan_ip
# A-->A: ssh lan_ip
# A-->A: ssh wan_ip
# B-->B: ssh lan_ip
# B-->B: ssh wan_ip
 
# Run as root, of course.
[ $UID - eq  0 ] || (  echo  "Must be root to run this script."  &&  exit  1 )
save_days=5
[ $? - eq  1 ] &&  exit  1
gitlab_internal_backup_directory= /data/var/opt/gitlab/backups
# if you have both wan ip and lan ip, you can fill it with all, if you have one ip, you can fill it just with lan ip
backup_server_ipaddress_public=xxx.xxx.xxx.xxx
backup_server_ipaddress_private=xxx.xxx.xxx.xxx
# select lan ip first for transmission speed
backup_server_hostname=${backup_server_ipaddress_private:-$backup_server_ipaddress_public}
backup_server_ssh_username=root
#backup_server_ssh_port=$(awk '/Port/ {print $2}' /etc/ssh/sshd_config)
backup_server_ssh_port=$( netstat  -anop |  awk  '/sshd/ && /LISTEN/ {print $4}'  awk  -F  ':'  '{print $2}' )
backup_server_ssh_hostname=$backup_server_hostname
backup_path= /data/gitlab_backup_directory
backup_path_time_uniq=$( date  -d  "yesterday"  + "%Y%m%d" )
[ -d $backup_path/$backup_path_time_uniq ] ||  mkdir  -p $backup_path/$backup_path_time_uniq
# sudo -u gitlab_ci -H bundle exec rake backup:create RAILS_ENV=production
echo  "GitLab is executing backup operation, please hold on! "
/data/opt/gitlab/bin/gitlab-rake  gitlab:backup:create >$backup_path/$backup_path_time_uniq/$( date  -d  "yesterday"  + "%Y%m%d" ).log 2>&1
[ $? - ne  0 ] &&  echo  "Local backup failed! "  &&  exit  1; echo  "Local backup successfully! "
backuped_tar_file=` awk  '/gitlab_backup.tar/ {print $4}'  $backup_path /backup_path_time_uniq/ $( date  -d  "yesterday"  + "%Y%m%d" ).log`
[ -f $gitlab_internal_backup_directory/$backuped_tar_file ] &&  echo  "Find backuped tar file successfully! "
ssh  $backup_server_ssh_username@$backup_server_ssh_hostname [ -d $backup_path/$backup_path_time_uniq ] ||  mkdir  -p $backup_path/$backup_path_time_uniq
[ $? - ne  0 ] &&  echo  "Remote backup directory creation failed! "  &&  exit  1; echo  "Remote backup directory creation successfully! "
scp  -P$port $gitlab_internal_backup_directory/$backuped_tar_file $backup_server_ssh_username@$backup_server_ssh_hostname:$backup_path/$backup_path_time_uniq 
[ $? - ne  0 ] &&  echo  "Remote backup transmission failed! "  &&  exit  1; echo  "Remote backup transmission successfully! "
find  $gitlab_internal_backup_directory -mtime +$save_days - exec  rm  -rf {} \;
[ $? - ne  0 ] &&  echo  "Local expired backup remove skipped! " ; echo  "Local expired backup remove successfully! "
find  $backup_path -mtime +$save_days - exec  rm  -rf {} \;
[ $? - ne  0 ] &&  echo  "Local expired tempdir remove skipped! " ; echo  "Local expired tempdir remove successfully! "
ssh   $backup_server_ssh_username@$backup_server_ssh_hostname  find  $backup_path -mtime +$save_days - exec  rm  -rf {} \;
[ $? - ne  0 ] &&  echo  "Remote expired backup remove skipped! " ; echo  "Remote expired backup remove successfully! "

参考:   
GitLab.org / GitLab Community Edition / Backup restore     https://gitlab.com/gitlab-org/gitlab-ce/blob/master/doc/raketasks/backup_restore.md    
GitLab.org / GitLab CI / Backup restore     https://gitlab.com/gitlab-org/gitlab-ci/blob/master/doc/raketasks/backup_restore.md

tag:Gitlab备份脚本,Gitlab备份方法,如何备份Gitlab,远程备份Gitlab,远程备份脚本

--end--



本文转自 urey_pp 51CTO博客,原文链接:http://blog.51cto.com/dgd2010/1686043,如需转载请自行联系原作者


相关文章
|
8天前
|
Web App开发 Java Linux
Linux之Shell基本命令篇
Linux之Shell基本命令篇
Linux之Shell基本命令篇
|
15天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
70 1
|
18天前
|
Linux Shell Python
Linux执行Python脚本
Linux执行Python脚本
26 1
|
9天前
|
Shell Linux
【Linux】12. 模拟实现shell
【Linux】12. 模拟实现shell
25 2
|
14天前
|
Ubuntu Unix Linux
【Linux/Ubuntu】Linux/Ubuntu运行python脚本
【Linux/Ubuntu】Linux/Ubuntu运行python脚本
|
15天前
|
Linux Shell
Linux脚本获取输入参数判断文件还是文件路径
Linux脚本获取输入参数判断文件还是文件路径
12 4
|
19天前
|
Linux Shell 调度
linux脚本任务调度
Linux的`crontab`用于计划任务,按照预设时间执行脚本或命令。步骤包括:1) 创建并赋予执行权限的脚本,如`backup.sh`;2) 使用`crontab -e`编辑任务列表;3) 添加cron表达式(如`0 1 * * * /path/to/backup.sh`,表示每天凌晨1点执行脚本);4) 保存并启动/检查cron服务。cron表达式包含分钟、小时、日期、月份和周几字段。根据需求调整表达式以满足不同任务需求。
9 3
|
19天前
|
运维 监控 Linux
linux脚本自动化运维任务
Linux自动化运维通过脚本提升效率,涵盖服务管理(启停服务、异常恢复)、系统监控(资源警报)、日志管理(清理分析)、备份恢复、补丁更新、自动化部署(如Ansible)、网络管理、定时任务(cron)和故障排查。结合shell、Python及工具,形成高效运维体系。
18 3
|
22天前
|
存储 算法 Shell
【Linux 环境变量相关】深入理解Linux下 CMake、Shell 与环境变量的交互(二)
【Linux 环境变量相关】深入理解Linux下 CMake、Shell 与环境变量的交互
44 0
|
22天前
|
Shell Linux 开发工具
shell的介绍以及Linux权限的讲解
shell的介绍以及Linux权限的讲解
29 2