一、前言

先介绍一下rsync与inotify,先声明下面的rsync与inotify简介不是我写的,链接地址如下:http://ixdba.blog.51cto.com/2895551/580280/

1.1、rsync的优点与不足

与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!

1.2、初识inotify

   Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。

在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

二、Rsync+inotify 配置

2.1、拓扑结构图

222207149.png

2.2、测试环境如下:

系统:Centos 6.4 64位

代码发布节点:

Node2:222.55.166.3

分布式更新:

Node3: 192.168.122.3

Node4: 192.168.122.4

Node5: 192.168.122.5

Node6: 192.168.122.6

IP对应的域名:

222.55.166.3 node2.rsync.org

192.168.122.3 node3.rsync.org

192.168.122.4 node4.rsync.org

192.168.122.5 node5.rsync.org

192.168.122.6 node6.rsync.org

2.3、软件安装

2.3.1、rsync安装(每台服务器上都要安装,以node2为例)

1
2
3
[root@node2 ~]# yum  -y  install  rsync
[root@ node2 ~]# rpm -qa |grep rsync
rsync-3.0.6-9.el6.x86_64

2.3.2、inotify安装(在node2、node3上安装)

  由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持。

1
2
3
4
5
6
7
8
9
10
11
12
[root@node2 ~]# uname -r
2.6.32-358.el6.x86_64
查看系统默认是否支持inotify
[root@node2 ~]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_queued_events
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_instances
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_watches
有以上三项就代表系统默认是支持的,接着安装inotify-tools
[root@node2 ~]# yum  -y  install inotify-tools
[root@node2 ~]# rpm -qa |grep inotify
inotify-tools-3.14-1.el6.x86_64

2.4、配置分布式更新节点

  添加rsyncd.conf配置文件(node4、node5、node6)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@node4 ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 10
pid file /var/run/rsyncd.pid
lock file /var/run/rsync.lock
log file /var/log/rsyncd.log
[web04]
path=/data/web/web04/
comment = update
ignore errors
read only = no
list = no
hosts allow = 192.168.122.0/24
auth users = root
uid = root
gid = root
secrets file /etc/rsyncd.secrets
[root@node4 ~]# vim /etc/rsyncd.secrets       #配置服务端用户和密码
root:123456
[root@node4 ~]# chmod 600 /etc/rsyncd.secrets
[root@node4 ~]# rsync --daemon              #启动rsync守护进程
[root@node4 ~]# echo "rsync --daemon" >>/etc/rc.local  #将rsync服务加入到自启动文件中

  Node5、node6的基本上配置一样,只需要修改了/etc/rsyncd.conf里面的2个地方:rsync的同步名称为:[web05]、[web06];path路径为:path=/home/kuangl/web05、path=/home/kuangl/web06

2.5、node3配置代码发布节点

  添加inotify脚本:实现数据同步到集群中的三个服务节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node3 kuangl]# vim inotify.sh
#!/bin/bash
src=/data/web/
des1=web04
des2=web05
des3=web06
host1="node4.rsync.org"
host2="node5.rsync.org"
host3="node6.rsync.org"
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host1}::${des1}
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host2}::${des2}
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host3}::${des3}
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

  配置/etc/rsync.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[root@node3 kuangl]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 5
pid file /var/run/rsyncd.pid
lock file /var/run/rsync.lock
log file /var/log/rsyncd.log
[web03]
path=/data/web/
comment = update
ignore errors
read only = no
list = no
hosts allow = node2.rsync.org
auth users = root
uid = root
gid = root
secrets file /etc/rsyncd.secrets
增加用户和密码
[root@node3 ~]# vim /etc/rsyncd.secrets
123456
root:123456
[root@node3 ~]# chmod 600 /etc/rsyncd.secrets
启动守护进程
[root@node3 ~]# rsync --daemon              #启动rsync守护进程
[root@node3 ~]# echo "rsync --daemon" >>/etc/rc.local  #将rsync服务加入到自启动文件中
[root@node3 ~]# nohup /home/kuangl/inotify.sh &

2.6、Node2配置代码发布节点

  添加inotify脚本:实现数据同步到node3上的节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@node2 ~]# vim /home/kuangl/inotify.sh
#!/bin/bash
src=/data/web/
des=web03
host="node3.rsync.org"
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files
do
for hostip in ${host}
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/home/kuangl/index.html ${src} root@${hostip}::${des}
done
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
增加用户和密码
[root@node2 ~]# vim /etc/rsyncd.secrets
123456
[root@node2~]# chmod 600 /etc/rsyncd.secrets
启动守护进程
[root@node2 ~]# nohup /home/kuangl/inotify.sh &

三、测试

在代码服务器Node2上创建文件 kuangl.txt

223225467.png


223223972.png


223221488.png


223219682.png


223217502.png