rsync结合inotify实现实时同步

简介:

背景介绍

中小企业的web应用场景中,web服务器可能是由2台服务器组成,通过DNS的轮询作为负载均衡,此时就需要对2台服务器之间同步的实时性有较高的要求,上一篇文章所介绍的rsync+crontab就不能满足此需求,本章就来介绍使用rsync+inotify完成服务器之间的实时同步

wKiom1gE4E2TjIvKAABwalFgaPY949.png

实验说明

操作系统:CentOS6.8,inotify要求内核版本必须为2.6.13以上

源服务器:172.16.10.20/24

目标服务器:172.16.10.10/24

实验目的:将源服务器上的/rsync目录内的内容实时同步到目标服务器/rsync目录下

其他事项:为避免安全机制带来的干扰,源和目标服务器都关闭Selinux和iptables

实验步骤

一、安装rsyncd服务

1、服务器端操作

(1)安装xinetd超级守护进程

yum -y install xinetd

(2)将rsync设置为开机启动

chkconfig rsync on

(3)创建rsync配置文件填

vim /etc/rsyncd.conf 并填写下列内容:

# global setting

 log file = /var/log/rsyncd.log #设置log文件位置

 pid file = /var/run/rsyncd.pid #设置pid文件位置

 lock file = /var/run/rsyncd.lock #设置lock文件位置

 uid = rsync #设置启动时以哪个用户来代替root运行rsync

 gid = rsync

 list = no #不允许列出名单

 chroot = no #不切换根目录

 timeout = 300 #设置超时时间

 ignore errors = yes #是否忽略错误

 max connections = 10 #最大连接数

# module setting

 [data] #设定模块名称

 path = /rsync #指定模块路径

 read only = no #是否可写

 write only = no #是否可读

 auth users = rsync_bak #创建允许链接该模块的虚拟用户

 secrets file = /etc/rsyncd.passwd  #账户密码(rsync_bak)的存放文件

 strict modes = yes #检查secrets file文件的权限是否满足要求

 hosts allow = 172.16.10.20/32   #白名单

 hosts deny = *   #黑名单

(4)创建secrets file文件,并修改其权限

vim /etc/rsyncd.passwd

wKioL1gE4E3yx_iRAAAFv9eVeM8621.png

chmod 600 /etc/rsyncdpasswd

(5)创建rsync系统用户

useradd -s /sbin/nologin rsync

(6)创建需要同步的目录并修改其属主和属组

mkdir /rsync

chown -R rsync:rsync /rsync

(7)启动rsyncd服务,并查看873端口是否正常侦听

service xinetd start

netstat -ntl

(8)使用rsync命令将存放rsync_bak帐户名和密码的文件发给客户端wKioL1gE4E7x2mw8AAAtIDCZRzQ072.png

2、客户端操作

(1)查看/etc/rsyncd.passwd是否收到,权限是否为600,再将文件内rsync_bak用户名删除掉,只保留rsync_bak账户的密码

wKiom1gE4E7QITHrAAADL24X0n0369.png

(2)再检测rsyncd服务是否可以正常传输,至此rsyncd服务就搭建完成

wKioL1gE4E6DMabFAAAxLnTlk7w634.png

二、安装inotify-tools

1、inotify-tools工作机制

inotify更像一个监控进程,它会监视指定的目录或文件,并筛选出信息发生变化的内容,根据这个特性我们可以在rsync客户端安装inotify-tools并将其筛选出来的目录或文件作为输入再通过rsync客户端推送到rsync服务器上以实现两个服务器之间的实时同步

2、安装inotify-tools的2个先决条件

(1)安装inotify-tools的机器内核版本必须是2.6.13及以上

(2)查看机器内核是否支持inotify

wKiom1gE4E_RUfWqAAAmaSzTj4M050.png

3、安装inotify-tools操作步骤

(1)从 http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 下载源码并放到/usr/local/src目录下

(2)解压源码包后进入目录

tar -xf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

(3) ./configure --prefix=/usr/local/inotify #配置configure参数

(4)make && makeinstall #编译安装

(5)echo "PATH=/usr/local/inotify/bin:$PATH" >>/etc/profile.d/inotify.sh #添加PATH路径

(6)source /etc/profile.d/inotify.sh #重读下该文件

(7)ln -sv /usr/local/inotify/include/ /usr/include/inotify #头文件输出

(8)echo "/usr/local/inotify/lib" >> /etc/ld.so.conf.d/inotify.conf #库文件输出

(9)使用ldconfig -v 查看inotify库是否已被加载

wKiom1gE4E_Q1Kf8AAAUk3R2FdA118.png

(10)使用vim /etc/man.config,将inotify的man文档输出

wKioL1gE4E_Qt6uRAAAnt65YQJM089.png

三、测试inotify的监视功能

1、通过tree可以看到inotify的核心就只有2条命令,可以通过--help查看

wKiom1gE4E_zdvevAAAfP0mYpF4927.png

2、mkdir /rsync #手动创建一个/rsync目录用于inotify的监视

3、inotifywait -mqr --format '%w%f' -e create /rsync 让inotify监视/rsync目录的变化

-q quite只输出变化信息

-m monitor监视

-r recursive递归

--format 指定格式类型

-e event真实的事件,后面接create,delete等,多个事件间用 , 分隔

4、新开一个终端,在/rsync下创建文件或目录看是否能够被监视到

wKiom1gE4cPhnelhAAAVpNgXcmo533.png

四、inotify结合rsync实现实时同步

1、创建存放脚本的目录及脚本文件

mkdir /etc/usr/local/inotify/script

vim /etc/usr/local/inotify/script/rsync.sh

2、填写脚本内容

#!/bin/bash

rsyncSrc=/rsync

rsyncCommand=/usr/local/inotify/bin/inotifywait

$rsyncCommand -mrq --format '%w%f' -e close_write,delete,create $rsyncSrc \

| while read file;do

   cd $rsyncSrc && rsync -az --delete --password-file=/etc/rsyncd.passwd ./ \

rsync_bak@172.16.10.10::data > /dev/null 2>&1

 done

或者下图脚本也可以

wKioL1gFtLqRI67vAAA4IZBRnQ4880.png

注意:脚本中的./代表同步/rsync目录中的内容而不包括/rsync目录本身,和图片脚本红框部分意义一样,以目录方式执行效率更高

3、给脚本执行权限

chmod +x /usr/local/inotify/script/rsync.sh

4、设置脚本开机自动启动

vim /etc/rc.d/rc.local

sh /usr/local/inotify/script/rsync.sh &

:wq

至此,所有操作完成,重启客户机,开机后使用ps -ef | grep "inotify"查看脚本是否正常启动wKioL1gE4cPwDN9OAABE40URfWg804.png




本文转自 qiao645 51CTO博客,原文链接:http://blog.51cto.com/arkling/1862807
相关文章
|
21小时前
|
监控 安全 Unix
Rsync+Inotify实现数据实时同步
Rsync+Inotify实现数据实时同步
|
9月前
|
监控
inotify+rsync实现实时同步数据
inotify+rsync实现实时同步数据
84 0
|
6月前
|
监控 Linux
rsync+inotify实时同步
rsync+inotify实时同步
|
9月前
|
监控 安全 Shell
使用 inotify 和 rsync 实现文件实时同步
使用 inotify 和 rsync 实现文件实时同步
247 1
|
监控 Linux
配置inotify + rsync 实现实时同步
配置inotify + rsync 实现实时同步
212 0
配置inotify + rsync 实现实时同步
|
监控 测试技术 Linux
rsync+inotify实时同步案例
rsync+inotify实时同步案例 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。
1224 0
|
监控 安全 Shell
inotify+rsync实现实时同步
1.1 什么是实时同步:如何实现实时同步 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化,就利用rsync服务推送到备份服务器上 1.2 实现实时同步的方法    inotify+rsync 方式实现数据同步    sersync 方式实现实时数据同步 详情参照:http://www.cnblogs.com/clsn/p/7707828.html 1.2.1 实时同步原理介绍   1.3 inotify+rsync 方式实现数据同步 1.3.1 Inotify简介   Inotify是一种强大的,细粒度的。
1820 0
|
Web App开发 监控 网络协议

热门文章

最新文章