Sersync实时同步企业应用配置实战

简介:

一、实验环境

CentOS版本: 6.6(2.6.32.-504.el6.x86_64)

Rsync版本:  Rsync-3.0.6(系统自带)

Sersync版本:sersync2.5.4_64bit_binary_stable_final.tar.gz(下载上传)

二、准备工作

查看系统是否支持inotify及参数优化:

[root@backup ~]# ls -l  /proc/sys/fs/inotify/

------------------

总用量 0

0 dr-xr-xr-x 0 root root 0 12月 4 14:04 ..

0 dr-xr-xr-x 0 root root 0 12月 4 11:35 .

0 -rw-r--r-- 1 root root 0 12月 4 11:35 max_user_watches

0 -rw-r--r-- 1 root root 0 12月 4 11:35 max_user_instances

0 -rw-r--r-- 1 root root 0 12月 4 11:35 max_queued_events

------------------

     返回以上内容,则系统支持inotify。这一步可能博友不太明白,本文实验是sersync实时同步,和支持inotify有什么关系。这是因为sersync实时监控时会调用 max_user_watches和 max_queued_events这两个文件

max_user_watches       #可实时监控的目录的最大个数,该值默认为8192

max_queued_events    #可实时监控的最大的队列事件, 超出这个值的事件将被丢弃。该值默认为16384

[root@backup ~]# cat /proc/sys/fs/inotify/*

16384

128

8192

[root@backup inotify]# echo 50000000 > max_user_watches

[root@backup inotify]# cat max_user_watches

50000000

[root@backup inotify]# echo 327679 > max_queued_events

[root@backup inotify]# cat max_queued_events

327679

关闭防火墙: service iptables stop                                    #(服务端,客户端)均关闭

            chkconfig iptables off

关闭selinux:

sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' /etc/selinux/config  #(服务端,客户端)均关闭

init 6 重启系统一定要!

三、Rsync服务端配置

[root@backup ~]# vi /etc/rsyncd.conf

#rsyncd.conf,create 2015-07-30,linuxzkq

uid = rsync

gid = rsync

use chroot = no

max connections = 200

timeout = 300

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 192.168.0.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup           #此为虚拟用户

secrets file = /etc/rsync.password

[cc]

path = /cc/

保存退出!

[root@backup ~]# echo "rsync_backup:8700389">/etc/rsync.password #创建同步自动认证的用户名与密码

[root@backup ~]# cat /etc/rsync.password

rsync_backup:8700389

[root@backup ~]# chmod 600 /etc/rsync.password                   #处于安全考虑,赋予600权限

[root@backup ~]# ll /etc/rsync.password

-rw------- 1 root root 21 Jul 30 21:36 /etc/rsync.password

[root@backup ~]# mkdir /cc                                                       #创建服务端同步目录

[root@backup ~]# useradd rsync -s /sbin/nologin

[root@backup ~]# chown -R rsync.rsync /cc

[root@backup ~]# rsync --daemon                                            #表示以守护进程的方式启动

[root@backup ~]# netstat -tunlp|grep 873

tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      28631/rsync         

tcp        0      0 :::873                      :::*                        LISTEN      28631/rsync         

[root@backup ~]# ps -ef|grep rsync

root     28631     1  0 21:30 ?        00:00:00 rsync --daemon

root     28647 28596  0 21:32 pts/0    00:00:00 grep rsync

[root@backup ~]# echo "/usr/bin/rsync --daemon" >>/etc/rc.local  #加入开机自启动

[root@backup ~]# tail -1 /etc/rc.local

/usr/bin/rsync --daemon

四、Rsync客户端配置

[root@LAMP ~]# vi /etc/rsync.password

8700389

保存退出!

[root@LAMP ~]# cat /etc/rsync.password

8700389

[root@LAMP ~]# chmod 600 /etc/rsync.password

[root@LAMP ~]# ll /etc/rsync.password 

-rw------- 1 root root 8 Jul 30 22:15 /etc/rsync.password

[root@LAMP ~]# mkdir /cc

[root@LAMP ~]# useradd rsync -s /sbin/nologin

[root@LAMP ~]# chown -R rsync.rsync /cc

[root@LAMP ~]# which rsync

/usr/bin/rsync

[root@LAMP ~]# rz -y

rz waiting to receive.

 zmodem trl+C 


  100%    4686 KB 4686 KB/s 00:00:01       0 Errors.

[root@LAMP ~]# ll

-rw-r--r-- 1 root root  727290 Oct 26  2011 sersync2.5.4_64bit_binary_stable_final.tar.gz

[root@LAMP ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz

[root@LAMP ~]# ll

drwxr-xr-x 2 root root    4096 Oct 26  2011 GNU-Linux-x86

[root@LAMP ~]# mv GNU-Linux-x86 /usr/local/sersync

[root@LAMP ~]# cd /usr/local/sersync

[root@LAMP ~]# ll

total 1772

-rwxr-xr-x 1 root root    2214 Oct 26  2011 confxml.xml

-rwxr-xr-x 1 root root 1810128 Oct 26  2011 sersync2

[root@LAMP ~]# cp confxml.xml confxml.xml-bak 

[root@LAMP ~]# vi confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

<host hostip="localhost" port="8008"></host>

<debug start="false"/>

<fileSystem xfs="false"/>

<filter start="false">

<exclude expression="(.*)\.svn"></exclude>

<exclude expression="(.*)\.gz"></exclude>

<exclude expression="^info/*"></exclude>

<exclude expression="^static/*"></exclude>

</filter>

<inotify>

<delete start="true"/>

<createFolder start="true"/>

<createFile start="false"/>

<closeWrite start="true"/>

<moveFrom start="true"/>

<moveTo start="true"/>

<attrib start="false"/>

<modify start="false"/>

</inotify>

<sersync>

<localpath watch="/cc">

<remote ip="192.168.0.112" name="cc"/>

<!--<remote ip="192.168.8.40" name="tongbu"/>-->

</localpath>

<rsync>

<commonParams params="-artuz"/>

<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>

<userDefinedPort start="false" port="874"/><!-- port=874 -->

<timeout start="true" time="100"/><!-- timeout=100 -->

<ssh start="false"/>

</rsync>

<failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

<crontab start="true" schedule="600"><!--600mins-->

<crontabfilter start="false">

<exclude expression="*.php"></exclude>

<exclude expression="info/*"></exclude>

</crontabfilter>

</crontab>

<plugin start="false" name="command"/>

</sersync>

<plugin name="command">

<param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /server/scripts/check_sersync.sh suffix-->

<filter start="false">

<include expression="(.*)\.php"/>

<include expression="(.*)\.sh"/>

</filter>

</plugin>

<plugin name="socket">

<localpath watch="/cc">

<deshost ip="192.168.138.20" port="8009"/>

</localpath>

</plugin>

<plugin name="refreshCDN">

<localpath watch="/data0/htdocs/cms.xoyo.com/site/">

<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

<sendurl base="http://pic.xoyo.com/cms"/>

<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

</localpath>

</plugin>

</head>

"confxml.xml" 67L, 2267C written

:wq!  #保存退出


参数说明:

1)修改24-28行,定义同步的本地目录及远程目标服务器IP和模块名

 24         <localpath watch="/opt/tongbu">

 25             <remote ip="127.0.0.1" name="tongbu1"/>

 26             <!--<remote ip="192.168.8.39" name="tongbu"/>-->

 27             <!--<remote ip="192.168.8.40" name="tongbu"/>-->

 28         </localpath>

修改后内容为:

 24         <localpath watch="/cc">

 25             <remote ip="192.168.0.112" name="cc"/>

 26         </localpath>

2) 修改29-35行,认证部分:

 29         <rsync>

 30             <commonParams params="-artuz"/>

 31             <auth start="false" users="root" passwordfile="/etc/

    rsync.pas"/>

 32             <userDefinedPort start="false" port="874"/><!-- port

    =874 -->

 33             <timeout start="false" time="100"/><!-- timeout=100 

    -->

 34             <ssh start="false"/>

 35         </rsync>

修改后的内容:

 32         <rsync>

 33             <commonParams params="-artuz"/>

 34             <auth start="true" users="rsync_backup" passwordfile="/e

    tc/rsync.password"/>

 35             <userDefinedPort start="false" port="874"/><!-- port=874

     -->

 36             <timeout start="true" time="100"/><!-- timeout=100 -->

 37             <ssh start="false"/>

 38         </rsync>

3)修改36-37行,定义同步队列或事件失败后,再次同步失败队列或事件的时间间隔

 36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60

    "/><!--default every 60mins execute once-->

 37         <crontab start="false" schedule="600"><!--600mins-->

修改后的内容为:

 39         <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/>  <!--default every 60mins execute once-->

 40         <crontab start="true" schedule="600"><!--600mins-->


以上修改完了,配置sersync环境变量:

[root@LAMP ~]# echo "export PATH=$PATH:/usr/local/sersync/bin" >>/etc/profile

[root@LAMP ~]# tail -1 /etc/profile

export PATH=$PATH:/usr/local/sersync/bin

[root@LAMP ~]# source /etc/profile

[root@LAMP ~]# echo "/usr/local/sersync/sersync2 -d -r -o  /usr/local/sersync/confxml.xml" >>/etc/rc.local                        #加入开机自启动

[root@LAMP ~]# cat /etc/rc.local

#!/bin/sh

#

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.


touch /var/lock/subsys/local

/usr/local/sersync/sersync2 -d -r -o  /usr/local/sersync/confxml.xml

[root@LAMP ~]# mkdir /server/scripts -p


[root@LAMP ~]# cd /server/scripts

[root@LAMP ~]# vi check_sersync.sh

#!/bin/sh


sersync="/usr/local/sersync/sersync2"


confxml="/usr/local/sersync/confxml.xml"


status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)


if [ $status -eq 0 ];


then


$sersync -d -r -o $confxml &


else


exit 0;


fi

:wq!  #保存退出

[root@LAMP ~]# chmod +x check_sersync.sh              

[root@LAMP ~]# ll

total 4

-rwxr-xr-x 1 root root 224 Aug  4 23:27 check_sersync.sh

[root@LAMP ~]# crontab -e   #加入定时任务

*/5 * * * * root /server/scripts/check_sersync.sh > /dev/null 2>&1  #每隔5分钟执行一次脚本

[root@LAMP ~]# sh check_sersync.sh

set the system param

execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -d      run as a daemon

option: -r      rsync all the local files to the remote servers before the sersync work

option: -o      config xml name:  /usr/local/sersync/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost     host port: 8008

daemon start,sersync run behind the console 

Start the crontab       Every 600 minutes rsync all the files to the remote servers entirely

use rsync password-file :

user is rsync_backup

passwordfile is         /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 

Max threads numbers is: 32 = 12(Thread pool nums) + 20(Sub threads)

please according your cpu ,use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /cc && rsync -artuz -R --delete ./ rsync_backup@192.168.0.110::cc --password-file=/etc/rsync.password >/dev/null 2>&1 

run the sersync: 

watch path is: /cc

[root@LAMP ~]# touch /cc/bb{1..500}.log

[root@LAMP ~]# ls

bb140.log  bb230.log  bb320.log  bb410.log  bb500.log

bb141.log  bb231.log  bb321.log  bb411.log  bb50.log

bb142.log  bb232.log  bb322.log  bb412.log  bb51.log

bb143.log  bb233.log  bb323.log  bb413.log  bb52.log

bb144.log  bb234.log  bb324.log  bb414.log  bb53.log

bb145.log  bb235.log  bb325.log  bb415.log  bb54.log

bb146.log  bb236.log  bb326.log  bb416.log  bb55.log

bb147.log  bb237.log  bb327.log  bb417.log  bb56.log

bb148.log  bb238.log  bb328.log  bb418.log  bb57.log

bb149.log  bb239.log  bb329.log  bb419.log  bb58.log

bb14.log   bb23.log   bb32.log   bb41.log   bb59.log


现在再到Rsync服务端查看/cc目录:

[root@backup ~]# ls /cc

bb140.log  bb230.log  bb320.log  bb410.log  bb500.log

bb141.log  bb231.log  bb321.log  bb411.log  bb50.log

bb142.log  bb232.log  bb322.log  bb412.log  bb51.log

bb143.log  bb233.log  bb323.log  bb413.log  bb52.log

bb144.log  bb234.log  bb324.log  bb414.log  bb53.log

bb145.log  bb235.log  bb325.log  bb415.log  bb54.log

bb146.log  bb236.log  bb326.log  bb416.log  bb55.log

bb147.log  bb237.log  bb327.log  bb417.log  bb56.log

bb148.log  bb238.log  bb328.log  bb418.log  bb57.log

bb149.log  bb239.log  bb329.log  bb419.log  bb58.log

bb14.log   bb23.log   bb32.log   bb41.log   bb59.log

以上测试都通过,说明inotify实时触发rsync同步脚本运行正常。

至此,Rsync+sersync实现数据实时同步完成,如有遗漏之处,还请广大博友拍砖指正!               



本文转自 linuxzkq 51CTO博客,原文链接:http://blog.51cto.com/linuxzkq/1683178

相关文章
|
21天前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
66 0
|
6月前
|
NoSQL 关系型数据库 MySQL
Redis私有云平台-Cachecloud安装和部署手册
Redis私有云平台-Cachecloud安装和部署手册
|
6月前
|
数据采集 Java 关系型数据库
企业实战(20)ETL数据库迁移工具Kettle的安装配置详解
企业实战(20)ETL数据库迁移工具Kettle的安装配置详解
163 0
|
8月前
|
存储 运维 监控
【运维知识进阶篇】Sersync实时同步详解
【运维知识进阶篇】Sersync实时同步详解
144 0
|
8月前
|
运维 关系型数据库 MySQL
【运维知识进阶篇】集群架构-Rsync服务详解
【运维知识进阶篇】集群架构-Rsync服务详解
174 0
|
存储 运维 监控
ELK搭建(十一):搭建MongoDB运行情况监控平台
mongoDB作为基于磁盘的非关系型数据库,JSON格式数据存储方式,具有优秀的查询效率。越来越多的场景使用到了MongoDB。在生产运维中,更需要我们能够实时的掌握mongo的运行情况,以方便我们数据库运行问题做出及时的调整和补救。
268 0
ELK搭建(十一):搭建MongoDB运行情况监控平台
|
SQL 存储 消息中间件
一面数据: Hadoop 迁移云上架构设计与实践
Hadoop 技术栈,一直是企业自建大数据平台的首选。随着企业数据量的指数级增长,云计算时代的到来,企业对存储的弹性、运维及 TCO 都提出了更高要求。曾经自建 Hadoop 大数据平台的企业正逐步将大数据平台迁移至云上。
716 1
一面数据: Hadoop 迁移云上架构设计与实践
|
NoSQL 数据库
【直播回顾】阿里高级开发工程师烛昭:Redis&MongoDB的同步、迁移以及混合云场景构建
本次直播将主要介绍Redis和MongoDB的同步和迁移,进一步探索如何满足用户容灾和多活的需求,以及如何灵活构建混合云场景。
2620 0
|
NoSQL 数据库 Redis
【直播预告】阿里高级开发工程师烛昭:Redis&MongoDB的同步、迁移以及混合云场景构建
本次直播将主要介绍Redis和MongoDB的同步和迁移,进一步探索如何满足用户容灾和多活的需求,以及如何灵活构建混合云场景。
9210 0
|
监控 JavaScript 测试技术
rsync+inotify实现实时同步(小业务场景解决方案)
一、rsync功能介绍 rsync同步操作• 命令用法– rsync [选项...] 源目录 目标目录 • 同步与复制的差异– 复制:完全拷贝源到目标– 同步:增量拷贝,只传输变化过的数据 • 本地同步– rsync [选项.
1467 0