inotify实时同步工具理论和实战

简介:

inotify服务:

当用户在A服务器上操作了数据,inotify会抓取出来,然后通知rsync,然后同步到rsync服务器。所以inotify服务器却是rsync的客户端服务器。

inotify性能比sersync强,inotify可能支持几百个图片,sersync可能一百所以就差不多了。

确认内核是否支持inotify 可通过ll /proc/sys/fs/inotify查看有三个文件即可。

rz上传inotify软件包

tar xf inotify-tools-3.123.tar.gz

cd inotify-tools-3.13

./configure --prefix=/usr/local/inotify-tools-3.13

make&&make install

cd ../

ln -s /usr/local/inotify-tools-3.13 /usr/local/inotify


/usr/local/inotify下有如下文件:

bin  执行文件  类似windows的exe文件

include 程序所需要的头文件

lib 动态链接的库文件

share 帮助文档


/usr/local/inotify-tools-3.13/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /backup 监听创建文件create

创建脚本:

#!/bin/sh

cmd="/usr/local/inotify/bin/inotifywait"

$cmd -mrq --format '%w%f' -e create,close_write,delete /backup|\

while read line

do

  [ ! -e “$line” ] && continue

  rsync -az --delete $line rsync_backup@192.168.44.40::oldboy --password-file=/etc/rsync.password

done


生产环境中需调整一下参数:

max_user_watches  max_queued_events  max_user_instances都调大些。

并发不是很大,10-100k文件 最多200个。

本文转自  流颗星  51CTO博客,原文链接:http://blog.51cto.com/liukexing/1965235

相关文章
|
7月前
|
canal 消息中间件 关系型数据库
系统重构数据同步利器之Canal实战篇
系统重构数据同步利器之Canal实战篇
202 1
|
18天前
|
缓存 网络协议 关系型数据库
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(系统底层优化篇)(二)
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(系统底层优化篇)
31 0
|
18天前
|
存储 固态存储 关系型数据库
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(系统底层优化篇)(一)
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(系统底层优化篇)
43 1
|
8月前
|
NoSQL 大数据 测试技术
|
8月前
|
存储 运维 监控
【运维知识进阶篇】Sersync实时同步详解
【运维知识进阶篇】Sersync实时同步详解
142 0
|
12月前
|
消息中间件 SQL Oracle
技术干货|如何利用 ChunJun 实现数据实时同步?
ChunJun技术分享干货来了!实时同步是 ChunJun 的⼀个重要特性,本文将为大家介绍如何使用 ChunJun 实时同步,以及 ChunJun ⽀持的 RDB 实时采集插件的特性、采集逻辑及其原理,帮助大家更好地理解 ChunJun 与实时同步,欢迎点进正文阅读。
364 0
|
12月前
|
存储 数据采集 监控
OushuDB 小课堂丨数据管道测试自动化的最佳实践
OushuDB 小课堂丨数据管道测试自动化的最佳实践
93 0
|
JSON NoSQL Redis
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南(离线同步数据)
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南(离线同步数据)
345 0
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南(离线同步数据)
|
存储 JSON 监控
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南(在线同步数据)
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南(在线同步数据)
419 0
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南(在线同步数据)
|
NoSQL Linux Redis
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南(数据检查对比)
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南(数据检查对比)
242 0
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南(数据检查对比)