NFS上的数据通过inotify或者sersync软件实时同步数据到rsync服务器上
这里主要是说inotify的实时同步和sersync的实时同步数据。两者都是实时同步的软件,大家可以比较一下他们有什么不一样。
貌似inotify的缺点就是一个进程最多200个并发。然后对于中小公司要求不高的服务器已经足够了,至于watch events参数可调整为1000000。
inotify的安装 。这个软件一般安装在客户端,而不是安装在rsync上。
首先要测试rsync同步是否有问题?
先下载inotify-tools-3.14.tar.gz 这个软件
移动到指定的目录 mv inotify-tools-3.14.tar.gz /tools
解压 tar zxf inotify-tools-3.14.tar.gz
进入目录 cd inotify-tools-3.14
配置安装 ./configure --prefix=/usr/local/inotify-tools-3.14
编译和安装 make && make install
检查安装结果 echo $?
建立一个软链接,方便使用 ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify-tools
测试效果 /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,close_write,delete /data
这里我们监测 创建,修改,删除
然后我们测试一下rsync服务,rsync服务前面有讲,这里就一带而过了。
rsync -avz /data rsync_backup@192.168.3.107::backup --password-file=/etc/rsync.password
这是把NFS /data 的数据推送到rsync的backup目录里
然后就是写一个shell脚本,这个脚本就可以实现监测,并且实时同步。
#!/bin/bash inotify=/usr/local/inotify-tools/bin/inotifywait
##通过管道符把监测到数据不停的循环读取,并同步 $inotify -mrq --format '%w%f' -e create,close_write,delete /data \ |while read file do cd /data && rsync -avz /data --delete rsync_backup@192.168.3.107::backup --password-file=/etc/rsy nc.password >/dev/null 2>&1 done
把这个脚本添加到rc.local开机启动。
这里加了&是为了在后台运行,可以通过jobs -l 查看是否运行。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
然后sersync这个软件好像更简单,不需要写脚本
首先是下载和安装。
sersync2.5.4_64bit_binary _stable_final.tar.gz 下载这个软件
然后解压到相应的目录下。
然后就是去调整confxml.xml的参数啦
我目前只调整了这几个参数,测试是成功的。
这里有关于这个配置文件的详细注释。
<?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5"> <host hostip="10.2.22.27" port="8008">host> <debug start="false"/> <fileSystem xfs="false"/> <filter start="false"> <exclude expression="(.*)\.svn">exclude> <exclude expression="(.*)\.gz">exclude> <exclude expression="^info/*">exclude> <exclude expression="^static/*">exclude> filter> <inotify> <delete start="true"/> <createFolder start="true"/> <createFile start="false"/> <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="true"/> <modify start="true"/> inotify> <sersync> <localpath watch="/data/sersync/"> <remote ip="10.2.22.27" name="sersync_test"/> localpath> <rsync> <commonParams params="-artuz"/> <auth start="false" users="root" passwordfile="/etc/rsync.pas"/> <userDefinedPort start="false" port="874"/> <timeout start="false" time="100"/> <ssh start="false"/> rsync> <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/> <crontab start="false" schedule="600"> <crontabfilter start="false"> <exclude expression="*.php">exclude> <exclude expression="info/*">exclude> crontabfilter> crontab> <plugin start="false" name="command"/> sersync> <plugin name="command"> <param prefix="/bin/sh" suffix="" ignoreError="true"/> <filter start="false"> <include expression="(.*)\.php"/> <include expression="(.*)\.sh"/> filter> plugin> <plugin name="socket"> <localpath watch="/opt/tongbu"> <deshost ip="192.168.138.20" port="8009"/> localpath> plugin> <plugin name="refreshCDN"> <localpath watch="/data0/htdocs/cms.xoyo.com/site/"> <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/> <sendurl base="http://pic.xoyo.com/cms"/> <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/p_w_picpaths"/> localpath> plugin> head>
然后就是测试了。
/usr/local/sersync/bin/sersync2 -r -n 8 -o /usr/local/sersync/conf/confxml.xml
没有加-d代表前台运行,可以直观的看见效果。
因为要推送到rsync的backup1的目录了。
所以要在rsync的服务器添加多一个模块。
并赋予用户权限。
参照这个。
最后把sersync这个服务加入开机启动rc.local里。就可以了。
这里面加入-d是为了后台运行,方便使用。
看来sersync的功能还是优于inotify