远程实时增量备份 rsync

  备份方式

1. cp 本机复制
2. scp 远程复制
1. 推  (本地上传到远程服务器)
• 格式
• scp 1.txt root@ip:[路径]
• 例
• [root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/
2. 拉  (远程服务器文件下载到本地)
• 格式
• scp root@ip:[路径] ./
• 例
• [root@m01 ~]# scp root@172.16.1.41:/opt/2.txt
3. rsync 远程复制/备份
• 支持 增量复制

  ------ rsync ------   概要   1 介绍 2 特性 3 应用场景(备份方式) 4 传输方式 5 传输模式 6 参数 7 rsync守护进程模式(目的:实现实时备份) ---服务端 ---客户端 ---实时同步     详细       1 介绍   rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。   rsync官方地址：https://rsync.samba.org/ rsync监听端口：873 rsync运行模式：C/S   client/server     rsync简称叫做远程同步，可以实现不同主机之间的数据同步，方式全量和增量   2 特性   支持拷贝特殊文件，如连接文件、设备等 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N） 可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密） 可以通过socket（进程方式）传输文件和数据（服务端和客户端）***** 支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像     3 应用场景(备份方式)  

• 全量备份
• 每次都是从头开始复制
• 增量备份
• 接续上次复制

  4 传输方式  

1. push
• 数据从本地(客户端)推送至服务端
2. pull
• 数据从服务端拉取到本地(客户端)

  5 传输模式  

1. 本地方式(类似cp)
2. 远程方式
• 类似于scp，又不同于scp, scp只支持全量备份，rsync支持增量备份和差异备份
3. 守护进程方式（客户端和服务端）
• 借助inotify这个软件来实现实时同步

  6 rsync参数使用   上传文件   格式: sync -azvP 本地文件路径 root@远程PC的IP 冒号 远程PC文件路径   下载文件   格式: sync -azvP  root@远程PC的IP 冒号 远程PC文件路径 本地文件路径   详细

• -a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
• -v           #详细模式输出, 打印速率, 文件数量等
• -P           #显示同步的过程及传输时的进度等信息
• -z           #传输时进行压缩以提高效率
• 其他(1)
• -r           #递归传输目录及子目录，即目录下得所有目录都同样传输
• -t           #保持文件时间信息
• -o           #保持文件属主信息
• -g           #保持文件属组信息
• -p           #保持文件权限
• -l           #保留软连接
• -D           #保持设备文件信息
• -L           #保留软连接指向的目标文件
• -e           #使用的信道协议,指定替代rsh的shell程序(很少用)
• 其他
• --append            # 指定文件接着上次传输中断处继续传输
• [root@m01 ~]# rsync -azvP --append 2.txt root@172.16.1.41:/root/test
• --append-verify     # 使用参数续传（在断点续传之后，验证一下文件:  如果文件有修改，从头开始传; 没有,从断点处传输）
• --exclude=PATTERN   # 指定排除不需要传输的文件
• [root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt  ./* root@172.16.1.41:/opt/
• --exclude-from=file # 按照文件指定内容排除
• [root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt  ./* root@172.16.1.41:/opt/
• --bwlimit=100       # 限速传输（单位：MB）
• [root@m01 ~]# rsync -avzP --append-verify --bwlimit=10  ./* root@172.16.1.41:/opt/
• --delete            # 让目标目录和源目录数据保持一致
• --password-file=xxx # 使用密码文件
• --port              # 指定端口传输

    7 rsync守护进程模式

• 目的:实现实时备份

  step1---服务端   1-1 # 安装rsync软件 [root@backup ~]# yum install -y rsync   1-2 # 修改配置文件   [root@backup opt]# vim /etc/rsyncd.conf     注意:编辑完再进去检查下,[backup]后边行确认无注释的# uid = rsync gid = rsync port = 873 fake super = yes use chroot = no max connections = 200 timeout = 600 ignore errors read only = false list = false auth users = rsync_backup secrets file = /etc/rsync.passwd log file = /var/log/rsyncd.log ##################################### [backup] comment = welcome to backup! path =/backup [linux] comment = welcome to linux! path=/tmp/linux       配置详解   1-3 # 创建系统用户(目的:启动rsync软件需要一个用户; 另启动该软件随操作系统) [root@backup opt]# groupadd rsync -g 666 [root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r     -M 指定创建系统用户; /nologin 不需要登陆   1-4 # 创建密码文件 [root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd     格式:     echo "虚拟用户名(配置文件里):新设定密码" 密码路径(配置文件里)   1-5 # "密码文件"授权（必须授权为600） [root@backup opt]# chmod 600 /etc/rsync.passwd   1-6 # 创建备份目录 [root@backup opt]# mkdir /backup [root@backup opt]# mkdir /tmp/linux      1-7 # 目录授权 [root@backup opt]# chown rsync.rsync /backup/ [root@backup opt]# chown rsync.rsync /tmp/linux/     创建的目录---默认属主数组是root,启动的应用程序是rsync,这些目录没有权限,所以需要授权   1-8 # 关闭防火墙和selinux [root@backup opt]# systemctl disable --now firewalld [root@backup opt]# setenforce 0   1-9 # 启动rsyncd服务 [root@backup opt]# systemctl start rsyncd       演示     补充:

• 开机自启动
• 格式
• systemctl enable --now 软件名

    step2 ---在客户端测试

• 在客户端上传资料到"服务端rsync"
• 方式: 3中

  方法一：自己输入密码   [root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup

• rsync_backup ： 虚拟用户，只在数据传输时使用
• 172.16.1.41  ： backup服务端的IP
• backup       ： 模块名称(注意语句中前边是两个冒号)

        方法二：设置密码文件，运行时读取(常用此方式)  

1. 编写密码文件
• [root@backup opt]# echo "123456" > /etc/rsync.passwd
• 密码"1233456"就是 服务端rsync软件的的配置文件中设定的密码,要一致
2. 授权"密码文件"
• [root@m01 ~]# chmod 600 /etc/rsync.passwd
3. 上传备份
• [root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd  ./* rsync_backup@172.16.1.41::linux

  方法三：添加环境变量(很少用)  

1. 定义环境变量
• export RSYNC_PASSWORD=123456
2. 上传备份
• [root@m01 ~]# rsync -avzP  ./* rsync_backup@172.16.1.41::linux

    step3---实时同步   rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变，则立即调用rsync进行同步     1、安装inotify(装在客户端) # yum -y install inotify-tools   2、实时同步(在客户端输入命令语句)

• 用到"实时监控软件"及语句
• 注意以下备份语句中密码输入方式为"将密码写入文件"(step2的方式2)

  [root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root | while read line;do     cd  /root     rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup done            inotify参数介绍

• -m 持续监控
• -r 递归
• -q 静默，仅打印时间信息
• --timefmt 指定输出时间格式
• --format 指定事件输出格式
• %Xe 事件
• %w 目录
• %f 文件
• -e 指定监控的事件
• access 访问
• modify 内容修改
• attrib 属性修改
• close_write 修改真实文件内容
• open 打开
• create 创建
• delete 删除
• umount 卸载

     >>>监控语句---实时监控(在客户端) [root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root       ---补充:   创建固定大小文件  

• dd if=/dev/zero of=3.txt bs=100M count=10

  修改 属主属组