本期内容概要
- Linux中的备份方式
- 架构中备份服务器搭建(rsync)
内容详细
1.备份方式
1. cp : 本机复制(只能作用在本机)
2. scp : 远程复制
两种模式:
推 : 本地上传到远程服务器
scp [本地文件路径] root@远程的ip地址:[要放到远程的路径]
例:
[root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/ # 从本地把1.txt文件复制到远程ip地址为 172.16.1.41的服务器上
拉 : 把远程服务器文件下载到本地
scp root@远程的ip地址:[远程的路径] 要放到本地的地址(路径)
例:
[root@m01 ~]# scp root@172.16.1.41:/opt/2.txt . # 从远程ip地址为 172.16.1.41的服务器上把 /opt/2.txt文件复制(下载)到本地的当前目录下
scp复制 : 只支持全量复制
'''
全量复制:
例如有1TB文件 每次复制都会复制1TB(一般比较浪费带宽)
'''
3. rsync : 远程复制 但是支持增量复制
'''
增量复制:
例如有1TB文件 每次复制只复制1GB 每次复制的文件加起来 最终复制到1TB(通过多次复制 减少带宽占用 节省资源)
'''
2.rsync介绍
rsync英文称为：remote synchronizetion
从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令。但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝
当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝
rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S client/server
rsync简称：远程同步，可以实现不同主机之间的数据同步，还支持全量和增量
3.rsync特性
支持拷贝特殊文件，如连接文件、设备等
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变（–p参数）
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）
可以通过socket（进程方式）传输文件和数据（服务端和客户端）
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像
4.rsync应用场景
全量备份
增量备份
5.rsync的传输方式
push 推:
客户端将数据从本地推送至服务端
pull 拉:
客户端将数据从服务端拉取到本地
6.rsync的传输模式
1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
2.远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份
3.守护进程方式（客户端和服务端）
7.rsync使用
# 格式:
推：rsync 参数 [本地文件路径] root@远程的ip地址:[要放到远程的路径]
例:
[root@m01 ~]# rsync -v 1.txt root@172.16.1.41:/opt/ # 从本地把1.txt文件复制到远程ip地址为 172.16.1.41的服务器上 /opt/目录下
拉：rsync 参数 root@远程的ip地址:[远程的路径] 要放到本地的地址(路径)
例:
[root@m01 ~]# rsync -v root@172.16.1.41:/opt/2.txt . # 从远程ip地址为 172.16.1.41的服务器上把 /opt/2.txt文件复制(下载)到本地的当前目录下
# 参数:
-a : 归档模式传输，等于-tropgDl -t -r -o -p -g -D -l
一般只用 -az即可
-v : 详细模式输出，打印速率，文件数量等
[root@m01 ~]# rsync -v 2.txt root@172.16.1.41:/opt/
-z : 传输时进行压缩以提高效率
[root@m01 ~]# rsync -vz 2.txt root@172.16.1.41:/opt/
-r : 递归传输目录及子目录，即目录下得所有目录都同样传输
[root@m01 ~]# rsync -vzr ./a root@172.16.1.41:/opt/
-t : 保持文件时间信息
[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt root@172.16.1.41:/opt/
-o : 保持文件属主信息
-g : 保持文件属组信息
[root@m01 ~]# rsync -vzrtgo ./a/b/c/2.txt root@172.16.1.41:/opt/
-p : 保持文件权限
[root@m01 ~]# rsync -vzrtgop ./a/b/c/2.txt root@172.16.1.41:/opt/
-l : 保留软连接
[root@m01 ~]# rsync -vzrtgopl ./* root@172.16.1.41:/opt/
-P : 显示同步的过程及传输时的进度等信息
[root@m01 ~]# rsync -vzrtgoplP ./* root@172.16.1.41:/opt/
-D : 保持设备文件信息
[root@m01 dev]# rsync -vzrtgDopl /dev/tty1 root@172.16.1.41:/opt/
-L : 保留软连接指向的目标文件
-e : 使用的信道协议，指定替代rsh的shell程序
--append : 指定文件接着上次传输中断处继续传输
[root@m01 ~]# rsync -azP ./* root@172.16.1.41:/opt/
--append-verify : 使用参数续传（在断点续传之后，会先验证一下文件，如果与复制的文件有不同，则修复文件后继续传输）
--exclude=PATTERN : 指定排除不需要传输的文件
[root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt ./* root@172.16.1.41:/opt/ # 除了2.txt其他文件正常传输 2.txt跳过传输
--exclude-from=file : 按照文件指定内容排除
[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt ./* root@172.16.1.41:/opt/ # exclude.txt文件内写入所有不需要传输的文件名 那么exclude.txt内容写入的文件都不会被传输
--bwlimit=100 : 限速传输（单位：MB）
[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/
--delete : 让目标目录和源目录数据保持一致
--password-file=xxx : 使用密码文件
--port : 指定端口传输
8.rsync守护进程模式
# 1.服务端
01 安装rsync
[root@backup ~]# yum install -y rsync
02 修改配置文件
[root@backup opt]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to backup!
path = /backup
[linux]
comment = welcome to linux!
path=/tmp/linux
03 创建系统用户
[root@backup opt]# groupadd rsync -g 666
[root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r
04 创建密码文件
[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd
05 授权（必须授权为600）
[root@backup opt]# chmod 600 /etc/rsync.passwd
06 创建备份目录
[root@backup opt]# mkdir /backup
[root@backup opt]# mkdir /tmp/linux
07 目录授权
[root@backup opt]# chown rsync.rsync /backup/
[root@backup opt]# chown rsync.rsync /tmp/linux/
08 关闭防火墙和selinux
[root@backup opt]# systemctl disabel --now firewalld
[root@backup opt]# setenforce 0
09 启动rsyncd服务
[root@backup opt]# systemctl start rsyncd
--------------------------------------------------------------------------------------------------------------
# 2.客户端
连接服务端的三种方式(注意 在客户端执行):
方法一：自己输入密码
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
需要自己输入设置的虚拟用户密码：123456
rsync_backup : 虚拟用户，只在数据传输时使用
172.16.1.41 : backup服务端的IP
backup : 模块名称
方法二：设置密码文件，运行时读取(建议使用)
01 编写密码文件
[root@m01 ~]# echo "123456" > /etc/rsync.passwd
02 授权
[root@m01 ~]# chmod 600 /etc/rsync.passwd
03 连接服务端同步
[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux # 自动读取密码无需手动输入
方法三：添加环境变量
01 定义环境变量
[root@m01 ~]# export RSYNC_PASSWORD=123456
02 开始同步
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux # 自动读取密码无需手动输入
--------------------------------------------------------------------------------------------------------------
# 3.rsync实时同步
rsync是不支持实时同步的
通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变，则立即调用rsync进行同步
01 安装inotify(装在客户端)
[root@m01 ~]# yum -y install inotify-tools
02 inotify参数介绍
-m : 持续监控
-r : 递归
-q : 静默，仅打印时间信息
--timefmt : 指定输出时间格式
--format : 指定事件输出格式
%Xe : 事件
%w : 目录
%f : 文件
-e 指定监控的事件
access : 访问
modify : 内容修改
attrib : 属性修改
close_write : 修改真实文件内容
open : 打开
create : 创建
delete : 删除
umount : 卸载
03 开始监控
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root
04 实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do
cd /root
rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done
'''
如果重启了服务器 那么就要在服务端重新启动rsyncd服务 才可以实现同步 否则只能监控
[root@backup opt]# systemctl start rsyncd
'''