【记录】 iSCSI服务器的搭建与使用[Debian]
序言
更换系统后需要一个网络文件存储用于备份文件，本想用NFS多方便，但是timeshift不支持网络存储，备份路径必须是一个块存储设备，
但是你还必须分好文件系统，这不是多此一举？？？反正我只用rsync进行同步
于是使用iscsi满足它的需求，因为iscsi连接后获取到的就是一个块存储设备
在配置过程中参考了很多网友写的博客 很有参考价值 非常感谢
《Linux下搭建iSCSI共享存储的方法 Linux-IO Target 方式 Debian9.5下实现》
他写的很全面，我在这里只记录我用到的部分
简述
iSCSI，通过TCP/IP网络传输SCSI命令提供对存储设备的块级访问，属于SAN存储，因此又叫IP-SAN，默认端口3260/TCP。
也就是说通过iSCS获取到的是一个真实的或者虚拟的存储设备，连接之后会多出一个硬件设备，就像一块本机硬盘一样，你需要在上面建立文件系统后才能使用。
而NFS、SMB等获取到的只是一个挂载点，与文件系统无关，连接后即可以使用。
客户端称为initiators，服务器上的存储目标称为target，客户端发现服务器上存储目标的过程叫discovery。
安装与配置
基于Debian/Ubuntu的发行版可以直接通过apt命令安装
| 服务器 | 客户端 | |
| 安装 | sudo apt install targetcli-fb | sudo apt install open-iscsi |
| 配置程序 | targetcli | iscsiadm |
| 相关服务 | targetclid.server | iscsid.service |
| 配置文件目录 | /etc/rtslib-fb-target/ | /etc/iscsi |
服务器配置 以root权限运行targetcli
sudo targetcli
该工具的使用类似linux下shell的使用
ls查看目录
set 配置参数
saceconfig 保存配置文件 默认位置 /etc/rtslib-fb-target/saveconfig.json
默认设置每次退出后会自动保存配置到该位置，之前的配置会备份到/etc/rtslib-fb-target/backup中，
并且使用gzip压缩归档，文件后缀名为gz，如果需要使用targetctl恢复，需要先使用gzip解压后才能导入配置
/> ls
o- / .................................................................................... [...]
o- backstores ......................................................................... [...]
| o- block ............................................................. [Storage Objects: 0]
| o- fileio ............................................................ [Storage Objects: 0]
| o- pscsi ............................................................. [Storage Objects: 0]
| o- ramdisk ........................................................... [Storage Objects: 0]
o- iscsi ....................................................................... [Targets: 0]
o- loopback .................................................................... [Targets: 0]
o- vhost ....................................................................... [Targets: 0]
o- xen-pvscsi .................................................................. [Targets: 0]
/>简单的使用只需要了解两个目录backstorages和iscsi
其中backstorages是后端存储
block是块存储设备，简单的说就是连接到本机的硬盘驱动器
fileio是文件存储，简单地说就像虚拟机的镜像文件，raw，qcow2那样的镜像
pscsi是连接到本机的scsi设备，我还没用过这种设备，只在书上见过
ramdisk就是内存盘，linux上的tmpfs就属于这种，如果服务器内存很大，可以划出一部分内存做临时存储用
iscsi里面就是要配置的存储目标target
1. 添加存储设备
我使用qemu-img创建一块磁盘镜像作为存储设备
qemu-img create -f qcow2 -o preallocation=falloc /mnt/ext4linux/var/iscsi/storage-1.qcow2 20G其中 preallocation=falloc 参数的作用是立即分配空间 但不填充 参考 《qemu-img create创建磁盘》
使用targetcli 他提供了彩色的文字方便检查配置 绿色的配置为有效配置 红色的为无效配置 白色的为默认配置
要注意不同的目录下可用的命令和选项不相同
进入/backstores/fileio目录下，使用create命令添加存储设备
/> backstores/fileio create name=demo1 file_or_dev=/mnt/ext4linux/var/iscsi/storage-1.qcow2
Created fileio demo1 with size 21478375424
/> ls
o- / .................................................................................... [...]
o- backstores ......................................................................... [...]
| o- block ............................................................. [Storage Objects: 0]
| o- fileio ............................................................ [Storage Objects: 1]
| | o- demo1 .... [/mnt/ext4linux/var/iscsi/storage-1.qcow2 (20.0GiB) write-back deactivated]
| | o- alua .............................................................. [ALUA Groups: 1]
| | o- default_tg_pt_gp .................................. [ALUA state: Active/optimized]
| o- pscsi ............................................................. [Storage Objects: 0]
| o- ramdisk ........................................................... [Storage Objects: 0]
o- iscsi ....................................................................... [Targets: 0]
o- loopback .................................................................... [Targets: 0]
o- vhost ....................................................................... [Targets: 0]
o- xen-pvscsi .................................................................. [Targets: 0]
/> 2. 添加存储目标
进入/iscsi目录后，使用create命令添加存储目标
/> iscsi/ create iqn.2021-12.cn.erika.iscsi:erika-ge.storage
Created target iqn.2021-12.cn.erika.iscsi:erika-ge.storage.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.
/> ls
o- / .................................................................................... [...]
o- backstores ......................................................................... [...]
| o- block ............................................................. [Storage Objects: 0]
| o- fileio ............................................................ [Storage Objects: 1]
| | o- demo1 .... [/mnt/ext4linux/var/iscsi/storage-1.qcow2 (20.0GiB) write-back deactivated]
| | o- alua .............................................................. [ALUA Groups: 1]
| | o- default_tg_pt_gp .................................. [ALUA state: Active/optimized]
| o- pscsi ............................................................. [Storage Objects: 0]
| o- ramdisk ........................................................... [Storage Objects: 0]
o- iscsi ....................................................................... [Targets: 1]
| o- iqn.2021-12.cn.erika.iscsi:erika-ge.storage .................................. [TPGs: 1]
| o- tpg1 .......................................................... [no-gen-acls, no-auth]
| o- acls ..................................................................... [ACLs: 0]
| o- luns ..................................................................... [LUNs: 0]
| o- portals ............................................................... [Portals: 1]
| o- 0.0.0.0:3260 ................................................................ [OK]
o- loopback .................................................................... [Targets: 0]
o- vhost ....................................................................... [Targets: 0]
o- xen-pvscsi .................................................................. [Targets: 0]
/>创建的时候如果不加IQN名称 则会生成一个随机的 如果指定一个 需要遵循一定的格式 具体参考RFC3720
前面的iqn是固定的 必须要有 后面的日期通常为创建该存储目标的日期 然后是反向域名 就和DNS的差不多
没有域名就自己编一个 又不用去注册 只为了作为标识 然后跟个冒号 冒号后面是该存储目标的识别名称
3. 关联存储设备
进入/iscsi/你设置的iqn目标/tpg1/luns目录下，使用create命令关联存储设备
/> iscsi/iqn.2021-12.cn.erika.iscsi:erika-ge.storage/tpg1/luns create /backstores/fileio/demo1
Created LUN 0.
/> ls
o- / .................................................................................... [...]
o- backstores ......................................................................... [...]
| o- block ............................................................. [Storage Objects: 0]
| o- fileio ............................................................ [Storage Objects: 1]
| | o- demo1 ...... [/mnt/ext4linux/var/iscsi/storage-1.qcow2 (20.0GiB) write-back activated]
| | o- alua .............................................................. [ALUA Groups: 1]
| | o- default_tg_pt_gp .................................. [ALUA state: Active/optimized]
| o- pscsi ............................................................. [Storage Objects: 0]
| o- ramdisk ........................................................... [Storage Objects: 0]
o- iscsi ....................................................................... [Targets: 1]
| o- iqn.2021-12.cn.erika.iscsi:erika-ge.storage .................................. [TPGs: 1]
| o- tpg1 .......................................................... [no-gen-acls, no-auth]
| o- acls ..................................................................... [ACLs: 0]
| o- luns ..................................................................... [LUNs: 1]
| | o- lun0 [fileio/demo1 (/mnt/ext4linux/var/iscsi/storage-1.qcow2) (default_tg_pt_gp)]
| o- portals ............................................................... [Portals: 1]
| o- 0.0.0.0:3260 ................................................................ [OK]
o- loopback .................................................................... [Targets: 0]
o- vhost ....................................................................... [Targets: 0]
o- xen-pvscsi .................................................................. [Targets: 0]
/>这个时候还不能使用客户端访问存储，因为没有配置认证，先写一下客户端发现并连接服务器的方法
# 发现目标 如果服务器端口号是默认的3260 则可以省略
sudo iscsiadm -m discovery -t sendtargets -p
# 登录目标节点 iqn写目标节点的iqn
sudo iscsiadm -m node -T -p -l
# 登出目标节点 记得先umount 防止数据丢失
sudo iscsiadm -m node -T -p -u
# 删除目标节点 这里是删除本机对该目标节点的记录
sudo iscaiadm -m node -T -o delete 这里我们先尝试连接看看会如何
e@kvm-ubuntu-01:/etc/iscsi$ sudo iscsiadm -m discovery -t sendtargets -p 172.20.0.65
172.20.0.65:3260,1 iqn.2021-12.cn.erika.iscsi:erika-ge.storage
e@kvm-ubuntu-01:/etc/iscsi$ sudo iscsiadm -m node -T iqn.2021-12.cn.erika.iscsi:erika-ge.storage -l
Logging in to [iface: default, target: iqn.2021-12.cn.erika.iscsi:erika-ge.storage, portal: 172.20.0.65,3260] (multiple)
iscsiadm: Could not login to [iface: default, target: iqn.2021-12.cn.erika.iscsi:erika-ge.storage, portal: 172.20.0.65,3260].
iscsiadm: initiator reported error (24 - iSCSI login failed due to authorization failure)
iscsiadm: Could not log into all portals
需要在服务器上配置一下认证，即使不想使用认证也需要配置
命令很简单，进入/iscsi/你设置的iqn/tpg1目录下，使用set命令设置generate_node_acls为1
/> iscsi/iqn.2021-12.cn.erika.iscsi:erika-ge.storage/tpg1/ set attribute generate_node_acls=1
Parameter generate_node_acls is now '1'.
/> ls
o- / .................................................................................... [...]
o- backstores ......................................................................... [...]
| o- block ............................................................. [Storage Objects: 0]
| o- fileio ............................................................ [Storage Objects: 1]
| | o- demo1 ...... [/mnt/ext4linux/var/iscsi/storage-1.qcow2 (20.0GiB) write-back activated]
| | o- alua .............................................................. [ALUA Groups: 1]
| | o- default_tg_pt_gp .................................. [ALUA state: Active/optimized]
| o- pscsi ............................................................. [Storage Objects: 0]
| o- ramdisk ........................................................... [Storage Objects: 0]
o- iscsi ....................................................................... [Targets: 1]
| o- iqn.2021-12.cn.erika.iscsi:erika-ge.storage .................................. [TPGs: 1]
| o- tpg1 ............................................................. [gen-acls, no-auth]
| o- acls ..................................................................... [ACLs: 0]
| o- luns ..................................................................... [LUNs: 1]
| | o- lun0 [fileio/demo1 (/mnt/ext4linux/var/iscsi/storage-1.qcow2) (default_tg_pt_gp)]
| o- portals ............................................................... [Portals: 1]
| o- 0.0.0.0:3260 ................................................................ [OK]
o- loopback .................................................................... [Targets: 0]
o- vhost ....................................................................... [Targets: 0]
o- xen-pvscsi .................................................................. [Targets: 0]
/> 设置完后查看当前配置，会发现该iqn下的acls后面的中括号里 no-gen-acls变成了gen-acls，而且文字颜色变成了绿色，说明可以访问了
但要注意，只配置generate_node_acls的话该目标是只读的状态，应该是为了安全，毕竟不需要认证就能访问
在该iqn下的tpg1目录下查看属性 get attribute 就能看到有一条
generate_node_acls=1
--------------------
If set to 1, allow all initiators to login (i.e. demo mode).如果设置成1，则该节点为demo模式，如果需要写入，还需要设置属性demo_mode_write_protect=0，这样才能写入，然后再次连接
e@kvm-ubuntu-01:/etc/iscsi$ sudo iscsiadm -m node -T iqn.2021-12.cn.erika.iscsi:erika-ge.storage -l
Logging in to [iface: default, target: iqn.2021-12.cn.erika.iscsi:erika-ge.storage, portal: 172.20.0.65,3260] (multiple)
Login to [iface: default, target: iqn.2021-12.cn.erika.iscsi:erika-ge.storage, portal: 172.20.0.65,3260] successful.客户端查看当前的磁盘列表
e@kvm-ubuntu-01:/$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 86.9M 1 loop /snap/core/4917
sda 8:0 0 20G 0 disk
sr0 11:0 1 1024M 0 rom
vda 252:0 0 30G 0 disk
├─vda1 252:1 0 1M 0 part
└─vda2 252:2 0 30G 0 part /上面20G未分区的sda就是连接到的目标节点，之后可以使用fdisk之类的软件进行分区，然后挂载使用，就像本地硬盘一样使用
4. 配置认证
请注意，iscsi的认证可能有缓存，因此如果下面的步骤如果发生认证错误，请在客户端删除发现记录后重新发现然后尝试连接
在上面的操作完成后，任何一台机器都能挂载该节点，完全没有安全性可言，因此我们需要添加认证
认证分两类：发现认证和登录（会话）认证，这两类认证又各自有单向认证和双向认证
双向认证是在单向认证的基础上，服务器向客户端确认认证信息用的，在一定程度上能避免中间人攻击
4.1. 发现认证
发现认证用于客户端发现服务器上可用的节点，属于全局认证，需要在/iscsi目录下进行
/> cd iscsi/
/iscsi> get discovery_auth
DISCOVERY_AUTH CONFIG GROUP
===========================
enable=False # 用来启用或者禁用发现认证
-----------
The enable discovery_auth parameter.
mutual_password= # 双向认证的密码
----------------
The mutual_password discovery_auth parameter.
mutual_userid= # 双向认证的用户名
--------------
The mutual_userid discovery_auth parameter.
password= # 单向认证的密码
-------------------
The password discovery_auth parameter.
userid= # 双向认证的密码
-------------
The userid discovery_auth parameter.
我这里只配置单向认证
/iscsi> set discovery_auth enable=1
Parameter enable is now 'True'.
/iscsi> set discovery_auth userid=admin
Parameter userid is now 'admin'.
/iscsi> set discovery_auth password=admin@r00t
Parameter password is now 'admin@r00t'.
/iscsi> get discovery_auth
DISCOVERY_AUTH CONFIG GROUP
===========================
enable=True
-----------
The enable discovery_auth parameter.
mutual_password=
----------------
The mutual_password discovery_auth parameter.
mutual_userid=
--------------
The mutual_userid discovery_auth parameter.
password=admin@r00t
-------------------
The password discovery_auth parameter.
userid=admin
------------
The userid discovery_auth parameter.配置完后客户端也需要做相应的配置，修改文件/etc/iscsi/iscsid.conf
# To enable CHAP authentication for a discovery session to the target
# set discovery.sendtargets.auth.authmethod to CHAP. The default is None.
discovery.sendtargets.auth.authmethod = CHAP # 去掉注释 启用发现认证
# To set a discovery session CHAP username and password for the initiator
# authentication by the target(s), uncomment the following lines:
discovery.sendtargets.auth.username = admin # 去掉注释 写上用户名
discovery.sendtargets.auth.password = admin@r00t # 去掉注释 写上密码
# To set a discovery session CHAP username and password for target(s)
# authentication by the initiator, uncomment the following lines:
#discovery.sendtargets.auth.username_in = username_in
#discovery.sendtargets.auth.password_in = password_in
# 这两行是发现认证的双向认证的配置重启iscsid服务，执行发现命令，成功后结果如下
e@kvm-ubuntu-01:~$ sudo iscsiadm -m discovery -t sendtargets -p 172.20.0.65
172.20.0.65:3260,1 iqn.2021-12.cn.erika.iscsi:erika-ge.storage如果发现认证失败，则会如下
iscsiadm: Login failed to authenticate with target
iscsiadm: discovery login to 172.20.0.65 rejected: initiator failed authorization
iscsiadm: Could not perform SendTargets discovery: iSCSI login failed due to authorization failure4.2. 配置登录认证
一个服务器下可以配置多个目标节点（target），如果不配置登录认证，则通过发现认证的客户端可以连接所有的目标节点
举个例子，一个小公司使用iscsi做中央存储服务器，分给每个员工1T空间作为网络存储。
如果不设置登录认证，则每个员工都可以随意连接该服务器上的节点。
配置过程如下，进入/iscsi/你设置的iqn目标/tpg1/ 目录下
使用set命令设置属性 set attribute generate_node_acls=0，因为要自定义访问规则，因此要把自动生成的访问规则去掉
使用set命令设置属性 set attribute authentication=1，目的是启用登录认证
然后进入acls下，使用create命令创建允许访问的客户端的iqn，这个iqn一会要填在客户端的/etc/iscsi/initiatorname.iscsi文件中
然后执行ls命令会发现该iqn后面的中括号里面的文字是红色的，说明缺少配置信息，配置无效，因为这时还没有配置认证信息，继续
进入到创建的客户读的iqn目录下，使用set命令设置单向认证信息
/> cd iscsi/iqn.2021-12.cn.erika.iscsi:erika-ge.storage/tpg1/
/iscsi/iqn.20....storage/tpg1> ls
o- tpg1 ........................................................... [no-gen-acls, auth per-acl]
o- acls ........................................................................... [ACLs: 0]
o- luns ........................................................................... [LUNs: 1]
| o- lun0 ...... [fileio/demo1 (/mnt/ext4linux/var/iscsi/storage-1.qcow2) (default_tg_pt_gp)]
o- portals ..................................................................... [Portals: 1]
o- 0.0.0.0:3260 ...................................................................... [OK]
/iscsi/iqn.20....storage/tpg1> set attribute authentication=1
Parameter authentication is now '1'.
/iscsi/iqn.20....storage/tpg1> set attribute generate_node_acls=0
Parameter generate_node_acls is now '0'.
/iscsi/iqn.20....storage/tpg1> acls/ create iqn.2021-12.cn.erika.iscsi:kvm-ubuntu.client
Created Node ACL for iqn.2021-12.cn.erika.iscsi:kvm-ubuntu.client
Created mapped LUN 0.
/iscsi/iqn.20....storage/tpg1> cd acls/iqn.2021-12.cn.erika.iscsi:kvm-ubuntu.client/
/iscsi/iqn.20...ubuntu.client> set auth userid=e
Parameter userid is now 'e'.
/iscsi/iqn.20...ubuntu.client> set auth password=admin@r00t
Parameter password is now 'admin@r00t'.
/iscsi/iqn.20...ubuntu.client> cd iscsi/iqn.2021-12.cn.erika.iscsi:erika-ge.storage/tpg1/
/iscsi/iqn.20....storage/tpg1> ls
o- tpg1 ........................................................... [no-gen-acls, auth per-acl]
o- acls ........................................................................... [ACLs: 1]
| o- iqn.2021-12.cn.erika.iscsi:kvm-ubuntu.client .............. [1-way auth, Mapped LUNs: 1]
| o- mapped_lun0 ................................................. [lun0 fileio/demo1 (rw)]
o- luns ........................................................................... [LUNs: 1]
| o- lun0 ...... [fileio/demo1 (/mnt/ext4linux/var/iscsi/storage-1.qcow2) (default_tg_pt_gp)]
o- portals ..................................................................... [Portals: 1]
o- 0.0.0.0:3260 ...................................................................... [OK]
/iscsi/iqn.20....storage/tpg1> cd /
/> ls
o- / .................................................................................... [...]
o- backstores ......................................................................... [...]
| o- block ............................................................. [Storage Objects: 0]
| o- fileio ............................................................ [Storage Objects: 1]
| | o- demo1 ...... [/mnt/ext4linux/var/iscsi/storage-1.qcow2 (20.0GiB) write-back activated]
| | o- alua .............................................................. [ALUA Groups: 1]
| | o- default_tg_pt_gp .................................. [ALUA state: Active/optimized]
| o- pscsi ............................................................. [Storage Objects: 0]
| o- ramdisk ........................................................... [Storage Objects: 0]
o- iscsi ...................................................... [1-way disc auth, Targets: 1]
| o- iqn.2021-12.cn.erika.iscsi:erika-ge.storage .................................. [TPGs: 1]
| o- tpg1 ..................................................... [no-gen-acls, auth per-acl]
| o- acls ..................................................................... [ACLs: 1]
| | o- iqn.2021-12.cn.erika.iscsi:kvm-ubuntu.client ........ [1-way auth, Mapped LUNs: 1]
| | o- mapped_lun0 ........................................... [lun0 fileio/demo1 (rw)]
| o- luns ..................................................................... [LUNs: 1]
| | o- lun0 [fileio/demo1 (/mnt/ext4linux/var/iscsi/storage-1.qcow2) (default_tg_pt_gp)]
| o- portals ............................................................... [Portals: 1]
| o- 0.0.0.0:3260 ................................................................ [OK]
o- loopback .................................................................... [Targets: 0]
o- vhost ....................................................................... [Targets: 0]
o- xen-pvscsi .................................................................. [Targets: 0]
/> 设置完成后，配置的客户端iqn后面的中括号里面的文字会变成绿色
然后修改客户端的配置文件/etc/iscsi/initiatorname.iscsi
将InitiatorName=后面的改成上面配置的客户端的iqn
然后修改客户端的配置文件/etc/iscsi/iscsid.conf
# To enable CHAP authentication set node.session.auth.authmethod
# to CHAP. The default is None.
node.session.auth.authmethod = CHAP # 去掉注释 启用登录认证
# To set a CHAP username and password for initiator
# authentication by the target(s), uncomment the following lines:
node.session.auth.username = e # 去掉注释 写上用户名
node.session.auth.password = admin@r00t # 去掉注释 写上密码重启服务iscsid，删除节点记录后重新发现并登录
e@kvm-ubuntu-01:/etc/iscsi$ sudo iscsiadm -m node -T iqn.2021-12.cn.erika.iscsi:erika-ge.storage -o delete
e@kvm-ubuntu-01:/etc/iscsi$ sudo iscsiadm -m discovery -t sendtargets -p 172.20.0.65
172.20.0.65:3260,1 iqn.2021-12.cn.erika.iscsi:erika-ge.storage
e@kvm-ubuntu-01:/etc/iscsi$ sudo iscsiadm -m node -T iqn.2021-12.cn.erika.iscsi:erika-ge.storage -l
Logging in to [iface: default, target: iqn.2021-12.cn.erika.iscsi:erika-ge.storage, portal: 172.20.0.65,3260] (multiple)
Login to [iface: default, target: iqn.2021-12.cn.erika.iscsi:erika-ge.storage, portal: 172.20.0.65,3260] successful.到这里就结束了 谢谢观看