安装ceph (快速) 步骤三： Ceph 客户端
大多数 Ceph 用户不会直接往 Ceph 存储集群里存储对象，他们通常会使用 Ceph 块设备、 Ceph 文件系统、或 Ceph 对象存储这三大功能中的一个或多个。
前提条件
先完成存储集群快速入门 ，并确保 Ceph 存储集群处于 active + clean 状态，这样才能使用 Ceph 块设备。
块设备快速入门
Ceph 块设备也叫 RBD 或 RADOS 块设备。
可以在虚拟机上运行 ceph-client 节点，但是不能在与 Ceph 存储集群（除非它们也用 VM ）相同的物理节点上执行下列步骤。
这里采用新添加一台主机来操作，还需要进行预检工作，具体查看网址：
添加hosts解析，ntp时间同步，升级内核版本，普通用户免登录，关闭卸载firewalld,关闭selinux
主机名是：ceph-clinet,ip是：10.16.16.114
安装 Ceph
1.确认你使用了合适的内核版本，详情见操作系统推荐(http://docs.ceph.org.cn/start/os-recommendations),查看ceph-client主机
lsb_release -a
uname -r
2.在管理节点上，通过 ceph-deploy 把 Ceph 安装到 ceph-client 节点 (ceph-deploy主机上操作)
$ cd my_cluster
$ ceph-deploy install ceph-client
3.在管理节点上，用 ceph-deploy 把 Ceph 配置文件和 ceph.client.admin.keyring 拷贝到 ceph-client (ceph-deploy主机上操作)
$ ceph-deploy admin ceph-client
ceph-deploy 工具会把密钥环复制到ceph-client主机的 /etc/ceph 目录，要确保此密钥环文件有读权限（如 sudo chmod +r /etc/ceph/ceph.client.admin.keyring ）。
# 在ceph-client主机上操作
$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring
配置块设备
1.在 ceph-client 节点上创建一个块设备 image (ceph-client主机上操作)
# 前提条件，已经创建名为rbd的pool，具体查看：https://www.cnblogs.com/sanduzxcvbnm/p/15625374.html
# 命令示例: rbd create foo --size 4096 [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring]
$ rbd create foo --size 4096 -m node1 -k /etc/ceph/ceph.client.admin.keyring
2.在 ceph-client 节点上，把 image 映射为块设备 (ceph-client主机上操作)
# 命令示例: sudo rbd map foo --name client.admin [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring]
$ sudo rbd map foo --name client.admin -m node1 -k /etc/ceph/ceph.client.admin.keyring
/dev/rbd0
3.在 ceph-client 节点上，创建文件系统后就可以使用块设备了,此命令可能耗时较长 (ceph-client主机上操作)
# 命令示例: sudo mkfs.ext4 -m0 /dev/rbd/rbd/foo
$ sudo mkfs.ext4 -m0 /dev/rbd0
mke2fs 1.42.9 (28-Dec-2013)
Discarding device blocks: 完成
文件系统标签=
OS type: Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=16 blocks, Stripe width=16 blocks
262144 inodes, 1048576 blocks
0 blocks (0.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=1073741824
32 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736
Allocating group tables: 完成
正在写入inode表: 完成
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成
4.在 ceph-client 节点上挂载此文件系统 (ceph-client主机上操作)
$ sudo mkdir /mnt/ceph-block-device
$ sudo mount /dev/rbd0 /mnt/ceph-block-device
$ cd /mnt/ceph-block-device
$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
rbd0 251:0 0 4G 0 disk /mnt/ceph-block-device
有个疑问，使用的pool，创建命令是：ceph osd pool create rbd 128 128
这里创建块设备后的大小是4G，有待进一步研究。
问题
此时查看ceph状态，会发现有提示：application not enabled on 1 pool(s)
$ ceph -s
cluster:
id: cbbcd33f-95c1-438b-90b7-d57f9ca5835f
health: HEALTH_WARN
application not enabled on 1 pool(s)
services:
mon: 3 daemons, quorum node1,node2,node3
mgr: node1(active)
osd: 3 osds: 3 up, 3 in
rgw: 1 daemon active
data:
pools: 5 pools, 160 pgs
objects: 267 objects, 138 MiB
usage: 3.4 GiB used, 57 GiB / 60 GiB avail
pgs: 160 active+clean
查看错误详情
$ ceph health detail
HEALTH_WARN application not enabled on 1 pool(s)
POOL_APP_NOT_ENABLED application not enabled on 1 pool(s)
application not enabled on pool 'rbd'
use 'ceph osd pool application enable ', where is 'cephfs', 'rbd', 'rgw', or freeform for custom applications.
通过查看错误详情，可知解决办法如下：
# 第一个rbd是pool-name，第二个rbd是app-name，其中app-name只能是'cephfs', 'rbd', 'rgw'中的一个
$ ceph osd pool application enable rbd rbd
enabled application 'rbd' on pool 'rbd'
$ ceph -s
cluster:
id: cbbcd33f-95c1-438b-90b7-d57f9ca5835f
health: HEALTH_OK
services:
mon: 3 daemons, quorum node1,node2,node3
mgr: node1(active)
osd: 3 osds: 3 up, 3 in
rgw: 1 daemon active
data:
pools: 5 pools, 160 pgs
objects: 267 objects, 138 MiB
usage: 3.4 GiB used, 57 GiB / 60 GiB avail
pgs: 160 active+clean
Ceph 文件系统快速入门
准备工作
1.确认你使用了合适的内核版本，详情见操作系统推荐(http://docs.ceph.org.cn/start/os-recommendations) (ceph-client主机上操作)
lsb_release -a
uname -r
2.在管理节点上，通过 ceph-deploy 把 Ceph 安装到 ceph-client 节点 (ceph-deploy主机上操作)
$ cd my_cluster
$ ceph-deploy install ceph-client
3.确保 Ceph 存储集群在运行，且处于 active + clean 状态。同时，确保至少有一个 Ceph 元数据服务器在运行
# 命令示例：ceph -s [-m {monitor-ip-address}] [-k {path/to/ceph.client.admin.keyring}]
# 因为元数据服务器mds在node1主机上 (ceph-client主机上操作)
$ ceph -s -m node1 -k /etc/ceph/ceph.client.admin.keyring
cluster:
id: cbbcd33f-95c1-438b-90b7-d57f9ca5835f
health: HEALTH_OK
services:
mon: 3 daemons, quorum node1,node2,node3
mgr: node1(active)
osd: 3 osds: 3 up, 3 in
rgw: 1 daemon active
data:
pools: 5 pools, 160 pgs
objects: 267 objects, 138 MiB
usage: 3.4 GiB used, 57 GiB / 60 GiB avail
pgs: 160 active+clean
创建文件系统
虽然已创建了元数据服务器，但如果你没有创建存储池和文件系统，它是不会变为活动状态的。(http://docs.ceph.org.cn/cephfs/createfs/)
# 命令示例：ceph osd pool create cephfs_data
# 命令示例：ceph osd pool create cephfs_metadata
# 命令示例：ceph fs new cephfs_metadata cephfs_data
# 一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据 (ceph-client主机上操作)
$ ceph osd pool create cephfs_data 32 32
pool 'cephfs_data' created
$ ceph osd pool create cephfs_metadata 32 32
pool 'cephfs_metadata' created
$ ceph fs new cephfs cephfs_metadata cephfs_data
new fs with metadata pool 8 and data pool 9
文件系统创建完毕后， MDS 服务器就能达到 active 状态了，比如在一个单 MDS 系统中：(ceph-client主机上操作)
$ ceph mds stat
cephfs-1/1/1 up {0=node1=up:active}
建好文件系统且 MDS 活跃后，你就可以挂载此文件系统了.
创建密钥文件
Ceph 存储集群默认启用认证，你应该有个包含密钥的配置文件（但不是密钥环本身）。用下述方法获取某一用户的密钥： (ceph-client主机上操作)
1.在密钥环文件中找到与某用户对应的密钥，例如：
$ cat /etc/ceph/ceph.client.admin.keyring
2.找到用于挂载 Ceph 文件系统的用户，复制其密钥。大概看起来如下所示：
[client.admin]
key = AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==
3.打开文本编辑器
4.把密钥粘帖进去，大概像这样：
AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==
5.保存文件，并把其用户名 name 作为一个属性（如 admin.secret ）。
$ echo "AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==" >> admin.secret
6.确保此文件对用户有合适的权限，但对其他用户不可见。
内核驱动
把 Ceph FS 挂载为内核驱动。
# 命令示例：sudo mkdir /mnt/mycephfs
# 命令示例：sudo mount -t ceph {ip-address-of-monitor}:6789:/ /mnt/mycephfs
Ceph 存储集群默认需要认证，所以挂载时需要指定用户名 name 和创建密钥文件一节中创建的密钥文件 secretfile ，例如：(ceph-client主机上操作)
# 命令示例：sudo mount -t ceph 192.168.0.1:6789:/ /mnt/mycephfs -o name=admin,secretfile=admin.secret
$ sudo mount -t ceph node1:6789:/ /mnt/mycephfs -o name=admin,secretfile=admin.secret
$ mount -l
10.16.16.111:6789:/ on /mnt/mycephfs type ceph (rw,relatime,name=admin,secret=,acl)
从管理节点而非服务器节点挂载 Ceph FS 文件系统
用户空间文件系统（ FUSE ）
注：找不到ceph-fuse命令，这一步暂时不做
把 Ceph FS 挂载为用户空间文件系统（ FUSE ）
# 命令示例：sudo mkdir ~/mycephfs
# 命令示例：ceph-fuse -m node1:6789 ~/mycephfs
# Ceph 存储集群默认要求认证，需指定相应的密钥环文件，除非它在默认位置（即 /etc/ceph ）：
# 命令示例：sudo ceph-fuse -k ./ceph.client.admin.keyring -m 192.168.0.1:6789 ~/mycephfs
Ceph 对象存储快速入门
从 firefly（v0.80）起，Ceph 存储集群显著地简化了 Ceph 对象网关的安装和配置。网关守护进程内嵌了 Civetweb，无需额外安装 web 服务器或配置 FastCGI。此外，可以直接 使用 ceph-deploy 来安装网关软件包、生成密钥、配置数据目录以及创建一个网关实例。
Civetweb 默认使用 7480 端口。要么直接打开 7480 端口，要么在你的 Ceph 配置文件中设置首选端口（例如 80 端口）。
安装 Ceph 对象网关
1.在 client-node 上执行预安装步骤。如果你打算使用 Civetweb 的默认端口 7480 ，必须通过 firewall-cmd 或 iptables 来打开它.
2.从管理节点的工作目录，在 client-node 上安装 Ceph 对象网关软件包。例如：
# 命令示例：ceph-deploy install --rgw [ ...]
$ ceph-deploy install --rgw ceph-client
新建 Ceph 对象网关实例
从管理节点的工作目录，在 client-node 上新建一个 Ceph 对象网关实例。例如：
$ ceph-deploy rgw create ceph-client
一旦网关开始运行，你就可以通过 7480 端口来访问它（比如 http://ceph-client:7480 ）。
配置 Ceph 对象网关实例
这一步相当于是修改访问的端口号，从默认的7480换成80
1.通过修改 Ceph 配置文件可以更改默认端口（比如改成 80 ）。增加名为 [client.rgw. 的小节，把 hostname -s 的输出）。例如，你的节点名就是 client-node ，在 [global] 节后增加一个类似于下面的小节：
# 命令示例
[client.rgw.client-node]
rgw_frontends = "civetweb port=80"
实际情况
[client.rgw.ceph-client]
rgw_frontends = "civetweb port=80"
确保在 rgw_frontends 键值对的 port=
中没有空格。
如果你打算使用 80 端口，确保 Apache 服务器没有在使用该端口，否则会和 Civetweb 冲突。出现这种情况时我们建议移除 Apache 服务。
$ ceph-deploy --overwrite-conf config push node1 node2 node3
2.为了使新端口的设置生效，需要重启 Ceph 对象网关。在 RHEL 7 和 Fedora 上 ，执行：
# 示例命令：sudo systemctl restart ceph-radosgw.service
$ sudo systemctl restart ceph-radosgw.service
3.最后，检查节点的防火墙，确保你所选用的端口（例如 80 端口）处于开放状态。如果没有，把该端口加入放行规则并重载防火墙的配置。例如：
sudo firewall-cmd --list-all sudo firewall-cmd --zone=public --add-port
80/tcp --permanent
sudo firewall-cmd --reload
你应该可以生成一个未授权的请求，并收到应答。例如，一个如下不带参数的请求：
http://:80
应该收到这样的应答：
anonymous