ceph RGW对象存储的配置与使用

### Ceph 存储使用详解 Ceph 是一种分布式存储系统，它提供了对象存储、块存储和文件系统存储等服务。本文将详细解析如何在不同的操作系统（如 Windows 和 Linux）上使用 Ceph 提供的这三种主要存储服务：CephFS（文件系统）、RBD（块设备）以及对象存储。 #### CephFS 使用方法 CephFS 是 Ceph 提供的一种高性能、可扩展的分布式文件系统。在 Linux 平台上，用户可以通过多种方式来访问 CephFS： 1. **通过 ceph 内核模块直接挂载**： - 客户端需要具备 libceph 内核模块，并且推荐使用 CentOS 7 或更高版本的系统。挂载命令如下所示： ```sh mount -t ceph [IP]:[端口号]:///[挂载点] ``` - 示例： ```sh mount -t ceph 10.1.4.101:6789://mnt/testcephfs ``` - 如果需要挂载 CephFS 的子目录，则可以使用类似的命令，但需要确保该子目录已在 CephFS 中创建： ```sh mount -t ceph 10.1.4.101:6789:/subdir//mnt/testcephfs02 ``` - 为了提高网络连接的稳定性，可以在命令中同时指定多个 MON 的 IP 地址和端口，用逗号分隔： ```sh mount -t ceph 10.1.4.101:6789,10.1.4.102:6789://mnt/testcephfs03 ``` 2. **通过 ceph-fuse 客户端挂载**： - 首先需要安装 ceph-fuse 客户端，可通过 `yum install` 命令完成安装。如果服务端与客户端的版本一致，建议直接使用对应的 Ceph 版本 RPM 包进行安装。 - 挂载命令示例： ```sh ceph-fuse -m [IP]:[端口号] [挂载点] ``` - 如果需要挂载 CephFS 的子目录，则可以通过 `-r` 参数指定： ```sh ceph-fuse -m 10.1.4.101:6789 -r /subdir /mnt/testfuse/ ``` - 卸载挂载点时，需要使用 `fusermount -u [挂载点]` 命令，如果没有 fusermount 工具，可以使用 `yum install fuse` 进行安装。 3. **服务共享**： - 可以在集群本地挂载 CephFS 目录，再通过 NFS 或 Samba 将本地目录共享出去。 #### CephFS 在 Windows 上的使用 1. **使用 ceph-dokan**： - ceph-dokan 是基于 Windows FUSE —— Dokan 的 Ceph-Fuse Windows 版本。 - 首先使用 dokaninstall.exe 安装 Dokan，然后使用如下命令可以将 CephFS 挂载到 M 盘符： ```sh ceph-dokan.exe -c cephconf -l m [-x /subdir] ``` 2. **服务共享**： - 在集群本地挂载 CephFS 目录，之后可以通过 CIFS（Samba）将本地目录共享到 Windows。 #### RBD 使用方法 Ceph 的 RBD（RADOS Block Device）提供了块级别的存储服务。 1. **Linux 上使用 RBD**： - 在集群中创建 pool 及 RBD： ```sh ceph osd pool create test123 16 16 rbd create testrbd01 --size=1G --pool test123 ``` - 查看 RBD 信息： ```sh rbd info testrbd01 --pool test123 ``` - 由于 Linux 内核版本的问题，某些 RBD 特性可能不支持，需要禁用后才能正常映射： ```sh rbd feature disable testrbd01 --pool test123 deep-flatten rbd feature disable testrbd01 --pool test123 fast-diff rbd feature disable testrbd01 --pool test123 object-map rbd feature disable testrbd01 --pool test123 exclusive-lock ``` - 将 RBD 映射到本地作为设备使用： ```sh rbd map testrbd01 --pool test ``` - 使用 `lsblk` 查看设备是否已存在，之后可进行格式化并挂载使用。 2. **使用 rbd-fuse**： - 将 RBD 映像直接在集群本地映射为文件： ```sh rbd-fuse -p test123 /mnt/testrbdfuse ``` - 卸载： ```sh fusermount -u /mnt/testrbdfuse ``` 3. **iSCSI Target**： - 使用支持 Ceph-RBD 的 iSCSI Target。首先需要安装 scsi-target，并从 GitHub 下载 tgt 源码。 - 设置环境变量 `CEPH_RBD` 为 1。 - 编译安装 tgt： ```sh make make install ``` - 启动或重启 tgtd 服务： ```sh systemctl start/restart tgtd ``` - 通过命令检查是否成功启动服务。 通过上述详细介绍，我们可以了解到 Ceph 在不同操作系统平台上提供了丰富的存储服务选项。无论是文件系统、块存储还是对象存储，用户都可以根据自己的需求选择最适合的方案进行部署。希望这篇指南能够帮助读者更好地理解和使用 Ceph 存储。