ceph docker 部署 使用raw格式的镜像作为磁盘

### OpenStack 中部署 Ceph 的教程及配置指南 #### 1. 部署原则与注意事项 在实际生产环境中，强烈不建议将 CEPH 和 OpenStack 管理节点部署在同一台服务器上，原因是两者之间可能存在端口冲突的情况。例如 grafana 使用的 3000 端口可能会引发冲突[^1]。 如果确实需要将 CEPH 管理节点与 OpenStack 管理节点部署在同一台物理机上，则应按照以下顺序操作： - **先完成 Ceph 的安装并确保其正常运行**（在此阶段无需配置 Ceph 对接 OpenStack）。 - 关闭可能导致冲突的服务或端口（如 grafana 的 3000 端口）。 - 安装 OpenStack 并完成基本配置后，再重新配置 OpenStack 接入 Ceph。这种顺序可以有效避免 Docker 在 OpenStack 部署过程中的不可重启问题。 --- #### 2. 基础环境准备 为了成功部署 Ceph 和 OpenStack，需满足以下条件： ##### a. SELinux 配置 SELinux 可能会对集群通信造成阻碍，因此推荐将其设置为禁用状态。可以通过编辑 `/etc/selinux/config` 文件实现此目的： ```bash # vim /etc/selinux/config SETSELINUX=disabled ``` 保存文件后执行 `reboot` 操作使更改生效。可通过命令 `getenforce` 查看当前 SELinux 状态以确认是否已禁用[^3]。 ##### b. 系统版本兼容性 对于 CentOS 8.4 和 Ceph Nautilus (16.2.15) 版本组合的学习场景，官方文档提供了详细的集群部署指导。Ceph 架构的核心特性包括但不限于：所有组件均支持横向扩展、不存在单点故障风险、采用软件定义的方式构建，并能够适应多种商用硬件平台[^2]。 --- #### 3. Ceph 集群初始化 以下是基于 cephadm 工具进行快速部署的关键步骤摘要： ##### a. 准备存储设备 在每个存储节点上的空白硬盘上标记 Ceph 标签以便后续识别和分配资源。具体方法如下： ```bash # ceph-volume lvm create --data /dev/<disk> ``` ##### b. 初始化第一个管理节点 通过以下命令启动初始引导流程： ```bash curl --silent --remote-name https://github.com/ceph/ceph/raw/master/src/cephadm/cephadm chmod +x cephadm ./cephadm bootstrap --mon-ip <MON_IP> --fsid <FSID> ``` ##### c. 添加其他节点到集群 利用 SSH 密钥分发机制简化跨主机认证过程，随后向新加入的机器推送服务实例： ```bash ssh-copy-id root@<NEW_NODE_HOSTNAME> ceph orch host add <NEW_NODE_HOSTNAME> ``` --- #### 4. OpenStack 对接 Ceph 当 Ceph 成功搭建完毕后，即可着手让 OpenStack 利用该分布式存储系统作为后端支撑。 ##### a. 修改 Cinder 后端驱动程序 更新 `/etc/cinder/cinder.conf` 文件内的相关内容片段： ```ini [DEFAULT] enabled_backends = ceph [ceph] volume_driver = cinder.volume.drivers.rbd.RBDDriver rbd_pool = volumes rbd_ceph_conf = /etc/ceph/ceph.conf rbd_user = cinder rbd_secret_uuid = <UUID_GENERATED_BY_OPENSTACK> ``` ##### b. 创建必要的 RBD Pool 预先规划好用于承载虚拟磁盘镜像数据的目标池名称及其容量大小限制参数设定工作尤为重要。 ```bash ceph osd pool create volumes <PG_NUM> ``` --- #### 5. 测试验证环节 最后一步是对整个集成方案进行全面的功能性和稳定性测试。重点考察以下几个方面表现情况如何？ - 数据写入读取延迟指标； - 整体吞吐量水平评估结果怎样？ - 是否存在任何潜在错误异常现象发生？