ceph手动部署

ceph手动部署

一、 节点规划

主机名IP地址角色
ceph01.example.com172.18.0.10/24mon、mgr、osd、mds、rgw
ceph02.example.com172.18.0.20/24mon、mgr、osd、mds、rgw
ceph03.example.com172.18.0.30/24mon、mgr、osd、mds、rgw

操作系统版本： Rocky Linux release 8.8 (Green Obsidian)

二、 准备工作

以下操作所有主机都要操作

1. 替换YUM源

sed -e 's|^mirrorlist=|#mirrorlist=|g'

-e 's|^#baseurl=Index of /$contentdir|baseurl=rockylinux安装包下载_开源镜像站-阿里云|g'

-i.bak

/etc/yum.repos.d/Rocky-.repo

dnf makecache

2. 关闭防火墙和SELINUX

systemctl disable --now firewalld.service

setenforce 0

vim /etc/sysconfig/selinux

3. 配置时间同步

echo “server ntp.aliyun.com iburst” >> /etc/chronyd.conf

systemctl enable --now chronyd

chronyc sources

4. 主机名与IP进行映射

vim /etc/hosts

172.18.0.10 ceph01.example.com ceph01

172.18.0.20 ceph02.example.com ceph02

172.18.0.30 ceph03.example.com ceph03

5. 节点安装ceph软件包

yum install centos-release-ceph-pacific -y 此处使用P版 目前企业级存储使用的稳定版

yum install ceph -y

三、配置MON

1. 生成集群UUID

uuidgen

eb6d6dab-6854-4663-ba7f-eadf2758e681

2. 创建ceph.conf配置文件

vim /etc/ceph/ceph.conf

[global]

fsid=eb6d6dab-6854-4663-ba7f-eadf2758e681

mon_initial_members=ceph01,ceph02,ceph03

mon_host=172.18.0.10,172.18.0.20,172.18.0.30

public_network=172.18.0.0/24

auth_cluster_required=cephx

auth_service_required=cephx

auth_client_required=cephx

osd_pool_default_size=3

osd_pool_default_min_size=2

osd_pool_default_pg_num=128

osd_pool_default_pgp_num=128

storage_type=bluestore

osd_objectstore=bluestore

osd_mkfs_type=xfs

bluestore_block_size=5628755968

3. 生成monitor keyring

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow '

4. 生成admin管理员key

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow ' --cap osd 'allow ' --cap mds 'allow ' --cap mgr 'allow '

5. 生成OSD引导key

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

6. 将admin和osd引导key导入到mon key中

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

chown ceph:ceph /tmp/ceph.mon.keyring

7. 生成monmap映射视图

monmaptool --create --add ceph01 172.18.0.10 --add ceph02 172.18.0.20 --add ceph03 172.18.0.30 --fsid eb6d6dab-6854-4663-ba7f-eadf2758e681 /tmp/monmap

8. 拷贝文件到其他节点

scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.conf root@ceph03:/etc/ceph/

scp /tmp/monmap root@ceph02:/tmp/

scp /tmp/monmap root@ceph03:/tmp/

scp /tmp/ceph.mon.keyring root@ceph02:/tmp/

scp /tmp/ceph.mon.keyring root@ceph03:/tmp/

scp /etc/ceph/ceph.client.admin.keyring root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.client.admin.keyring root@ceph03:/etc/ceph/

9. 从映射视图导入集群关系（在所有节点上操作）

sudo -u ceph mkdir /var/lib/ceph/mon/ceph-ceph01（ceph01改成不同的主机名）

ceph-mon --mkfs -i ceph01 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring（ceph01改成不同的主机名）

chown ceph.ceph -R /var/lib/ceph

10. 启动mon服务并查看集群状态(在所有节点上操作)

systemctl enable --now ceph-mon@ceph01.service （ceph01改成不同的主机名）

ceph -s 查看集群状态

问题1：3 monitors have not enabled msgr2

ceph mon enable-msgr2 （）

问题2：mons are allowing insecure global_id reclaim

ceph config set mon auth_allow_insecure_global_id_reclaim false（禁用不安全模式）

四、配置MGR

1-3以下所有节点均需要操作

1. 创建mgr key存放目录

sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-$(hostname -s)

2. 生成mgr key

ceph auth get-or-create mgr. $(hostname -s) mon 'allow profile mgr' osd 'allow ' mds 'allow ' > /var/lib/ceph/mgr/ceph-$(hostname -s)/keyring

3. 启动mgr服务

systemctl enable --now ceph-mgr@ceph01.service （ceph01在不同节点上换成不同主机名）

4. 配置dashboard图形化控制台

4.0 安装dashboard模块并启用

yum install ceph-mgr-dashboard -y

4.1 生成自签名证书

openssl req -new -nodes -x509 -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650

-keyout dashboard.key -out dashboard.crt -extensions v3_ca

4.2 导入证书

ceph dashboard set-ssl-certificate -i dashboard.crt

ceph dashboard set-ssl-certificate-key -i dashboard.key

4.3 配置地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0

ceph config set mgr mgr/dashboard/ssl_server_port 8443

4.4 禁用rgw api校验自签名证书（如果启用rgw ssl则需要）

ceph dashboard set-rgw-api-ssl-verify false

4.5初始化 dashboard 用户

echo redhat123 > pass.txt

ceph dashboard ac-user-create admin administrator -i pass.txt

4.6 启用http关闭ssl

mgr-dashboard默认使用ssl进行访问，关闭ssl可以使用http

ceph config set mgr mgr/dashboard/ssl false

4.7 启用或禁用dashboard

ceph config module disable dashboard

ceph config module enable dashboard

五、配置OSD

1. 拷贝OSD的密钥环(ceph01操作)

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph02:/var/lib/ceph/bootstrap-osd/

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph03:/var/lib/ceph/bootstrap-osd/

拷贝后修改文件的权限chown ceph.ceph /var/lib/ceph/bootstrap-osd/ceph.keyring

2. 创建OSD

ceph-volume lvm create --data /dev/sdb --bluestore

说明：

--bluestore 不接时默认为bluestore后端驱动，使用--filestore则使用文件级filestore驱动，cephadm不支持管理后端驱动为filestore的OSD

上述过程可以拆分成两步:

准备OSD：ceph-volume lvm prepare --data /dev/sdb

激活OSD：ceph-volume lvm activate {ID} {FSID}

　ceph-volume lvm list 查看OSD的ID

3. 查看集群状态以及添加的OSD

ceph -s 查看集群状态是否ok

ceph osd ls

六、配置MDS

以下操作所有节点都要做

1. 创建mds key存放目录

sudo -u ceph mkdir /var/lib/ceph/mds/ceph-$(hostname -s)

2. 生成mds keyring

ceph auth get-or-create mds.$(hostname -s) osd "allow rwx" mds "allow" mon "allow profile mds" > /var/lib/ceph/mds/ceph-$(hostname -s)/keyring

chown ceph.ceph -R /var/lib/ceph/mds/ceph-ceph02/keyring

3. 启动mds 服务

systemctl start ceph-mds@ceph01.service

systemctl start ceph-mds@ceph02.service

systemctl start ceph-mds@ceph03.service

4. 创建文件系统测试

ceph osd pool create fspool_meta 创建文件系统元数据池

ceph osd pool create fspool_data 创建文件系统数据池

ceph fs new fs01 fspool_meta fspool_data 创建fs01的文件系统

ceph fs status 查看文件系统的主从节点

ceph fs authorize fs01 client.wangwu / rw 创建文件系统使用用户王五并授权

mount -t ceph ceph01:/ /media/ -o name=wangwu,fs=fs01,secret=AQB3ryJl1Z2QMRAAH1C/qRaBGIKKBWET5lM1eg== 挂载测试

七、配置RGW

1.安装软件包（所有节点操作）

yum install ceph-radosgw -y

2.创建 rgw key（ceph01操作）

ceph auth get-or-create client.rgw.ceph01 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

ceph auth get-or-create client.rgw.ceph02 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

ceph auth get-or-create client.rgw.ceph03 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring

scp /etc/ceph/ceph.client.radosgw.keyring root@ceph02:/etc/ceph/

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring (ceph02操作)

scp /etc/ceph/ceph.client.radosgw.keyring root@ceph03:/etc/ceph/

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring (ceph03操作)

4.编辑配置文件（ceph01操作）

vim /etc/ceph.conf 新增rgw配置

[client.rgw.ceph01]

host=ceph01

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.10:8080

[client.rgw.ceph02]

host=ceph02

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.20:8080

[client.rgw.ceph03]

host=ceph03

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.30:8080

scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.conf root@ceph03:/etc/ceph/

5. 创建日志目录（所有节点操作）

sudo -u ceph mkdir /var/log/radosgw/

6. 启动RGW服务（对应节点操作）

systemctl enable --now ceph-radosgw@rgw.ceph01.service

systemctl enable --now ceph-radosgw@rgw.ceph02.service

systemctl enable --now ceph-radosgw@rgw.ceph03.service

服务启动后rgw将自动创建以下存储池

.rgw.root #包含 realm(领域信息)，比如 zone 和 zonegroup

default.rgw.log #存储日志信息，用于记录各种 log 信息

default.rgw.control #系统控制池，在有数据更新时，通知其它 RGW 更新缓存

default.rgw.meta #元数据存储池，通过不同的名称空间分别存储不同的 rados 对象

7. 创建s3用户测试

radosgw-admin user create --uid=user1 --access-key=123 --secret=456 --email user1@example.com --display-name user1

7. s3对象存储测试（任意选择一个节点测试）

7.1 安装s3工具

yum install epel-release -y 使用epel源

yum install aws -y 安装s3客户端工具

7.2 配置s3访问凭据

aws configure --profile=ceph 凭据名为ceph

输入ak和sk

7.3 创建存储桶

aws --profile=ceph --endpoint-url=http://172.18.0.10:8080 s3 mb s3://bucket1

7.4 上传文件到桶

aws --profile=ceph --endpoint-url http://172.18.0.10:8080 s3 cp /etc/passwd s3://bucket1/passwd

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/481084.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Vue：使用 KeepAlive 缓存切换掉的 component

Vue：使用 KeepAlive 缓存切换掉的 component

一、内置特殊元素 不是组件 <component>、<slot> 和 <template> 具有类似组件的特性&#xff0c;也是模板语法的一部分。但它们并非真正的组件&#xff0c;同时在模板编译期间会被编译掉。因此&#xff0c;它们通常在模板中用小写字母书写。 1.1 <compone…
阅读更多...
nginx 升级http 到 http2

nginx 升级http 到 http2

同步发布于我的网站 &#x1f680; 背景介绍准备工作配置过程遇到的问题及解决方法验证升级总结参考资料 背景介绍 HTTP/2 是 HTTP 协议的最新版本&#xff0c;相比 HTTP/1.1&#xff0c;它带来了多项重要的改进&#xff0c;包括多路复用、头部压缩和服务端推送。这些特性可…
阅读更多...
FFmpeg 推流给 FreeSWITCH

FFmpeg 推流给 FreeSWITCH

FFmpeg 推流&#xff0c;貌似不难&#xff0c;网上有很多资料, 接到一个任务&#xff0c;推流给 FreeSWITCH&#xff0c;最开始以为很容易&#xff0c; 实则不然&#xff0c;FreeSWITCH uuid_debug_media <uuid>&#xff0c; 一直没人任何反应 仔细一查&#xff0c;Fr…
阅读更多...
【趣味】斗破苍穹修炼文字游戏HTML,CSS,JS

【趣味】斗破苍穹修炼文字游戏HTML,CSS,JS

目录 图片展示 游戏功能 扩展功能 完整代码 实现一个简单的斗破苍穹修炼文字游戏&#xff0c;你可以使用HTML、CSS和JavaScript结合来构建游戏的界面和逻辑。以下是一个简化版的游戏框架示例&#xff0c;其中包含玩家修炼的过程、增加修炼进度和显示经验值的基本功能。 图片…
阅读更多...
解决 java -jar 报错：xxx.jar 中没有主清单属性

解决 java -jar 报错：xxx.jar 中没有主清单属性

问题复现 在使用 java -jar xxx.jar 命令运行 Java 应用程序时&#xff0c;遇到了以下错误&#xff1a; xxx.jar 中没有主清单属性这个错误表示 JAR 文件缺少必要的启动信息&#xff0c;Java 虚拟机无法找到应用程序的入口点。本文将介绍该错误的原因以及如何通过修改 pom.xm…
阅读更多...
家校通小程序实战教程04教师管理

家校通小程序实战教程04教师管理

目录 1 创建数据源2 搭建管理后台3 搭建查询条件4 功能测试总结 我们上一篇介绍了如何将学生加入班级&#xff0c;学生加入之后就需要教师加入了。教师分为任课老师和班主任&#xff0c;班主任相当于一个班级的管理员&#xff0c;日常可以发布各种任务&#xff0c;发布接龙&…
阅读更多...
VUE前端实现天爱滑块验证码--详细教程

VUE前端实现天爱滑块验证码--详细教程

第一步&#xff1a; Git地址&#xff1a;tianai-captcha-demo: 滑块验证码demo 找到目录 src/main/resources/static,拷贝 static 并改名为 tac 即可。 第二步&#xff1a; 将改为 tac 的文件&#xff0c;放进项目根目录中&#xff0c;如下图&#xff1a; 第三步&#xff1…
阅读更多...
RabbitMQ学习-Seven

RabbitMQ学习-Seven

再SpringBoot中使用MQ 1.创建SpringBoot项目 除了我们平常使用的一些工具依赖&#xff0c;还需要选择这个Spring for RabbitMQ依赖 2.需要在application.yml文件中进行配置 server:port :9090 spring:application:name:producerrabbitmq:host: 你的主机名port: 5672virtual-…
阅读更多...
2023.11 Graph-Enriched Biomedical Language Models: A Research Proposal

2023.11 Graph-Enriched Biomedical Language Models: A Research Proposal

Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics: Student Research Workshop, pages 82–92 November 1–4, 2023. ©20…
阅读更多...
Ubuntu20.04下安装VSCode（配置C/C++开发环境）和设备树插件用于嵌入式开发

Ubuntu20.04下安装VSCode（配置C/C++开发环境）和设备树插件用于嵌入式开发

Ubuntu20.04下安装VSCode&#xff08;配置C/C开发环境&#xff09;和设备树插件用于嵌入式开发 Chapter1 Ubuntu20.04下安装VSCode&#xff08;配置C/C开发环境&#xff09;和设备树插件用于嵌入式开发一、安装VSCode1、VSCode下载2、安装VSCode 二、配置C/C环境1、配置g环境2、…
阅读更多...
hue 4.11容器化部署，已结合Hive与Hadoop

hue 4.11容器化部署，已结合Hive与Hadoop

配合《Hue 部署过程中的报错处理》食用更佳 官方配置说明页面&#xff1a; https://docs.gethue.com/administrator/configuration/connectors/ 官方配置hue.ini页面 https://github.com/cloudera/hue/blob/master/desktop/conf.dist/hue.ini docker部署 注意&#xff1a; …
阅读更多...
【记录：前端提高用户体验】

【记录：前端提高用户体验】

学习来源&#xff1a;https://segmentfault.com/a/1190000040970567 1.排版优化 左右排版 左边固定&#xff0c;右侧自适应 <div class"g-app-wrapper"><div class"g-sidebar"></div><div class"g-main"></div&g…
阅读更多...
计算机网络 实验八 应用层相关协议分析

计算机网络 实验八 应用层相关协议分析

一、实验目的 熟悉CMailServer邮件服务软件和Outlook Express客户端软件的基本配置与使用&#xff1b;分析SMTP及POP3协议报文格式和SMTP及POP3协议的工作过程。 二、实验原理 为了观察到邮件发送的全部过程&#xff0c;需要在本地计算机上配置邮件服务器和客户代理。在这里我…
阅读更多...
设计模式 外观模式 门面模式

设计模式 外观模式 门面模式

结构性模式-外观模式 门面模式 适用场景&#xff1a;如果你需要一个指向复杂子系统的直接接口&#xff0c; 且该接口的功能有限&#xff0c; 则可以使用外观模式。 不用关心后面的查询具体操作 /*** 聚合查询接口*/ RestController RequestMapping("/search") Slf…
阅读更多...
PKO-LSSVM-Adaboost班翠鸟优化最小二乘支持向量机结合AdaBoost分类模型

PKO-LSSVM-Adaboost班翠鸟优化最小二乘支持向量机结合AdaBoost分类模型

PKO-LSSVM-Adaboost班翠鸟优化最小二乘支持向量机结合AdaBoost分类模型 目录 PKO-LSSVM-Adaboost班翠鸟优化最小二乘支持向量机结合AdaBoost分类模型效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.PKO-LSSVM-Adaboost班翠鸟优化最小二乘支持向量机结合AdaBoost分类模…
阅读更多...
【Jenkins】docker 部署 Jenkins 踩坑笔记

【Jenkins】docker 部署 Jenkins 踩坑笔记

文章目录 1. docker pull 超时2. 初始化找不到 initialAdminPassword 1. docker pull 超时 docker pull 命令拉不下来 docker pull jenkins/jenkins:lts-jdk17 Error response from daemon: Get "https://registry-1.docker.io/v2/": 编辑docker配置 sudo mkdir -…
阅读更多...
音视频相关的一些基本概念

音视频相关的一些基本概念

音视频相关的一些基本概念 文章目录 音视频相关的一些基本概念RTTH264profile & levelI帧 vs IDRMP4 封装格式AAC封装格式TS封装格式Reference RTT TCP中的RTT指的是“往返时延”&#xff08;Round-Trip Time&#xff09;&#xff0c;即从发送方发送数据开始&#xff0c;到…
阅读更多...
nVisual可视化资源管理工具

nVisual可视化资源管理工具

nVisual主要功能 支持自定义层次化的场景结构 与物理世界结构一致&#xff0c;从全国到区域、从室外到室内、从机房到设备。 支持自定义多种空间场景 支持图片、CAD、GIS、3D等多种可视化场景搭建。 丰富的模型库 支持图标、机柜、设备、线缆等多种资源对象创建。 资源可…
阅读更多...
Web 表单开发全解析：从基础到高级掌握 HTML 表单设计

Web 表单开发全解析：从基础到高级掌握 HTML 表单设计

文章目录 前言一、什么是 Web 表单？二、表单元素详解总结前言 在现代 Web 开发中，表单 是用户与后端服务交互的重要桥梁。无论是用户登录、注册、搜索，还是提交反馈，表单都无处不在。在本文中，我们将从基础入手，全面解析表单的核心知识点，并通过示例带你轻松掌握表单开…
阅读更多...
【LeetCode: 145. 二叉树的后序遍历 + 栈】

【LeetCode: 145. 二叉树的后序遍历 + 栈】

&#x1f680; 算法题 &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&#xff0c;…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023