4台机器

高度可扩展，分布式的存储文件系统，旨在提供高性能，高可靠性和高可用的对象存储，块存储，文件系统的存储。

使用分布式的算法保证数据的高可用和一致性。

ceph的架构：

1、ceph minitor

MON：负责存储和维护整个ceph集群的状态信息，主要是集群的成员信息，存储状态和配置数据等等。

确保集群的一致性，处理选举和状态的更新，集群内部成员的通信，包括故障转移。

ceph当中的mon至少有3个节点确保高可用。

2、ceph osd   object storage deamon

ceph存储系统的核心组件，负责存储数据，处理读写与请求，数据复制，数据恢复。

每个osd节点管理一个或者多个硬盘驱动。

存储实际的数据和副本

处理对象级别的数据操作，读，写，删

在节点付账时，进行数据恢复

3、ceph mds  metadata  server

对ceph的文件系统的元数据进行管理，文件和目录的结构，文件的权限，mds提供元数据服务

管理集群的元数据信息

处理客户端对文件系统的请求

ceph集群中，至少要有一个mds节点。

4、存储池和pg

存储池：ceph存储对象的容器，每个存储池可以定义不同的数据冗余的策略（副本数，默认都是3）crush映射规则等等。

存储池是一个逻辑上的概念。

管理和组织数据的对象

定义数据的冗余方式，只要是开副本，3个。

配置crush映射，数据如何在osd之间发布。

pg：placement group

pg也是ceph当中的一个逻辑概念，用于数据发布的基本单位，创建存储池，定义好pg的数量。

pg是由一组对象（object）组成的逻辑集合，每个对象都会映射到一个或者多个pg。

数据发布：数据写入集群，映射到存储池中的一个pg，crush算法决定将pg发布到哪些osd。

在ceph当中，pg和osd的数量是相关的，设置一个合理的pg数，有助于提高集群的性能。

3个osd为例

pg数量=（osd数量*100）/存储池的副本数

300/3=100           

pg的数量应该是2的幂值，   128

pg的数量一般是osd数量的一百倍，左右。

存储池，pg和osd之间的关系：

1、存储池（pool），管理数据的基本单位，组成和配置数据的存储和冗余的方式

2、pg存储池中的数据划分成多个pg，每个pg是数据发布的最小单位，pg负责对象存储的位置，通过crush的算法把数据发布到osd

3、osd是负责存储的数据基于物理设备的虚拟概念。

crush算法，ceph自带的一种算法：

数据发布的算法，把对象分配到集群的osd节点当中。

crush算法使用hash算法来决定数据的存储位置，确保数据是均匀分布在集群的osd上。

存储类型：

对象存储  云平台存储，基于apt接口，通过http（s）来对目标发起请求的方式获取数据。

块存储   RBD

文件系统  cephfs

集群的架构：

test1  mon   osd   admin

test2   mon   osd

test3   mon   osd

test4   客户端

ceph17版本------2024  17.2.24依赖于docker  python3-------ubuntu自带  lvm2

全部清空  更换相应版本的阿里云

安装docker

test1

wget https://mirrors.aliyun.com/ceph/debian-17.2.4/pool/main/c/ceph/cephadm_17.2.4-1focal_amd64.deb

cephadm bootstrap --mon-ip 192.168.32.20 --cluster-network 192.168.32.0/24 --allow-fqdn-hostname

--mon-ip  指定mon进程的节点地址，先指定admin节点。

--cluster-network   集群网络的只范围，ceph节点内部通信。

--allow-fqdn-hostname    允许ceph集群使用hostname来对节点进行标识。节点之间可以通过主机名进行通信

40

echo "192.168.32.21 nginx2" | tee -a /etc/hosts

test1 2 3 4

test1

修改mon节点的数量

等待对应数满

test1 2 3

在虚拟机中添加硬盘

刷新

for host in /sys/class/scsi_host/host*/scan; do
    echo "- - -" | sudo tee $host
done

作为ceph集群的底层的硬盘必须满足的两个条件：

1、容量必须大于5G

2、不能对硬盘做任何分区和文件系统

test1

获取可用的节点

等待

添加osd  1   2   3 

ceph RBD

rados block device

虚拟化环境，openstack，KVM

数据库：性能高，延迟低的块存储方式

优点：

1、支持动态扩展

2、支持快照和克隆

缺点：

1、rdb的方式必须要创建文件系统

使用方式：在云计算的平台经常被使用，尤其是大规模存储和高性能存储场景。

test1

创建存储池

ceph osd pool rdb1 存储池的名称

128 pg_num  pgd数量

128 pgp_num 的数量

给存储池创建类型（可以不写）

做映射   客户端 test 4

创建rdb镜像

镜像是rdb存储的基本单位，是一个虚拟的磁盘。

镜像提供了一个虚拟的块设备的接口，可以挂载的方式进行使用。

创建rdb镜像，实际上就是类似磁盘的一个分区

test1 复制文件系统 和 miyaod

test4

创建镜像

做映射

映射之后，会虚拟出一个逻辑上的硬盘，要创建文件系统，然后挂载才可以使用。

mkfs

2、cephfs的存储方式：

文件系统分布式存储方式，基于内核是实现共享文件的存储方式

大数据存储，文件服务器（文件共享，企业的镜像服务源）

优点：内核兼容，NFS方式也可以实现，部署速度比较快，跨节点实现

缺点：配置比rdb的比较复杂，在大集群当中比较复杂

ceph需要两个存储池

数据池cephfs.data,用来存储数据

元数据池，保存数据的元信息，cephfs.meta

cephfs：数据池cephfs.data

test1

查看名称

查看状态

test4

ceph auth  get-key client.admin

创建集群

test1

创建nfs的高可用，分别运行test1，再加入test2，test3

nfs的挂载目录和cephfs数据池之间的关系：

通过nfs的挂载方式，依然使用的cephfs.data的数据的空间，文件实际上还是存储在cephfs.data的数据池当中。

3、ceph object storge 对象存储

云计算的后台的存储方式一般都是用对象存储

对象存储：高扩展，处理文件的级别可以达到PB级别。

缺点：如果数据量不是特别巨大一般不需要该场景。

ceph需要使用分布式文件系统的企业一般都是需要存储海量数据，可以保证数据的高可用非常严谨的场景。

ceph的存储方式的数据流向：

存储池 pg  osd

创建存储池，分配pg   

数据按照对象分配给pg

pg再把数据分配给osd