ceph

ceph是一个开源的，用c++语言编写的分布式的存储系统。存储文件数据。

/dev/sdb

fdisk /dev/sdb

gdisk /dev/sdb

lvm 逻辑卷可以扩容

raid 磁盘高可用

基于物理意义上的单机的存储系统。

分布式由多台物理磁盘组成一个集群，在这个基础之上实现高可用，扩展。

ceph是一个统一的存储系统，同时提供块设备存储，文件系统存储和对象存储三种存储

对象存储RGW oss：

对象存储也就是键值对存储，通过接口指令，get put del和其他的命令向对象存储上或者下载数据。

把数据作为对象，按照一定的逻辑和算法，存储到不同的硬盘上（可以是不同机器上的硬盘，依靠网络来进行互相通信）

优点：

使用的是硬盘组，不受目录系统的影响，读写效率高

集群的扩展性很强，支持多副本存储。

可以直接通过URL访问文件。简单好管理

缺点

内容变动较大的文件不适合作为存储对象，每一次变动都要重新上传。

文件系统存储 ceph-fs

ceph集群的存储看做是一个大的分区或者共享文件挂载到客户端的本地

客户端可以在本地直接进行操作。速度快，可以存储的数据类型也没有限制。

内核态和用户态：

mount 内核态速度快读写也快

ceph-fuse 用户态速度慢读写稍慢

优点

成本低，随便的一台服务器都可以做。

公司内部都使用这种方式。内网云盘就是这种方式

缺点

读写速度和传输速度相对比较慢（本地使用不再此列）

块存储RBD

rbd可以为kvm虚拟化和云服务（openstack）可以提供高性能和无线可扩展的存储后端。

磁盘映射， RAID和lvm提供磁盘空间，多个主机上的raid或者Ivm组成一个逻辑上的RAID和lvm。

优点

多块磁盘组成这种逻辑空间可以并行的执行读写操作，IO效率比较高

缺点

对网络传输的要求比较高，windows无法访问linux的RDB操作。

ceph的主要特点

1、统一存储：对象块文件系统

2、Crush算法，算法来实现数据的寻址。数据完整性的校验和一致性。

3、高扩展性，扩容方便，可靠性比较强。创建数据的时候可以对数据进行副本操作，副本数由管理定义的副本可以跨主机保存，跨架构，跨机房，跨数据中心进行保存。

4、高性能，因为是多副本，读写的时候可以做到并行化处理。

ceph的组件和作用

1、OSD： ceph当中的OSD的守护进程，是集群的基础

主要功能：存储数据，保存副本数据，数据恢复，平衡数据分布

冗余和高可用至少要有3个OSD（三个机器上的三个物理硬盘）

2、Monitors： mon monitors守护进程，监视ceph集群的状态，维护ceph集群的健康

OSD的状态也属于MON的监控范围。

ceph存储集群必须要有一个Monitors进程，和两个OSD进程。

服务器的数量必须是奇数台。2-5

管理节点 mon osd osd

3、MDS：也是一个守护进程，保存ceph文件系统的元数据。（文件的权限，所有者，所在组，修改时间等等，在ceph集群当中的inode号）

4、managers：也是作为守护进程运行，跟踪集群的运行时间的指标和ceph集群的状态：主要是存储的利用率，性能指标和系统的负载。

5、RADOS：分布式存储系统，所有的存储功能都是基于RADOS实现的。高可用可性能也是基于RADOS实现的，他是所有一切的底层，也是整个ceph集群的核心

RADOS由两个部分组成：OSD Monitors

6、LIBRADOS：这是一个动态库，用来允许应用程序和RADO5系统进行交互。

通过端口进行通信

存储概念：

存储数据和object的关系

对象块文件系统挂载，都需要odject，存储的数据都会被分成多个object，分成之后每一个数据都有一个object id。

每个数据object的大小是可以调整的，默认是4M

ceph的最小存储吧单位

object和pg的关系：

object数量太多了，在一个集群当中，object的数量太多，遍历和寻址速度都很慢。

pg就是归置组，placcment group 管理objecct

object通过CRUSH算法映射到pg当中，一个pg里面可以包含多个object。

pg与osd之间的关系

pg也是通过CRUSH算法映射到osd当中去存储，如果有副本，每个pg会映射到三个osd当中，三个osd A B C

pg-------->A

pg------------>B

pg--------------->C

PG和PGD的关系

pgd是存放pg的排列组合。

3osd

ABC 副本数2

PGD 1

[A B]

PGD 2

[A B]

[A C]

存储池：pool

ceph的集群进行逻辑划分，设置ceph存储集群的权限，副本数 pg的数量和算法规则

pool是由管理员自定义，相当于一个独立的空间。每个pool之间是独立的，数据也是隔离的。

第一个存储数据的pool

第二个存储元数据的pool

ceph osd pool create cephfs date pg_num

少于5个osd的情况下，pg的数量等于I28

5-10个osd 512

10-50个osd 4096个

Pg总数:750个，不能超过750个

1283=384个 750-384= 366

存储元数据也要pg 1282=256

存储数据

osd* pg值

元数据

2pg值

osdpg值+2pg值<750

pg num=(osd100)/副本数3100/2

设定pg值的目的，通过管理较少的pgceph获取数据，分配，管理数据的效率越高。

pg值越多，数据分布的越多，管理就越复杂。

实验

所有节点做地址映射

[root@test42 ~]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.65.42  test42
192.168.65.43  test43
192.168.65.44  test44
192.168.65.45  test45
#主节点生成密钥对
[root@test42 ~]# ssh-keygen    #一直回车
#将密钥发送到每个从节点
[root@test42 ~]# ssh-copy-id 192.168.65.43
[root@test42 ~]# ssh-copy-id 192.168.65.44
[root@test42 ~]# ssh-copy-id 192.168.65.45

[root@test42 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

[root@test42 ~]# cat> /etc/yum.repos.d/ceph.repo <<eof
> [ceph]
> name=ceph
> baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
> gpgcheck=0
> [ceph-noarch]
> name=ceph-noarch
> baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
> gpgcheck=0
> eof

[root@test42 ~]# yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

[root@test42 ~]# cd /etc/ceph
[root@test42 ceph]# ls
rbdmap
[root@test42 ceph]# ceph-deploy new test42 test43 test44
[root@test42 ceph]# vim ceph.conf 

[global]
fsid = 0c4d7162-092c-4cb7-abe7-61375a99f90b
mon_initial_members = test42, test45, test44
mon_host = 192.168.65.42,192.168.65.45,192.168.65.44
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 2
#副本数设置为2或者3
#节点初始化
[root@test42 ceph]# ceph-deploy mon create-initial
[root@test42 ceph]# ceph -scluster:id:     0c4d7162-092c-4cb7-abe7-61375a99f90bhealth: HEALTH_OKservices:mon: 3 daemons, quorum test42,test44,test45mgr: no daemons activeosd: 0 osds: 0 up, 0 indata:pools:   0 pools, 0 pgsobjects: 0 objects, 0Busage:   0B used, 0B / 0B availpgs:     
#添加硬盘
[root@test42 ceph]# alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'

[root@test42 ceph]# ceph-deploy disk zap test42 /dev/sdc
[root@test42 ceph]# ceph-deploy disk zap test44 /dev/sdc
[root@test42 ceph]# ceph-deploy disk zap test45 /dev/sdb
#三个硬盘做osd
[root@test42 ceph]# ceph-deploy osd create test45 --data /dev/sdb
[root@test42 ceph]# ceph-deploy osd create test44 --data /dev/sdc
[root@test42 ceph]# ceph-deploy osd create test42 --data /dev/sdc
#查看osd节点状态
[root@test42 ceph]# ceph-deploy osd list test42 test44 test45
#部署mgr
[root@test42 ceph]# ceph-deploy mgr create test42 test44 test45
#把主里ceph.mon.keyring传给从
[root@test42 ceph]# ceph-deploy admin test42 test44 test45
#赋权
[root@test42 ceph]# chmod +r /etc/ceph/ceph.client.admin.keyring
[root@test44 ceph]# chmod +r /etc/ceph/ceph.client.admin.keyring
[root@test45 ceph]# chmod +r /etc/ceph/ceph.client.admin.keyring
#安装mds，主上有不用安
[root@test42 ceph]# ceph-deploy mds create test44 test45
[root@test42 ceph]# ceph -scluster:id:     0c4d7162-092c-4cb7-abe7-61375a99f90bhealth: HEALTH_OKservices:mon: 3 daemons, quorum test42,test44,test45mgr: test42(active), standbys: test45, test44osd: 3 osds: 3 up, 3 indata:pools:   0 pools, 0 pgsobjects: 0 objects, 0Busage:   3.01GiB used, 57.0GiB / 60.0GiB availpgs:     

#创建存储池   文件系统ceph-fs
[root@test42 ceph]# ceph osd pool create cephfs_date 128  #存储数据
pool 'cephfs_date' created
[root@test42 ceph]# ceph osd pool create ceph_metadata 128  #存储元数据
#创建文件系统
[root@test42 ceph]# ceph fs new cephfs ceph_metadata cephfs_date
new fs with metadata pool 2 and data pool 1
[root@test42 ceph]# ceph fs ls
name: cephfs, metadata pool: ceph_metadata, data pools: [cephfs_date ]
名称                         元数据                        地址池名称
[root@test42 ceph]# ceph fs status cephfs
cephfs - 0 clients
======
+------+--------+--------+---------------+-------+-------+
| Rank | State  |  MDS   |    Activity   |  dns  |  inos |
+------+--------+--------+---------------+-------+-------+
|  0   | active | test44 | Reqs:    0 /s |   10  |   12  |
+------+--------+--------+---------------+-------+-------+
+---------------+----------+-------+-------+
|      Pool     |   type   |  used | avail |
+---------------+----------+-------+-------+
| ceph_metadata | metadata | 2246  | 26.9G |
|  cephfs_date  |   data   |    0  | 26.9G |
+---------------+----------+-------+-------+

+-------------+
| Standby MDS |
+-------------+
|    test45   |
+-------------+
MDS version: ceph version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (stable)
#客户端
[root@test43 ~]# mkdir /data
[root@test43 ~]# mount -t ceph 192.168.65.42:6789:/ /data -o name=admin，secret=AQBDF7NmqXt8JRAArNMnEXBScg6Jryvhc5gAUg==
[root@test43 ~]# df -h
192.168.65.42:6789:/      27G     0   27G    0% /data
#写入100M内容
[root@test43 data]# dd if=/dev/zero of=/data/test1.txt bs=10M count=10
记录了10+0 的读入
记录了10+0 的写出
104857600字节(105 MB)已复制，0.170108 秒，616 MB/秒
[root@test43 data]# ll -lh
总用量 100M
-rw-r--r-- 1 root root 100M 8月   7 15:27 test1.txt
#在主上查看是否成功写入100M
[root@test42 ceph]# ceph fs status cephfs
cephfs - 1 clients
======
+------+--------+--------+---------------+-------+-------+
| Rank | State  |  MDS   |    Activity   |  dns  |  inos |
+------+--------+--------+---------------+-------+-------+
|  0   | active | test44 | Reqs:    0 /s |   11  |   13  |
+------+--------+--------+---------------+-------+-------+
+---------------+----------+-------+-------+
|      Pool     |   type   |  used | avail |
+---------------+----------+-------+-------+
| ceph_metadata | metadata | 15.2k | 26.8G |
|  cephfs_date  |   data   |  100M | 26.8G |
+---------------+----------+-------+-------+

+-------------+
| Standby MDS |
+-------------+
|    test45   |
+-------------+

[root@test43 data]# yum -y install ceph-fuse
[root@test43 ceph]# scp root@192.168.65.42:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
[root@test43 ceph]# scp root@192.168.65.42:/etc/ceph/ceph.conf /etc/ceph/
[root@test43 ceph]# mkdir data1
[root@test43 ceph]# df -h
192.168.65.42:6789:/      27G  200M   27G    1% /data
ceph-fuse                 27G  200M   27G    1% /data1
#data的数据会同步到data1
[root@test43 data]# touch 123
[root@test43 data]# cd /data1/
[root@test43 data1]# ls
123  test1.txt  test2.txt