文章来源于知乎文章:
分布式存储CephFS最佳实践
背景
近日,一朋友说他们企业内部想落地CephFS,让我帮忙写一份能落地的CephFS最佳实践。然后就顺便把文章整理到了这里。因能力水平以及认知有限,如有错漏烦请指正。
简介
CephFS是Ceph项目的一个组成部分,它是一个高性能、可扩展的分布式文件系统,提供POSIX语义。它建立在Ceph的RADOS对象存储之上,通过Ceph的MDS(元数据服务器)来管理文件系统的元数据。CephFS支持海量数据规模,具有数据自动复制和故障域感知的特性,确保数据的高可用性和持久性。此外,CephFS还支持快照功能,可以用于数据备份和一致性视图的创建。它的设计目标是为了满足现代云计算环境中对存储系统的需求。
选型
软件选型
- Ceph版本
当前业内线上使用的主流版本应该是L,N,O。初步来看,N的应用目前应该是最广泛的,所以本文也主要以N版本展开。
如下图是Ceph社区当前版本演进情况:
Ceph版本演进
- Ceph Client端选型
CephFS支持两种模式的挂载,kenel挂载以及fuse挂载,如下列出了两者的一些对比:
特性/挂载方式 | 内核方式 (Kernel Mount) | 用户态方式 (FUSE Mount) |
性能 | 高 | 较低(大概为内核版本1/3) |
内核依赖性 | 高 | 较低 |
升级复杂性 | 较高 | 较低 |
运维复杂度 | 高 | 较低 |
爆炸半径 | 大 | 较小 |
- 操作系统版本
不同发行版选取的内核主线一般不同,不过大体大同小异,这里以debian发行版本为例。Debian8是3.16内核,debian9是4.9内核,debian10是4.19内核,debian11则是5.10,debian12则是6.1。
一般来说,更高的内核版本会有更多更优秀的feature,比如4.20版本引入了fuse的max_page机制,该机制对Cephfs的吞吐可以得到极大的提升。
但是更高的版本可能稳定性还不够,所以线上一般是建议使用上一个稳定版本。
硬件选型
Ceph的一个优点就是其很灵活,没有那么吃资源,可以适用于更类硬件。
如下展示了Ceph的最低硬件配置建议。客户可以根据对性能或者存储容量的需求,升级相关硬件配置。
....................................