分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。

一方面云原生架构提供了很多设计理念，一方面我们也更关注用户在自己的业务场景中遇到的痛点和对应的需求，比如希望存储系统服务化，可以弹性伸缩，在海量数据面前对人、对程序同样友好，如何支持 Hadoop 生态、OLAP 产品等实现存储计算分离。同时简单、可靠、高性能、低成本当然也是一个文件存储服务必须具备的。

判断一个分布式文件系统是否优秀，取决于以下三个因素：

例如有1000万个数据文件，可以在一个节点存储全部数据文件，在其他N个节点上每个节点存储1000/N万个数据文件作为备份；或者平均分配到N个节点上存储，每个节点上存储1000/N万个数据文件。无论采取何种存储方式，目的都是为了保证数据的存储安全和方便获取。

• 数据的读取速率

包括响应用户读取数据文件的请求、定位数据文件所在的节点、读取实际硬盘中数据文件的时间、不同节点间的数据传输时间以及一部分处理器的处理时间等。各种因素决定了分布式文件系统的用户体验。即分布式文件系统中数据的读取速率不能与本地文件系统中数据的读取速率相差太大，否则在本地文件系统中打开一个文件需要2秒，而在分布式文件系统中各种因素的影响下用时超过10秒，就会严重影响用户的使用体验。

由于数据分散在各个节点中，必须要采取冗余、备份、镜像等方式保证节点出现故障的情况下，能够进行数据的恢复，确保数据安全。

目前主流的分布式文件系统有：MinIO、GFS、Ceph、Lustre、TFS、HDFS、MooseF、MogileFS、FastDFS、GlusterFS、GridFS、JuiceFS、ChubaoFS、Ozone、PolarFS等。

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。

Hadoop 实现了一个分布式文件系统，简称HDFS。Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。

加州大学圣克鲁兹分校的Sage Weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。

由于 ceph 使用 btrfs 文件系统， 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。ceph目前还不足够成熟，它基于的btrfs本身也不成熟，它的官方网站上也明确指出不要把ceph用在生产环境中。

Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。目前Lustre已经运用在一些领域，例如HP SFS产品等。

支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多。

由memcahed的开发公司danga一款perl开发的产品，目前国内使用mogielFS的有图片托管网站yupoo等。MogileFS是一套高效的文件自动备份组件，由Six Apart开发，广泛应用在包括LiveJournal等web2.0站点上。

是一款类似Google FS的开源分布式文件系统，是纯C语言开发的。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

开源分布式横向扩展文件系统，可以根据存储需求快速调配存储，内含丰富的自动故障转移功能，且摈弃集中元数据服务器的思想。适用于数据密集型任务的可扩展网络文件系统，具有可扩展性、高性能、高可用性等特点。gluster于2011年10月7日被red hat收购。

TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器 集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好的读写性能。

MongoDB是一种知名的NoSql数据库，GridFS是MongoDB的一个内置功能，它提供一组文件操作的API以利用MongoDB存储文件，GridFS的基本原理是将文件保存在两个Collection中，一个保存文件索引，一个保存文件内容，文件内容按一定大小分成若干块，每一块存在一个Document中，这种方法不仅提供了文件存储，还提供了对文件相关的一些附加属性（比如MD5值，文件名等等）的存储。文件在GridFS中会按4MB为单位进行分块存储。

11.MinIO

MinIO 是GlusterFS创始人之一Anand Babu Periasamy发布的开源项目，基于Apache V2 license 100% 开放源代码。MinIO采用Golang实现，客户端支持Java、Python、Javacript、Golang语言等。在中国，阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品。

设计的主要目标是作为私有云对象存储的标准方案。非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据、容器和虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T。

12.JuiceFS

JuiceFS 是一款面向云原生设计的高性能分布式文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。

采用「数据」与「元数据」分离存储的架构，从而实现文件系统的分布式设计。文件数据本身会被切分保存在对象存储（例如 Amazon S3），而元数据则可以保存在 Redis、MySQL、TiKV、SQLite 等多种数据库中，可以根据场景与性能要求进行选择。

13.ChubaoFS

CFS 支持顺序和随机文件访问，对大文件和小文件都进行了优化存储，并针对不同的写入场景采用不同的复制协议，以提高复制性能。它采用元数据子系统，根据内存使用情况在不同的存储节点上存储和分发文件的元数据。

14.Ozone

是Apache Hadoop项目的子项目，是一个基于对象存储的分布式文件系统。其主要目标是提供一个高可用性、可扩展性和高性能的存储解决方案，支持大数据分析和处理应用。

不仅能存储数十亿个不同大小的对象，还支持在容器化环境中运行。提供了一个类似于 POSIX 的文件系统接口，以方便应用程序进行文件读写操作。

15.PolarFS

PolarFS 是一个具有超低延迟和高可用性的分布式文件系统，专为 POLARDB 数据库服务而设计。PolarFS 在用户空间中利用了轻量级网络堆栈和 I/O 堆栈，充分利用了 RDMA、NVMe 和 SPDK 等新兴技术。通过这种方式，PolarFS 的端到端延迟大大降低，实验表明 PolarFS 的写入延迟与 SSD 上本地文件系统的写入延迟非常接近。为了在保证 PolarFS 的副本一致性的同时最大限度地提高 I/O 吞吐量，我们开发了 ParallelRaft 协议，它利用数据库的无序 I/O 完成容错能力，打破了 Raft 的严格串行化。

ParallelRaft 继承了 Raft 的可理解性和易于实现，同时为 PolarFS 提供了更好的 I/O 可伸缩性。

补充：

MinIO中文文档，见：http://docs.MinIO.org.cn/

• 安装部署（运维简单）

MinIO在安装过程是黑盒的，不用深入关注它的架构，也不需要进行零件组装，基本上可以做到开箱即用。普通的技术人员就能够参与后期的运维。

MinIO提供了两种部署方式：单机部署和分布式，两种部署方式都非常简单，其中分布式部署还提供了纠删码功能来降低数据丢失的风险。

• UI界面

MinIO自带UI界面，且页面不需要你单独的部署，和服务端一并安装。开箱即用。

• 高性能

MinIO号称是世界上速度最快的对象存储服务器。在标准硬件上，对象存储的读/写速度最高可以达到183 GB/s和171 GB/s。对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。MinIO用作云原生应用程序的主要存储，与传统对象存储相比，云原生应用程序需要更高的吞吐量和更低的延迟。而这些都是MinIO能够达成的性能指标。

• 容器化支持

MinIO 符合一切原生云计算的架构和构建过程，并且包含最新的云计算的全新的技术和概念。其中包括支持Kubernetes 、Docker、微服和多租户的的容器技术。

• 丰富的SDK支持

MinIO几乎提供了所有主流开发语言的SDK以及文档。

• AWS S3标准兼容

亚马逊云的 S3 API（接口协议） 是在全球范围内达到共识的对象存储的协议，是全世界内大家都认可的标准。MinIO 在很早的时候就采用了 S3 兼容协议，并且MinIO 是第一个支持 S3 Select 的产品. MinIO对其兼容性的全面性感到自豪， 并且得到了 750多个组织的认同, 包括Microsoft Azure使用MinIO的S3网关 - 这一指标超过其他同类产品的总和。

怎么理解呢？可以这么说你目前为了节约成本使用MinIO，等你的公司壮大了、有钱了。不想自己运维基础设施了，你就可以把对象存储放到云上，只要云厂商支持S3标准，你的应用程序是不需要重新开发的。

• 可扩展性

MinIO利用了Web缩放器的来之不易的知识，为对象存储带来了简单的缩放模型。这是我们坚定的理念 “简单可扩展.” 在 MinIO, 扩展从单个群集开始，该群集可以与其他MinIO群集联合以创建全局名称空间, 并在需要时可以跨越多个不同的数据中心。通过添加更多集群可以扩展名称空间, 更多机架，直到实现目标。

局限1：MinIO不支持动态增加节点

MinIO创始人的设计理念就是动态增加节点太复杂，后续会采用其它方案来支持扩容。目前只能是新增节点后手动重启系统才生效，系统会自动平衡数据，这种设计到底对系统后续有什么影响，我觉得使用者需要考虑清楚点。

局限2：大集群最大节点数为32

MinIO实现了一个峰值锁叫DSync。它在节点数量少时，性能非常高；但节点数量过多时，性能就下降了。功能实现的最大节点就是32，所以导致MinIO单个集群的最大节点数也是32。

• 高可用性和强一致性

MinIO采用分布式架构，数据自动在多个节点之间进行复制，实现了高可用性和强一致性。即使部分节点故障，系统仍然能够正常工作，并且数据不会丢失。这使得企业能够安心地存储和访问重要的业务数据，同时提高了系统的可靠性。

• 自动扩展和无限容量

MinIO的分布式架构允许动态地添加或移除节点，从而实现自动扩展。当数据量增加时，只需简单地增加节点，系统即可平稳进行水平扩展，提供更大的存储容量。这种无限扩展的能力使得MinIO能够应对企业日益增长的数据需求，降低了存储成本和管理复杂性。

• 安全可靠和数据保护

MinIO提供了数据加密和访问控制等安全机制，保障企业数据的安全性。数据加密可以选择在客户端或服务端进行，确保数据在传输和存储过程中不会被非法获取。此外，MinIO还支持数据的备份和恢复，保证数据的完整性和可靠性。

1）存储用户产生的文件内容

可以利用你的数据库备份来备份你的文件。而且由于MongoDB自身的复制技术，在MongoDB集群中的每一个副本处都有你的文件拷贝。删除文件跟删除数据库中的对象一样简单。

2）访问文件内容的分区

当把文件上传到GridFS后，文件会被分割成大小为256KB的块，并单独存放。因此当你需要读文件中的某个范围的字节时，只需把相应的文件块载入内存，而无需把整个文件加载到内存。这一点对于选择读或编辑尺寸很大的媒体内容文件时非常有用。

3）在MongoDB中存储16MB以上的文件

MongoDB默认的文件大小上限为16MB。所以，如果你的文件超过了16MB，那么你就应该使用GridFS。

4）克服文件系统的限制

如果你需要存储大量的文件，你就需要考虑文件系统自身的限制，因为文件系统对目录下的文件数量是有要求的。而使用GridFS后，你无需再担心这个问题。GridFS和MongoDB的分片使得你的文件可以分布到多个服务器上，而且没有增加操作的复杂性。

1）工作集

伴随数据库内容的GridFS文件会显著地搅动MongoDB的内存工作集。如果你不想让GridFS的文件影响到你的内存工作集，那么可以把GridFS的文件存储到不同的MongoDB服务器上。

2）性能

文件服务性能会慢于从Web服务器或文件系统中提供本地文件服务的性能。但是这个性能的损失换来的是管理上的优势。

3）原子更新

GridFS没有提供对文件的原子更新方式。如果你需要满足这种需求，那么你需要维护文件的多个版本，并选择正确的版本。

什么是POSIX？

POSIX表示可移植操作系统接口（Portable Operating System Interface of UNIX，缩写为 POSIX ），也就是Unix下应用程序共同遵循的一种规范。支持POSIX的应用程序意味着在各个Unix系统间提供了跨平台运行的支持。

MinIO、GFS、Ceph、Lustre、TFS、HDFS、MooseF、MogileFS、FastDFS、GlusterFS、GridFS、JuiceFS、ChubaoFS、Ozone、PolarFS

适合做通用文件系统的有：MinIO，Ceph，Lustre，MooseFS，GlusterFS；

适合做小文件存储的文件系统有：Ceph，MooseFS，MogileFS，FastDFS，TFS；

适合做大文件存储的文件系统有：MinIO，HDFS，Ceph，Lustre，GlusterFS，GridFS、ChubaoFS、Ozone、PolarFS；

轻量级文件系统有：MinIO，MooseFS，FastDFS；

简单易用，用户数量活跃的文件系统有：MinIO，MooseFS，MogileFS，FastDFS，GlusterFS；

支持FUSE挂载的文件系统有：MinIO，HDFS，Ceph，Lustre，MooseFS，GlusterFS。

GFS：不开源，学习成本高，且相关特性资料不全。暂时排除；

Ceph：目前不够成熟稳定。系统稳定性有待考究。很少有使用在生产环境的案例。暂时排除；

Lustre：对内核依赖程度过重，且不易安装使用。暂时排除；

TFS：安装复杂，且官方文档少，不利于以后的学习使用。适合小于1M的文件。暂时先排除；

HDFS：存在单点故障。交互式应用，低延迟很难知足。设计中没有考虑修改写、截断写、稀疏写等复杂的posix语义，目的并不是通用的文件系统，一般作为hadoop ecosystem的存储引擎。不支持多用户并发写相同文件。暂时排除；

MooseF：不支持跨集群数据同步，主从复制有性能瓶颈，从可扩展，主不易扩展，社区不活跃。暂时排除；

MogileFS：Perl语言编写，维护性差。节点之间Http通信，性能不足。易用性差。暂时排除；

FastDFS：当一个storage中的某一目录挂载的磁盘损坏的话，不能进行自动恢复，需要手动恢复比较麻烦。不支持FUSE、POSIX。不支持断点续传。对跨公网的文件同步，存在较大延迟，需要应用做相应的容错策略。同步机制不支持文件正确性校验，降低了系统的可用性。暂时排除；

GlusterFS：通用性越强，其跨越的层次就越多，影响其IO处理效率。频繁读写下，会产生垃圾文件，占用磁盘空间。暂时排除；

GridFS：性能较低，不如直接访问文件系统快。无法修改文档。如果要修改GridFS里面的文档，只能是先删除再添加。暂时排除；

JuiceFS：元数据存储依赖Redis，数据安全是一个问题。严重依赖云厂商的存储可靠性。暂时排除；  

ChubaoFS：Posix支持不全，rename还有问题，常用的文件锁需要支持。目前CFS的元数据都缓存在内存中，而CFS的inode由于包含了大量layout信息。元数据比较大，会占大量的内存。这也可以通过增加元数据服务器的内存和节点数量来缓解。没有数据迁移。新加节点会产生负责均衡。这对于大多数文件系统写少读多的情况也没太大问题。社区活跃度不够，产品比较新，稳定性需要加强。暂时排除；

Ozone：不支持 Append、truncate 的操作。另外一个就是 Ozone 目前还没有像文件夹的这样的一个 metadata，因此他就没办法去获得文件夹的 owner、modificationTime 等信息。还缺少一个 container balancer 这样的功能，用它来均衡存储，使集群的存储能分布均匀。底层写数据是基于 ratis，而目前 ratis 写也只支持一副本和三副本，腾讯正在向开源社区去贡献都基于的 Strorage cluster 框架的任意副本的支持。目前还缺少 DataNode 磁盘预留功能。暂时排除；

PolarFS：依赖硬件RDMA， PCIe SSD。不支持标准的文件接口。暂时排除；

MinIO：由于MinIO是一个基于S3协议的对象存储系统，它在存储大量小文件方面的表现可能不如FastDFS。由于MinIO的高可用性和可扩展性，它可能需要更多的配置和管理，需要更多的学习和技术支持。

经初步筛选剩下的文件系统有：MinIO。

MinIO在技术架构上注重创新，借鉴了分布式文件系统的设计思想，将客户端请求分散到各个节点上进行处理，大大提升了系统的并发性和容错性。与传统的集中式存储系统相比，MinIO以其分布式、去中心化的特点，极大地提高了数据的可用性和可靠性，确保了数据的安全性。

其次，MinIO在性能优化上取得了突破性的创新成果。相比于传统存储系统，MinIO采用了多线程的处理方式，充分利用多核处理器的优势，大幅提升了数据的读写速度。此外，MinIO还引入了分层存储技术，根据数据的热度将其存储在不同层级的存储介质上，从而进一步提高数据的访问速度。这些性能优化的创新，使得MinIO成为了云存储领域的性能之王。

再次，MinIO在用户体验上也有着独到的创新之处。作为一个开源项目，MinIO提供了丰富而易用的API接口，方便开发者进行二次开发和定制化。此外，MinIO还支持与主流云平台的无缝集成，可以与各种应用和工具进行无缝对接，大大提升了用户的便捷性和灵活性。这种用户体验的创新，使得MinIO在开源社区中获得了广泛的认可和支持。

最后，MinIO在可扩展性上也展现出了强大的创新力量。通过采用“水平扩展”技术，MinIO可以轻松地扩展存储容量和计算能力，从而适应不断增长的数据需求。无论是个人用户还是大型企业，都可以根据自身需求进行灵活的部署和扩展，实现对存储资源的有效管理和利用。这种可扩展性的创新，使得MinIO成为了云存储领域的翘楚。