项目地址：

• GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
• GitHub - deepseek-ai/smallpond: A lightweight data processing framework built on DuckDB and 3FS.

开源日历：2025-02-24起 每日9AM(北京时间)更新，持续五天 (5/5)！

​

​

引言

在AI技术迅猛发展的浪潮中，DeepSeek以「开源周」形式连续五天发布五大核心基础设施项目，引发行业震动。最终日压轴登场的 Fire-Flyer File System（3FS） 和 smallpond 数据处理框架，更是将存储与计算性能推向新高度。与此同时，OpenAI仓促推出GPT-4.5却因天价API引发争议。本文将全面解析这场技术盛宴的核心突破。

---

一、颠覆AI训练的分布式存储系统 - 3FS

核心架构解析

​

​

3FS（Fire-Flyer File System） 是专为AI训练设计的分布式文件系统，其创新架构包含三大核心：

1. 解耦式存储资源池
   整合上千块NVMe SSD（固态硬盘）与RDMA（远程直接内存访问）网络，形成全局存储资源池。计算节点通过高速网络直接访问数据，突破本地存储限制。
2. CRAQ强一致性协议
   采用链式复制查询分配技术（Chain Replication with Apportioned Queries），确保跨节点数据访问一致性，同时通过读写分离优化性能。
3. 无状态元数据服务
   基于FoundationDB事务型KV存储构建元数据层，实现毫秒级文件定位，支持10万级QPS（每秒查询量）。

性能实测数据

测试场景	配置详情	性能表现
峰值吞吐测试	180存储节点×16块14TB SSD，500+计算节点通过200Gbps RDMA访问	6.6 TiB/s读吞吐量
GraySort排序测试	25存储节点处理110.5TiB数据	30分钟完成，3.66TiB/min
LLM推理加速	KVCache（键值缓存）存储于3FS替代GPU内存	峰值40GiB/s读取速度

四大应用场景突破

1. 数据预处理流水线
   支持PB级数据集的分层目录管理，加速特征工程处理。
2. 训练数据实时加载
   允许Dataloader跨节点随机访问，无需预排序或缓存。
3. 分布式检查点保存
   千卡训练任务可30秒内完成模型状态保存。
4. 推理KVCache外置
   将Transformer的键值对缓存移至3FS，释放30% GPU显存。

---

二、轻量级大数据处理利器 - smallpond

技术架构亮点

​

​

基于 DuckDB列式数据库 与3FS构建的轻量框架，实现三大创新：

1. 无状态计算范式
   摒弃Hadoop/Spark的常驻服务模式，通过Python脚本直接调度计算资源。
2. 智能数据分片
   自动将PB级数据集划分为8192个分区，结合3FS实现并行处理。
3. 混合执行引擎
   本地小数据集使用DuckDB单机模式，大规模任务自动切换分布式计算。

实战代码示例

import smallpond
sp = smallpond.init() # 读取3FS中的Parquet数据集
df = sp.read_parquet("3fs://dataset/images-2024")# 分布式SQL处理
df = sp.partial_sql("""SELECT category, AVG(file_size) AS avg_size FROM {0} WHERE resolution > 1080GROUP BY category
""", df)# 结果写入并转换为Pandas
df.write_parquet("3fs://results/image_stats")
print(df.to_pandas().describe())

性能对比测试

框架	110TB排序耗时	节点数量	硬件成本
Hadoop	4.2小时	200节点	$18,000
Spark	2.1小时	150节点	$15,000
smallpond	30分钟	75节点	$7,200

---

三、OpenAI GPT-4.5：高情商背后的天价成本

核心升级点

​

​

尽管宣称在以下方面取得突破，但定价引发开发者强烈反弹：

1. 情感理解增强
   通过情绪识别模型（Sentiment-aware RLHF）优化对话共情能力
2. 推理精度提升
   数学问题准确率从GPT-4的82.3%提升至89.1%
3. 长上下文优化
   支持128K token上下文记忆，遗忘率降低37%

价格对比表

模型	输入价格(美元/百万token)	输出价格	对比DeepSeek v3
GPT-4o	5.0	15.0	5-10倍
GPT-4.5	75.0	150.0	150-280倍
DeepSeek v3	0.27	1.0	基准

---

四、开源周全景回顾

DeepSeek开源周技术矩阵：

发布日期	项目名称	关键技术点	性能提升
Day1	FlashMLA	动态序列长度优化	推理速度提升3.2倍
Day2	DeepEP	专家并行通信库	MoE训练效率提升40%
Day3	DeepGEMM	FP8混合精度计算	矩阵运算功耗降低65%
Day4	DualPipe/EPLB	双向流水线并行+负载均衡	千卡训练稳定性提升90%
Day5	3FS+smallpond	分布式存储+轻量计算框架	数据吞吐提升10倍

---

五、行业影响与未来展望

DeepSeek的开源策略正在重塑AI基础设施生态：

1. 技术民主化加速
   企业可基于开源组件构建完整训练体系，无需依赖AWS/GCP等云厂商专属方案。
2. 硬件利用率飞跃
   3FS使单GPU卡日均训练任务从3次提升至8次，显著降低算力成本。
3. 开源模型新机遇
   开发者社区已涌现基于3FS的类Sora视频生成项目VidSeek。

行业分析师预测，Google、Meta等巨头或将在6个月内推出对标方案，而xAI等初创公司可能直接基于DeepSeek生态进行二次开发。

---

参考引用

1. DeepSeek开源最后一天
2. 最后一天！DeepSeek开源3FS系统
3. GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
4. GitHub - deepseek-ai/smallpond: A lightweight data processing framework built on DuckDB and 3FS.

专业术语解释

• Fire - Flyer File System（3FS）
  专为AI训练设计的分布式文件系统，通过解耦式存储资源池整合NVMe SSD与RDMA网络形成全局存储资源池，利用CRAQ强一致性协议确保数据访问一致性并优化性能，借助无状态元数据服务实现毫秒级文件定位和高QPS。类似于为AI训练打造了一个超级仓库，能快速准确地提供数据。
• NVMe SSD（固态硬盘）
  一种高速存储设备，在3FS中作为存储资源被整合到全局存储资源池，为AI训练提供快速的数据存储和读取能力。如同仓库里快速存取货物的货架。
• RDMA（远程直接内存访问）
  一种网络技术，用于3FS中计算节点与存储资源池之间的高速数据访问，突破本地存储限制。类似一条高速通道，让数据快速在不同地方传输。
• CRAQ强一致性协议（Chain Replication with Apportioned Queries）
  采用链式复制查询分配技术，保证3FS跨节点数据访问的一致性，并通过读写分离优化性能。就像一个严格的规则制定者，确保数据在不同节点间的访问都准确无误且高效。
• 无状态元数据服务
  基于FoundationDB事务型KV存储构建的元数据层，在3FS中实现毫秒级文件定位，支持高QPS。好比一个智能导航系统，能快速找到文件在仓库中的位置。
• QPS（每秒查询量）
  衡量系统处理能力的指标，3FS的无状态元数据服务可支持10万级QPS，代表其每秒能处理大量的文件查询请求。类似一个服务员每秒能接待多少顾客的询问。
• GraySort排序测试
  一种用于测试系统数据处理能力的测试场景，在3FS的性能测试中，25个存储节点能在30分钟内处理110.5TiB数据。就像对仓库货物整理能力的一次考验。
• LLM推理加速
  通过将KVCache存储于3FS替代GPU内存，提高大语言模型（LLM）推理速度，在3FS中能达到峰值40GiB/s的读取速度。如同给推理过程找到了一条捷径。
• KVCache（键值缓存）
  在LLM推理中，将Transformer的键值对缓存移至3FS可释放30% GPU显存。类似于把一些临时数据存放到外部仓库，腾出空间给更重要的工作。
• smallpond
  基于DuckDB列式数据库与3FS构建的轻量级大数据处理框架，采用无状态计算范式、智能数据分片和混合执行引擎等创新技术。像一个小巧灵活的工具，能高效处理大数据。
• DuckDB列式数据库
  smallpond框架的基础之一，提供单机数据处理能力，在smallpond中用于本地小数据集处理或作为大规模任务分布式计算的基础组件。类似一个小型加工厂，处理小规模的数据。
• 无状态计算范式
  smallpond摒弃Hadoop/Spark的常驻服务模式，通过Python脚本直接调度计算资源。就像不需要长期驻扎的团队，有任务时直接调用资源完成工作。
• 智能数据分片
  smallpond自动将PB级数据集划分为8192个分区，结合3FS实现并行处理，提高数据处理效率。类似于把一大块工作分成许多小块，同时进行处理。
• 混合执行引擎
  smallpond本地小数据集使用DuckDB单机模式，大规模任务自动切换分布式计算。如同一个智能的工人，遇到小任务自己做，大任务就叫上其他人一起做。
• Sentiment - aware RLHF（情绪识别模型）
  OpenAI用于优化GPT - 4.5对话共情能力的技术，通过该模型增强情感理解。就像给模型安装了一个“情感探测器”，让它更懂人类情感。

DeepSeek开源周不仅展示了中国AI公司的技术实力，更重要的是推动行业进入「开放创新」新阶段。当6.6TiB/s的存储吞吐遇上社区智慧，或许下一次AI革命的火花就诞生于某个开发者的GitHub仓库。