这两天 DeepSeek 开源 3FS 并行文件系统的消息，犹如向 AI 基础设施领域投下一枚深水炸弹。3FS 每秒能搬运 6.6TB 数据，相当于 1 秒钟传输完 700 部 4K 高清电影。还能自动调资源，国产芯片用了它，跟国际大牌的差距直接缩到 15%。
这并非简单的技术迭代 —— 当 Llama3 70B 模型单次训练需吞掉 15PB 数据（相当于连续播放 250 万小时 4K 视频）时，全球 AI 实验室突然意识到：决定大模型训练效率的不仅是 GPU 算力，存储系统正成为影响进度的一大瓶颈。
当 AI 算力狂飙时，存储正在成为隐形战场
2024 年，某头部 AI 公司曾因存储带宽不足，导致 2000 张 A100 显卡的算力利用率长期低于 40%，单日经济损失超百万美元。这暴露了 AI 时代的 "木桶效应"—— 当 GPU 计算速度进入微秒级时，一次突发的存储抖动就可能导致整个训练任务崩溃，让数周的计算成果瞬间蒸发。这或许也是 DeepSeek 自研存储的原因。
数据显示，存储优化可直接将 175B 参数模型的训练周期压缩 30%，对应百万美元级的成本被填平。而在推理端，当 10% 的异常请求遭遇存储延迟波动时，P99 响应时间会瞬间突破 SLA 红线，这正是某自动驾驶公司在线服务突发降级的根本诱因。
DeepSeek 之所以选择自研 3FS 的本质，正是发现了存储架构在 AI 应用中的重要性。《金融行业先进 AI 存力报告》》报告中提到，在同样的 GPU 算力规模下，存储性能的高低可能造成模型训练周期 3 倍的差异。在算力军备竞赛的背后，一场关于存储性能密度的暗战悄然升级，自研存储显得尤为重要。
5 家头部厂商角逐 AI 存储，国产能否拔得头筹
相比于传统 AI 的需求，大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。
为了提升大模型训练速度，需要对大规模数据集进行快速加载，且一般采用数百甚至上万张 GPU 构成计算集群进行高效的并行计算，需要高并发输入 / 输出（I/O）处理，而训练数据集呈现海量小文件的特点，文件量在几亿到几十亿量级，对应的带宽需求可能每秒要达到上 TB，这就要求存储系统具备强大的数据管理能力，业界能达到该能力的仅寥寥几家。
小编搜集了国内外优秀的并行存储产品，对具体能力进行对比
IBM 作为老牌存储品牌，其产品从 HPC 场景成功向 AI 场景演进。在全球 AI 场景得到广泛应用的 DDN，多个读、写带宽等关键性能指标上表现突出，但 DDN 由于技术封闭性、专有化硬件等原因，导致用户建设成本过高。
国产厂商 DeepSeek 3FS 虽然是开源的新产品，但相对老牌存储也有不错的表现，在读带宽能力上表现优异，单集群 6.6TB/s，平均单节点 36.7GB/s 的读带宽。
我们还惊喜发现，另一家国产厂商京东云云海，在这个专业领域同样表现出色，以单节点 95GB/s 的读带宽、60GB/s 的写带宽，进一步拉低了国产存储与国际老牌厂商的差距。相较于 DeepSeek 的 3FS，京东云云海在提供高性能的同时适用性更广，可以同时满足 DeepSeek、ChatGPT、LLaMA 等 20 余种主流大模型的存力需求。
综上来看，随着大模型快速向纵深场景演进，对存储的要求也越来越高，以 DeepSeek、京东云云海等国产存储，显示出在处理大规模数据集时的优越性能，未来国产存储能否拔得头筹，让我们拭目以待。
本文链接：http://www.28at.com/showinfo-26-135149-0.html开源高性能文件系统 3FS，DeepSeek 为何自研存储？
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
