AI 训练用网络文件存储（NFS）怎么选？DigitalOcean NFS vs. AWS EFS vs. 谷歌云GCP vs. 微软云Azure

当团队讨论如何构建 AI 产品时，话题往往都会集中在 GPU 上：是用 NVIDIA H100 还是 H200？训练集群需要配多少张卡？继续用 Ampere 架构的 A100 能不能顶住，还是必须升级到 H200、H100？

但在开发者不断调优 GPU 集群、反复权衡算力配置的同时，有一个常常被忽视的瓶颈，足以让再强大的加速器也“闲着没事干”——那就是存储。

传统的块存储或对象存储，并不是为并发 GPU 训练而设计的。它们擅长的是事务型或大批量 I/O，而不是跨多台服务器、由大量进程同时访问同一份数据的共享并行访问。AI 训练每小时要吞吐数 TB 数据，对存储提出了完全不同的要求：高吞吐、低延迟，以及支持几十个进程在不同服务器上同时读写同一文件。

好消息是，网络文件存储（简称：NFS）正在通过更新的协议和架构，逐步满足这些需求。接下来我们将带你快速了解当前主流的网络文件存储方案——从 DigitalOcean 到各大云厂商——在你下一次 AI 训练任务开始之前，值得重点考虑的选项。

本文关键要点：

• 网络文件存储让您在所有计算实例上同时获得共享文件系统访问，无需在节点之间复制数据或等待GPU在训练运行期间闲置。
• 网络文件存储的好处包括无需管理存储集群的简化管理、保持昂贵GPU实际工作的性能、透明的扩展成本以及每个人都在相同数据集上工作。
• 网络文件存储适用于AI/ML训练运行、需要持久存储的Kubernetes应用、团队协作处理相同文件以及无法等待数据传输的HPC工作负载。
• DigitalOcean NFS、AWS EFS、Google Cloud Filestore、Azure Files和IBM Cloud File Storage作为网络文件存储解决方案的区别。

什么是网络文件存储？

网络文件存储是一种完全托管、可扩展的解决方案，通过私有网络在多个计算实例上提供共享文件系统访问。可以将其视为所有计算资源可以同时访问的共享驱动器。大多数实现都是POSIX兼容的，并通过行业标准协议如NFS和SMB/CIFS提供高性能和低延迟。

并发访问是AI和ML工作负载的一个优势。使用网络文件存储，所有GPU节点可以同时访问相同的训练数据——无需先将文件复制到每台机器。

这样想：您有一个安装在单个位置的数据集，20个GPU节点都同时从中读取。没有这种并发访问，您需要将数据集单独复制到每个节点，或者让节点排队等待访问。无论哪种方式，您昂贵的GPU在数据被移动时都会闲置。网络文件存储消除了这个瓶颈。

什么是POSIX？

POSIX（可移植操作系统接口）是一套IEEE标准，定义了操作系统应该如何行为，最初是为了确保应用程序可以在不同的Unix变体上运行而无需重写。

当存储系统是POSIX兼容时，应用程序使用标准API与其交互，就像常规文件系统一样——您不会被锁定在专有接口中或需要学习新范式。这对AI/ML很重要，因为大多数训练框架和数据处理工具期望POSIX语义，没有它们就无法正常工作。

网络文件存储与网络附加存储

来自像DigitalOcean这样的云提供商的网络文件存储是完全托管的——供应商处理所有基础设施复杂性。您通过NFS获得高性能、POSIX兼容的共享文件访问，而无需担心底层系统。

网络附加存储（NAS）则不同。使用NAS，您需要自己管理一切。市场上一些解决方案部署为您自己管理的Linux VM。您仍然可以获得企业级性能和对包括NFS、CIFS/SMB和iSCSI在内的标准的支持，但您需要负责配置、更新和操作。权衡是控制与便利。

网络文件存储与块存储与对象存储

以下是网络文件存储与您可能考虑的其他主要存储选项的比较：

• 网络文件存储通过NFS或SMB协议提供共享的、分层的存储访问。它是POSIX兼容的，因此应用程序像与标准文件系统一样与其交互。多个计算实例可以挂载相同的文件共享并同时读写——这对于AI训练至关重要，当数十个GPU节点需要访问相同的训练数据集时。
• 块存储将原始的、未格式化的卷直接附加到单个实例。您需要格式化、分区并像本地磁盘一样使用它。它提供亚毫秒级延迟，这就是为什么它用于数据库存储和VM启动卷。限制？一次只能有一个实例挂载块卷。
• 对象存储通过API调用而不是文件系统协议处理非结构化数据。您使用HTTP请求存储和检索整个对象（文件）。它可以轻松扩展到PB级别，并且成本低于文件或块存储，适用于数据湖、备份和归档。但是，您不能像文件系统一样挂载它或对文件部分进行小编辑——您读取或写入整个对象，使其效率略低于其他选项。

每种存储类型根据您的工作负载需求服务于不同的目的。以下是它们的比较：

网络文件存储通常是需要跨多个节点并发访问的AI工作负载的正确选择。块存储适用于单实例场景，对象存储在训练完成后作为长期存储库。

网络文件存储的好处

除了解决技术要求外，网络文件存储改变了团队运营和预算基础设施的方式。以下是选择托管解决方案时您实际获得的好处：

• 简化的操作和管理。没有人想花一周时间修补文件系统软件或排除挂载问题。托管网络文件存储处理基础设施复杂性——配置、监控、升级——让您的团队专注于构建产品而不是管理存储集群。
• 为AI/ML优化的性能。高吞吐量和低延迟不仅仅是可有可无的规格——它们直接影响您的计算成本。当您的存储保持GPU被数据喂养而不是等待I/O时，您实际上从每小时成本2-8美元的硬件中获得工作。最小化闲置时间，最大化投资回报率。
• 成本效益和可预测的扩展。使用像DigitalOcean这样的提供商，您可以从50 GiB开始，根据需要扩展。没有大规模的前期承诺，也没有API请求或数据访问模式的意外费用。您配置容量，您为该容量付费——非常简单直接。
• 并发访问和数据共享。一个数据集，数十个节点同时访问。无需在实例之间复制文件，无需跨可用区同步，没有“等等，哪个版本是当前的？”网络文件存储让您的分布式应用程序从单一事实来源工作。

网络文件存储的用例

当您需要多个系统同时处理相同数据时，网络文件存储表现出色。以下是共享、并发访问变得必不可少的工作负载：

• AI和机器学习工作负载。训练一个大型语言模型意味着同时向数十个GPU提供TB级数据。在您的整个集群上挂载一个NFS共享，每个节点从相同的数据集拉取——无需将文件复制到本地存储，没有过时数据，没有GPU在等待下一批时闲置。
• 容器化和Kubernetes应用程序。Pod会重启。它们会被重新调度。它们会扩展和收缩。网络文件存储为您提供多个Pod可以同时挂载的持久卷，因此您在DOKS或GKE中的有状态工作负载实际上保持其状态。
• 协作工作流和媒体制作。尝试协调一个视频编辑项目，当每个人都在处理本地副本时。总有人在处理昨天的版本，传输需要很长时间，没有人确定哪个文件是事实来源。使用共享文件存储，整个团队编辑实时项目——没有版本混乱，没有等待上传。
• 高性能计算和数据分析。无论您是在数百个计算节点上运行基因组学分析还是金融风险建模，首先将数据集加载到本地磁盘是不可行的。网络文件存储直接为您的HPC集群提供数据，保持节点忙于实际计算。

5个适用于AI/ML的网络文件存储

了解网络文件存储是一回事——为工作负载选择正确的提供商是另一回事。大多数存储解决方案最初是为一般企业用例设计的，而不是AI/ML工作负载的独特需求，如海量数据集和高吞吐量训练作业。幸运的是，市场已经成熟，具有在定价模型、性能特征以及如何与每个云生态系统集成方面有显著差异的不同选项。

1、DigitalOcean网络文件存储（NFS）为可预测的 AI / ML 扩展而生

DigitalOcean的网络文件存储（NFS）是一个完全托管、POSIX兼容的解决方案，专为AI/ML训练、分析和其他需要并发访问和高吞吐量的分布式工作负载而设计。我们的服务支持NFSv4.1和NFSv4.2协议，并在您的虚拟私有云（VPC）内运行，以实现安全、私密的数据传输。您可以在多个GPU Droplets、CPU Droplets或DigitalOcean Kubernetes（DOKS）集群上挂载单个NFS共享，从而在同一VPC内的节点之间实现读写并发。

性能规格包括读取吞吐量高达1 GB/s，写入吞吐量高达650 MB/s，以及50K读取/30K写入的IOPS，足以满足现代GPU集群的训练数据需求。该服务包括快照支持（快照出现在隐藏的.snapshot目录中，用于时间点恢复，提供只读访问），因此您可以在不中断活动工作负载的情况下恢复数据。

DigitalOcean NFS关键特性：

• 从仅50 GiB开始，以10 GiB增量扩展到16 TiB，仅为您配置的容量付费，没有复杂的分层或隐藏费用
• 平坦、透明的定价，没有额外的操作或吞吐量费用
• 通过DigitalOcean API以编程方式配置、调整大小和创建共享快照，实现基础设施即代码工作流
• 存储在共享根目录隐藏的.snapshot目录中的快照提供时间点恢复，无需中断活动工作负载或需要单独的备份基础设施
• 与DOKS集群原生集成，用于持久卷声明，简化有状态应用程序部署
• DigitalOcean NFS提供可预测的多Gbps性能，无需按操作收费或复杂配置

DigitalOcean NFS定价：

• 50 GiB最小容量每月15美元起（0.30美元/GiB/月）。随着工作负载增长，以10 GiB增量扩展。快照将按快照创建时共享使用的存储量每月每GiB 0.06美元计费。同一VPC内无数据传输费用。GPU承诺客户享受定价折扣——联系卓普云AI Droplet获取详情。

2、AWS EFS（弹性文件系统）用于无服务器、PB级工作负载

Amazon Elastic File System（EFS）是一种无服务器、完全弹性的文件存储服务，无需提前规划或管理容量，就可以从 GB 级自动扩展到 PB 级。该服务基于 NFSv4 协议，并在同一个 AWS 区域内跨多个可用区运行，以提供高可用性和高持久性。

你可以将同一个 EFS 文件系统同时挂载到成千上万台 EC2 实例、各类容器环境（ECS、EKS、Fargate），甚至是 Lambda 函数上，让所有计算资源都基于同一份数据集并发访问、协同工作，非常适合需要共享数据的分布式计算场景。

AWS EFS关键特性：

• 弹性吞吐量模式提供随工作负载活动自动扩展的性能，或可选地为可预测的高利用率工作负载配置吞吐量
• 与AWS计算服务原生集成，包括EC2、ECS、EKS、Fargate、Lambda和SageMaker AI，便于跨基础设施共享文件
• 内置数据保护，具有用于灾难恢复的EFS复制和用于时间点恢复的EFS备份

AWS EFS定价：

• 美国东部（俄亥俄）标准存储从0.30美元/GB/月开始。您需要为使用的存储加上数据传输成本付费：读取0.03美元/GB，写入0.06美元/GB。不频繁访问存储成本为0.016美元/GB/月，归档存储成本为0.008美元/GB/月。

3、GCP Filestore用于高性能计算和分析

Google Cloud Filestore是一个完全托管的文件存储服务，专为需要共享文件系统访问的应用程序而设计。该服务使用NFSv4.1协议，并提供多个service层级以匹配工作负载需求，从更具成本效益的基本HDD存储到高性能区域配置。您可以在多个Compute Engine VM、GKE集群或其他计算资源上挂载单个Filestore实例，从而实现所有工作负载共享相同文件系统的并发访问。

性能从基本工作负载扩展到100 TB容量，吞吐量高达25 GB/s，IOPS高达920K，适用于高性能计算和数据分析等要求苛刻的应用程序。该服务包括即时备份和快照，恢复时间在10分钟或更短。

GCP Filestore关键特性：

• 基于应用程序需求自动扩展或缩减容量，具有自定义性能选项以独立于存储容量配置IOPS
• Filestore Enterprise通过跨多个区域复制数据提供99.99%的区域可用性SLA
• 通过托管CSI驱动程序与Google Kubernetes Engine原生集成，支持跨多个Pod共享持久卷访问的有状态和无状态应用程序
• 用于Google Cloud VMware Engine的VMware认证NFS数据存储，实现存储容量与vCPU的独立扩展，为VM工作负载调整计算和存储大小

GCP Filestore定价：

• 定价因服务层级、配置容量和区域而异。在爱荷华（us-central1）：基本HDD从0.16美元/GiB/月开始，基本SSD为0.30美元/GiB/月，区域为0.25美元/GiB/月，区域/企业为0.45美元/GiB/月。自定义性能模式为需要保证性能的工作负载添加每实例费用（20-40美元/月）和每IOPS费用（0.0145美元/IOPS/月）。备份存储成本为0.08美元/GiB/月。无论利用率如何，您都需要为配置的容量付费，按1秒增量计费。同一区域内无网络流量费用。

4、Azure Files用于Windows重型环境和混合云环境

Azure Files通过行业标准SMB协议、NFS协议和Azure Files REST API提供云中完全托管的文件共享。该服务支持在云和本地部署之间并发挂载，SMB文件共享可从Windows、Linux和macOS客户端访问，而NFS共享可从Linux客户端访问。您可以在多个虚拟机、应用程序和容器上同时挂载单个Azure文件共享，从而实现简单的文件系统共享，而无需担心应用程序兼容性。

SMB Azure文件共享可以使用Azure文件同步在Windows服务器上缓存，以实现高性能分布式缓存和靠近数据使用位置的快速访问。该服务与本地Active Directory域服务集成，用于基于身份的身份验证和访问控制，使其成为替换传统文件服务器或直接迁移应用程序到云而无需重新架构的理想选择。

Azure Files关键特性：

• Azure文件同步通过将SMB文件共享复制到本地或云中的Windows服务器提供分布式缓存，以优化数据使用位置附近的性能
• 用于有状态容器的持久卷，跨多个容器实例共享文件系统访问，无论它们运行在哪个节点上
• 内置弹性和高可用性，无本地停电或网络问题，加上通过PowerShell cmdlet和Azure CLI的脚本支持以实现自动化

Azure Files定价：

• Azure Files定价因性能层级、冗余选项和使用的容量而异。标准层级（基于HDD）从交易优化工作负载约0.06美元/GB/月开始，而高级层级（基于SSD）提供可预测的高性能，从约0.20美元/GB/月开始，具有配置容量。

5、IBM Cloud File Storage for custom IOPS

IBM Cloud File Storage 为运行在 IBM Cloud Virtual Private Cloud 基础设施上的应用程序，提供基于闪存、持久耐用的 NFS 文件存储，具有可定制的 IOPS 和可预测的计费模式。该服务提供安全、持久的 NFSv4.1 文件存储，其区域文件共享可同时挂载到多个 IBM Cloud Virtual Servers。您可以创建范围从 10 GB 到 32,000 GB 的文件共享，并配置从 100 到 96,000 的 IOPS 性能，所有这些都可量身定制以满足您的工作负载需求。其闪存支持的架构无需复杂的 RAID 系统配置，同时通过内置冗余和多个网络路径实现高可用性，提供企业级的弹性。

静态和传输中数据加密无需额外费用，您可以选择自带密钥或使用 IBM 的密钥管理服务来增强安全性。

IBM Cloud File Storage 主要特性：

• 采用闪存支持的存储架构，提供高达 1024 MB/s 的最大带宽，并采用分级 IOPS 定价，配置的性能越高，单价越低。
• 原生容器存储集成，提供可在 Kubernetes 运行时（包括 IBM Kubernetes Service 和 IBM Cloud 上的 Red Hat OpenShift）间访问的可扩展共享文件存储。
• 静态和传输中数据加密无需额外费用，可选择自带密钥或使用 IBM 的密钥管理服务。

IBM Cloud File Storage 定价：

定价基于配置的容量加上采用分级模型的 IOPS 性能。在法兰克福区域：数据存储成本为每 GB-小时 $0.000238（即每 GB/月 $0.17），IOPS 定价采用分级模式，前 5,000 IOPS 为每 IOP-小时 $0.000159，超过 40,000 IOPS 的部分低至每 IOP-小时 $0.000016。一个 1 TB、5,000 IOPS 的文件共享，每月存储费用约为 $125，加上 IOPS 费用约 $58。跨区域复制按区域间数据传输 $0.020/GB 收费。 注意：本文中的定价和特性信息基于截至 2025 年 11 月的公开文档，可能因地区和工作负载而异。如需获取最新定价和可用性信息，请参阅各提供商的官方文档。

网络文件存储常见问题解答

什么是网络文件存储？

网络文件存储是一种完全托管的服务，可通过私有网络在多个计算实例之间提供共享文件系统访问。您可以将其视为一个共享驱动器，您的所有服务器、容器或 GPU 节点都可以使用 NFS 等标准协议同时挂载和访问。

为什么 AI/ML 工作负载需要网络文件存储？

AI 训练运行每小时消耗数 TB 的数据，并且需要数十个 GPU 节点同时访问相同的数据集。网络文件存储可以从单一来源为所有加速器提供数据，而无需将文件复制到每个节点，从而减少了昂贵的 GPU 闲置时间。

我可以配置的最小网络文件存储容量是多少？

大多数提供商要求您从较大的容量承诺开始，但 DigitalOcean Network File Storage 允许您仅以每月 $15 的价格从 50 GiB 起步，并随着工作负载的增长以 10 GiB 为增量进行扩展。这意味着在测试或构建基础设施时，您无需为不需要的容量付费。

网络文件存储支持哪些协议？

大多数网络文件存储解决方案都支持 NFS，有些还支持 SMB/CIFS 以实现 Windows 兼容性。DigitalOcean 网络文件存储（NFS） 在您的 VPC 内同时支持 NFSv4.1 和 NFSv4.2 协议，确保安全、私密的数据传输。

如何在网络文件存储提供商之间做出选择？

首先从您的工作负载需求出发——吞吐量需求、IOPS、并发连接以及与现有基础设施的集成。如果您已经在 DigitalOcean 上运行 GPU Droplets 和 DOKS，那么 DigitalOcean 网络文件存储（NFS）可提供 1 GB/s 的读取吞吐量，具有原生 VPC 集成和透明的定价，起价为每月 $15。

写在最后

别再让存储瓶颈阻碍您的 AI 训练运行。DigitalOcean 网络文件存储（NFS） 为您的 GPU 集群提供所需的并发访问和吞吐量，定价透明，且无需管理自有基础设施的复杂性。无论您是运行首次微调实验，还是扩展到生产工作负载，我们都让一切变得简单直接。

使用DigitalOcean 网络文件存储（NFS）您将获得：

• 完全托管的 NFS 存储，可跨您的整个 GPU 和 CPU 集群挂载。
• 性能与现代加速器同步——1 GB/s 读取，650 MB/s 写入。
• 从小规模开始，50 GiB 每月 $15，随着数据集增长可扩展至 16 TiB。
• 与 DOKS 原生集成，用于 Kubernetes 持久卷。
• 时间点快照，可在不中断运行的情况下实现数据保护。 如需了解更多DigitalOcean 网络文件存储（NFS）服务，以及对 AI 业务的产品服务（如 GPU 服务器、无服务推理、模型一键部署等），可直接咨询DigitalOcean 中国区战略合作伙伴卓普云AI Droplet。

相关阅读：

• DigitalOcean NFS：比 AWS EFS 更便宜、更透明的企业级云存储
• 如何在Ubuntu系统上配置NFS挂载？（详细步骤指南）
• DigitalOcean GradientAI：从基础设施到应用，打造全栈式AI开发解决方案