怎样选择并配置高性能存储（Lustre/Ceph）以消除训练I/O瓶颈？

1. AI训练中的I/O挑战与高性能存储需求

在大规模AI训练，特别是LLMs和大型视觉模型的训练场景中，数据加载速度往往成为限制GPU利用率的瓶颈。当数千个GPU同时从存储系统读取数百TB甚至PB级的数据时，传统的网络文件系统（如NFS）或云对象存储的高延迟和低并发吞吐能力会严重拖慢训练进度。

解决这一问题的核心在于部署并行文件系统（Parallel File System）。在AI基础设施领域，Lustre和Ceph是两种最主流的选择，但它们的设计哲学和适用场景存在显著差异。

2. 架构对比：Lustre vs. Ceph

关键洞察： 对于追求极致训练吞吐量（例如每秒数十GB甚至TB级）的大型AI集群，Lustre因其高度优化的并行I/O路径和低延迟，通常是首选。然而，Lustre的单MDS可能成为元数据操作的瓶颈。

3. 核心实操：Lustre文件系统的条带化配置（Striping）

Lustre的性能高度依赖于数据在多个OST（Object Storage Target）上的分布方式，即条带化（Striping）。如果不进行正确的条带化配置，即使拥有数百个OST，数据也可能集中在少数几个OST上，导致I/O瓶颈。

对于AI训练，数据加载通常涉及大文件的顺序或分块读取，因此我们必须使用宽条带化（Wide Striping）来最大化并行度。

3.1 检查默认配置

在挂载Lustre文件系统后，首先检查当前的条带化配置：

1
lfs getstripe /mnt/lustre/my_dataset

输出可能会显示默认配置（通常是

，这意味着数据只写入一个OST）。

3.2 针对AI训练的性能调优策略

高性能AI训练需要满足两个条件：

1. 大条带宽度（Count）： 使用尽可能多的OST来存储单个文件，确保大量客户端可以并行读取。我们建议将

   1	stripe_count

   设置为总OST数量的1/2到全部。

2. 合理条带大小（Size）： 确定客户端读取时的块大小。对于图像或视频数据集，以及超大模型权重，建议使用较大的条带大小（如1MB或4MB）。

假设我们有128个OST，我们希望使用64个OST进行条带化，条带块大小设置为4MB。

3.3 设置默认全局条带化策略

为了确保所有新写入到特定目录的数据都遵循高性能配置，我们可以在该目录上设置默认策略。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 进入数据集存储目录

cd /mnt/lustre/ai_data



# 移除旧的配置（如果存在）

lfs setstripe -r .



# 设置新的默认条带化策略：

# -c 64: 使用 64 个 OST

# -S 4m: 条带块大小为 4 MB (适用于大文件、顺序读写)

# -i -1: 从任意 OST 开始，Lustre自动负载均衡



lfs setstripe -c 64 -S 4m -i -1 .



# 验证设置

lfs getstripe .

重要提示： 这个设置只对该命令执行后新写入的文件有效。对于已存在的文件，您需要进行数据迁移（例如使用

或简单的

拷贝到新目录）来应用新的条带化策略。

3.4 针对特定数据集的条带化

如果你有一个特别大的模型检查点或特定的数据集文件，可以单独对其进行配置：

1
2
3
4
5
# 对 my_huge_checkpoint.bin 应用 128 个 OST 的全条带化

lfs setstripe -c 128 /mnt/lustre/checkpoints/my_huge_checkpoint.bin



# 开始写入模型

# (例如，PyTorch/TensorFlow 保存模型)

4. Ceph的调优考量

如果选择CephFS，重点在于平衡冗余、延迟和吞吐量。虽然Ceph的绝对吞吐量可能低于Lustre，但其高可用性和弹性是优势。

4.1 调整CephFS的Data Pool配置

CephFS的性能受底层RADOS集群的影响。确保用于文件系统数据的Pool配置了足够的OSD，并合理配置副本（

）或纠删码（EC）。

1
2
3
4
5
6
7
8
# 假设我们有一个名为 'ai_data_pool' 的数据池

# 调整 Pool 的 PG (Placement Group) 数量以适应集群规模

ceph osd pool set ai_data_pool pg_num 4096

ceph osd pool set ai_data_pool pgp_num 4096



# 调整副本数：例如，设置为 2 副本 (牺牲可用性换取性能) 

# 生产环境通常为 3 副本

ceph osd pool set ai_data_pool size 2

4.2 客户端缓存优化

对于读密集型工作负载，客户端缓存至关重要。确保CephFS客户端（如Kernel Client或FUSE）使用了积极的缓存策略：

1
2
3
4
5
6
7
8
# /etc/ceph/ceph.conf 配置示例 (客户端侧)

[client]

# 启用数据和元数据缓存

client_cache_size = 10737418240 # 10GB 缓存

client_ocache_size = 104857600 # 100MB object cache



# 挂载CephFS时启用内核缓存

mount -t ceph {mon_host}:6789:/ /mnt/ceph -o name=user,secretfile=/etc/ceph/user.secret,wsize=65536,rsize=65536

5. 结论与选择指南

如果您的主要目标是消除多GPU训练集群中的I/O等待，追求最高的数据吞吐量和最低延迟，那么选择Lustre并进行精细的条带化配置是最佳路径。

如果您的环境需要存储高度弹性、高可用性，同时服务于多种混合工作负载（例如，数据湖存储、模型训练、以及Web服务），那么CephFS是更灵活、更易于管理的解决方案，但需要更谨慎的Pool和OSD调优。