标签：存储

2025-11-16andy阅读(6)评论(0)

在现代AI训练工作流中，数据通常存储在对象存储服务（如AWS S3、阿里云OSS）中。然而，由于模型规模和数据集大小的爆炸式增长，存储I/O往往成为训练过程中的首要瓶颈，尤其是在涉及数百万个小文件（例如图像、文本片段）的情况下。对象存储的高...

2025-11-16andy阅读(7)评论(0)

在AI模型部署和基础设施管理中，高可用性（HA）存储至关重要。这不仅包括存储模型二进制文件，更重要的是存储关键的元数据，如模型版本控制、A/B测试配置、推理请求日志以及分布式训练的检查点（Checkpoints）。如果存储层发生故障，整个服...

2025-11-15andy阅读(11)评论(0)

在现代深度学习项目中，数据集和模型检查点往往达到数百GB甚至TB级。传统的Git系统在处理这些大型文件时会变得极其缓慢甚至崩溃。虽然Git LFS（Large File Storage）提供了一个解决方案，但它在处理复杂的ML实验、目录版本...

2025-11-13andy阅读(23)评论(0)

在现代AI训练中，数据访问速度往往成为GPU利用率的瓶颈，尤其是在处理TB甚至PB级数据集时。传统的HDD存储或低速网络存储无法满足大规模模型（如LLMs或高分辨率CV模型）对高吞吐量和低延迟I/O的需求。基于NVMe All-Flash阵...