是否支持将热数据驻留显存、冷数据存放在 SSD 的分级存储架构?
在训练或部署超大规模AI模型(如千亿参数LLM)时,GPU显存(VRAM)是最大的瓶颈。尽管单卡显存容量不断提升,但模型增长速度更快。解决这一问题的核心技术思路是实现“分级存储”(Memory Tiering),将高频访问的“热数据”驻留在...
在训练或部署超大规模AI模型(如千亿参数LLM)时,GPU显存(VRAM)是最大的瓶颈。尽管单卡显存容量不断提升,但模型增长速度更快。解决这一问题的核心技术思路是实现“分级存储”(Memory Tiering),将高频访问的“热数据”驻留在...