详解 MUSA 运行时的显存超发机制:如何在显存有限的情况下通过 Swap 策略跑通大模型
如何利用 MUSA 运行时的显存超发机制解决大模型推理中的显存不足问题 在国产 GPU 适配的过程中,显存不足(OOM, Out of Memory)是运行大规模语言模型(LLM)时最常见的痛点。摩尔线程(Moore Threads)的 M...
如何利用 MUSA 运行时的显存超发机制解决大模型推理中的显存不足问题 在国产 GPU 适配的过程中,显存不足(OOM, Out of Memory)是运行大规模语言模型(LLM)时最常见的痛点。摩尔线程(Moore Threads)的 M...
如何通过 MUSA 集群进行大模型分布式训练:详解多卡互联与带宽优化 随着国产算力的崛起,摩尔线程(Moore Threads)的 MUSA 架构已成为大模型训练的重要选择。在多卡集群环境下,如何充分利用 MT-Link 互联技术并优化通信...
引言 随着国产 GPU 算力的快速发展,摩尔线程推出的 MUSA (Moore Threads Unified System Architecture) 架构因其对 CUDA 生态的高度兼容性,成为 AI 开发者实现国产化替代的首选路径之一...