如何利用 Kubernetes 的 GPU Share 机制让多个小模型共用一块 80G 显存而不互相干扰?
在处理大规模深度学习部署时,经常遇到这样的问题:一块拥有 80GB 显存的高端 GPU(如 NVIDIA A100/H100)运行着许多只需要 5GB 或 10GB 显存的小模型。传统的 GPU 调度机制要么独占整块 GPU,造成资源浪费,...
在处理大规模深度学习部署时,经常遇到这样的问题:一块拥有 80GB 显存的高端 GPU(如 NVIDIA A100/H100)运行着许多只需要 5GB 或 10GB 显存的小模型。传统的 GPU 调度机制要么独占整块 GPU,造成资源浪费,...