标签：kubernetes

2026-02-17andy阅读(39)评论(0)

在处理大规模深度学习部署时，经常遇到这样的问题：一块拥有 80GB 显存的高端 GPU（如 NVIDIA A100/H100）运行着许多只需要 5GB 或 10GB 显存的小模型。传统的 GPU 调度机制要么独占整块 GPU，造成资源浪费，...

2026-02-05andy阅读(68)评论(0)

在分布式 AI 训练任务中（例如 PyTorch Distributed 或 Horovod），一个任务通常包含多个相互依赖的 Pods（例如一个 Master 和 N 个 Worker）。这些 Pods 必须同时启动才能开始工作。如果 K...

2026-01-08andy阅读(171)评论(0)

作为AI基础设施的关键组成部分，模型部署环境（如Kubernetes集群）的安全性至关重要。一个常见的安全漏洞是权限过度授予，使得攻击者或意外操作者能够访问、修改甚至删除敏感的模型配置或生产Pod。基于角色的权限控制（RBAC）是解决这一问...

2025-12-27andy阅读(220)评论(0)

在使用Rancher RKE部署的Kubernetes集群中，AI/ML负载（如训练任务、推理服务）经常需要精确调度到特定的GPU节点上。我们通常使用nodeSelector或nodeAffinity来实现这一目标。然而，当这些负载被集中调...

2025-11-22andy阅读(195)评论(0)

引言：IaC驱动的MLOps基石 随着AI模型复杂度的提升，对基础设施的弹性和可复制性要求也越来越高。Kubeflow作为Kubernetes上领先的MLOps平台，提供了端到端的机器学习生命周期管理能力。然而，手动部署Kubeflow及其...

2025-11-11andy阅读(280)评论(0)

在现代AI基础设施中，除了标准的GPU，FPGA（现场可编程门阵列）和NPU（神经网络处理器）等异构计算设备扮演着越来越重要的角色。这些设备提供了更高的能效比和定制化的计算能力。然而，Kubernetes原生只支持基本的CPU和内存调度。要...