标签：副本

2026-02-15andy阅读(27)评论(0)

作为架构师，支撑百万级的并发长文本（如大模型推理）请求，同时保证低延时，是一个极具挑战性的任务。长文本推理的挑战在于：推理时间长（Token生成速度慢），且显存消耗大（KV Cache占用）。纯粹的增加服务器并不能解决根本问题，我们需要一套...

2026-02-12andy阅读(41)评论(0)

在传统的 Kubernetes 部署中，即使应用长时间处于闲置状态，也会保持至少一个或多个 Pod 运行，这导致了计算资源的浪费。Serverless 架构的核心优势之一就是能够按需启动和关闭应用，实现“零副本”待机。Knative，作为构...

2026-02-07andy阅读(42)评论(0)

Kubernetes 的 Horizontal Pod Autoscaler (HPA) 是处理突发流量和资源波动的关键机制。HPA 能够根据观测到的 CPU 利用率、内存使用量或自定义指标，自动调整 Deployment 或 Replic...

2026-01-29andy阅读(72)评论(0)

在深度学习模型训练和推理过程中，尤其是在使用GPU加速时，张量（Tensor）的内存管理是影响性能的关键因素。PyTorch张量的操作大致分为两类：返回“视图”（View）和返回“副本”（Copy/Clone）。不理解这两者的区别，可能导致...