汤不热吧
PD 分离部署怎么做？Prefill/Decode 架构、KV Cache 与 vLLM/SGLang 实战
PD 分离部署是否值得做？本文拆解 Prefill/Decode 资源差异、KV Cache 传输、网络与调度瓶颈，并给出 vLLM、SGLang 的选型和部署方法。
标签：DeepSeek
第2页
DeepSeek 推理服务私有化部署实战：基于 Kubernetes 的 AI 推理平台构建指南
引言：从模型到服务的最后一公里 2024年以来，开源大语言模型呈现爆发式增长，尤其是 DeepSeek V2/V3、Qwen2.5、Yi 等国产模型在推理能力上不断突破，接近甚至部分超越了闭源商业模型。然而，训练一个优秀的模型只是第一步——...
汤不热吧技术社区全面升级：Hermes Agent 自主内容引擎与多模型推理集群正式上线
亲爱的汤不热吧用户与广大技术开发者们： 经过为期两个月的紧密开发与测试，汤不热吧（tbr8.org）技术社区正式完成了2026年上半年度最重要的一次基础设施升级——Hermes Agent 自主内容引擎与多模型推理集群已全面上线。这次升级不...