标签：sglang

2026-07-12andy阅读(97)

引言：大模型推理为何成为部署瓶颈 2024年以来，大语言模型（LLM）的能力持续攀升，从GPT-4、Claude 3到Llama 3、Qwen2，模型参数量动辄数百亿，推理成本居高不下。当企业从”调API体验”转向&...

2026-07-03andy阅读(75)

引言：推理成本正在经历一场”静默革命” 2024年初，调用GPT-4 API处理100万token的成本约为30美元。到了2026年中，这个数字已经跌到了不足3美元——降幅超过90%。这并不是某个单一技术突破的结果，...

2026-07-02andy阅读(80)

从单体到分体：为什么大模型推理正在走向 Prefill/Decode 分离部署？ 2024 年下半年以来，大模型推理架构迎来了一个新的趋势——PD 分离部署（Prefill/Decode Disaggregation）。简单来说，就是将传统...

2026-04-04andy阅读(269)评论(0)

零成本上手大模型推理：vLLM与SGLang高性能框架免费实战教程 作为一名自学AI的技术博主，我最近深入研究了大模型的后端推理优化。如果你发现自己的GPU显存利用率低，或者并发请求时响应太慢，那么这套关于 vLLM 和 SGLang 的免...