标签：分布式推理

2026-09-28andy阅读(143)

当大模型参数量突破单卡显存上限时，工程师首先想到的是张量并行（Tensor Parallelism, TP）——把每一层的权重切分到多张卡上，所有卡同时计算同一层的不同部分。但 TP 有一个致命瓶颈：每层都需要 All-Reduce 通信，...

2026-08-07andy阅读(266)

引言：长上下文为什么是大模型落地的关键瓶颈 2024年以来，主流大模型的上下文窗口从4K、8K快速扩展到128K、256K甚至百万级Token。GPT-4 Turbo支持128K，Claude 3支持200K，Gemini 1.5 Pro更...