标签：长上下文

2026-08-07andy阅读(36)

引言：长上下文为什么是大模型落地的关键瓶颈 2024年以来，主流大模型的上下文窗口从4K、8K快速扩展到128K、256K甚至百万级Token。GPT-4 Turbo支持128K，Claude 3支持200K，Gemini 1.5 Pro更...

2026-07-27andy阅读(79)

在大语言模型的演进历程中，位置编码（Positional Encoding）始终是一个核心而微妙的问题。Transformer 架构本身是排列等变的，它无法区分“猫追狗”和“狗追猫”——必须通过位置编码注入顺序信息。自 2021 年苏剑林等...