标签：大模型

2026-08-03andy阅读(2)

在大模型推理领域，速度一直是开发者最关心的指标之一。无论是构建聊天应用、RAG 系统还是自动化流水线，推理延迟直接影响用户体验和系统效率。SambaNova Cloud 作为一家提供免费 AI 推理服务的平台，凭借其自研的 SN40L 芯片...

2026-07-29andy阅读(36)

2026年，开源大语言模型的质量已经追平甚至超越了许多闭源方案。Llama 4、Qwen3、DeepSeek-V3、Mistral Large 等模型在各项基准测试中表现优异，而它们的权重完全公开，企业可以在自有基础设施上部署，实现数据主权...

2026-07-19andy阅读(63)

引言：RAG的承诺与现实 2024年至2026年间，检索增强生成（Retrieval-Augmented Generation, RAG）从一个学术概念迅速演变为大模型落地最主流的工程范式。几乎每一家正在构建AI应用的团队，都在某个阶段尝试...

2026-07-06andy阅读(95)

引言：大模型训练的内存困境 随着GPT-4、Llama 3、Qwen等大语言模型（LLM）的参数规模突破千亿甚至万亿级别，单张GPU的显存早已无法容纳完整的模型训练。以Llama 3 70B为例，仅模型权重（FP16）就需要约140GB显存...

2026-06-23andy阅读(191)

什么是RAG（检索增强生成）？ RAG（Retrieval-Augmented Generation，检索增强生成）是2023年以来大语言模型应用中最重要的一项技术架构。它通过将外部知识检索与语言模型生成能力相结合，有效解决了大模型R...