汤不热吧
DeepSpeed ZeRO 优化技术详解：从原理到实战，掌握大模型分布式训练的核心
引言：大模型训练的内存困境 随着GPT-4、Llama 3、Qwen等大语言模型（LLM）的参数规模突破千亿甚至万亿级别，单张GPU的显存早已无法容纳完整的模型训练。以Llama 3 70B为例，仅模型权重（FP16）就需要约140GB显存...
标签：大模型
RAG检索增强生成从入门到实战教程
什么是RAG（检索增强生成）？ RAG（Retrieval-Augmented Generation，检索增强生成）是2023年以来大语言模型应用中最重要的一项技术架构。它通过将外部知识检索与语言模型生成能力相结合，有效解决了大模型R...