汤不热吧
Google ScaNN 向量检索引擎深度解析：各向异性量化原理与高性能 ANN 搜索实战指南
在向量搜索领域，Faiss、Milvus、Qdrant 等工具早已广为人知，但 Google 开源的 ScaNN（Scalable Nearest Neighbors）却常常被低估。ScaNN 凭借独创的各向异性量化（Anisotropic...
人工智能和大数据
第7页
PyTorch FSDP（Fully Sharded Data Parallel）源码级深度解析：从 ZeRO-3 实现原理到生产环境调优实战
一、引言：当模型参数放不进单卡显存时 随着大语言模型规模的不断膨胀，从 BERT-base 的 1.1 亿参数到 Llama 3 的 4050 亿参数，单张 GPU 的显存早已无法承载完整的模型训练。即便是拥有 80GB HBM3 显存的 ...
DPO（Direct Preference Optimization）微调深度解析：从数学原理到PyTorch实现与生产部署
一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...
从传统RAG到Agentic RAG：智能代理检索增强生成系统架构设计与生产部署实战
从传统RAG到Agentic RAG：智能代理检索增强生成系统架构设计与生产部署实战 2024年以来，检索增强生成（Retrieval-Augmented Generation, RAG）技术经历了从朴素架构到智能代理化的重要演进。传统的&...
Spark 自适应查询执行 AQE 原理与生产实战：动态优化提升 Spark SQL 性能
引言：为什么需要自适应查询执行？ 在 Apache Spark 的早期版本中，SQL 查询的性能高度依赖于开发人员对数据的了解程度和手动调优经验。一个常见的场景是：开发者在开发环境设定了一个合理的 shuffle 分区数（如 200），但到...
机器学习正则化完全指南：L1、L2、Dropout、Early Stopping与Elastic Net五大技术详解
引言：为什么机器学习模型需要正则化？ 在机器学习实践中，我们经常会遇到这样的困境：模型在训练集上表现完美，准确率接近100%，但一旦面对全新的测试数据，性能就急剧下降。这种现象被称为过拟合（Overfitting），是机器学习中最常见也最棘...
昇腾显存管理黑盒详解：为什么在 NPU 上频繁创建张量会引发严重的内存碎片
如何解决昇腾 NPU 上频繁创建张量导致的内存碎片问题 在将模型从 CUDA 迁移到昇腾 NPU（Ascend）时，很多开发者会遇到一个诡异现象：通过 nvidia-smi 类似的工具观察，显存（HBM）占用并没满，但程序却频繁报出 Out...
谈谈你对 Megatron-LM 架构的理解，它在 3D 并行中是如何分配角色的？
Megatron-LM是由NVIDIA开发的一套用于训练超大规模语言模型的框架。随着模型参数量突破万亿级别，任何单一的并行技术都难以高效地在有限的硬件资源上完成训练。Megatron-LM通过巧妙地结合三种主要的并行策略——张量并行（Ten...
统一内存架构（UMA）：Apple M3 芯片的统一内存对大模型端侧推理的启示
随着大模型的体积不断增长，如何在资源受限的端侧设备上高效运行这些模型成为了关键挑战。Apple M系列芯片，特别是最新的M3系列，通过其独特的统一内存架构（Unified Memory Architecture, UMA），为端侧大模型推理...
NumPy广播机制与高级索引实战：从入门到性能优化
NumPy广播机制与高级索引实战：从入门到性能优化 在Python科学计算领域，NumPy是无可争议的基础库。无论是Pandas、SciPy、Scikit-learn还是TensorFlow/PyTorch，底层都依赖NumPy的数组计算能...