流水线并行的“气泡”怎么消?带你拆解 1F1B 调度算法的精妙之处
导语:为什么流水线并行会产生“气泡”? 在训练超大规模深度学习模型时(如GPT系列),单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略,其中,流水线并行(Pipeline Parallelism, PP)是一种常用的方法,它...
导语:为什么流水线并行会产生“气泡”? 在训练超大规模深度学习模型时(如GPT系列),单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略,其中,流水线并行(Pipeline Parallelism, PP)是一种常用的方法,它...
Python 作为一种支持多重继承的面向对象语言,必须有一个清晰的规则来确定当子类调用一个方法时,应该在哪个父类中查找该方法。这个规则就是方法解析顺序(Method Resolution Order, MRO)。 在 Python 2.3 ...
Faiss 乘积量化 (PQ) 算法详解:从向量压缩原理到实战应用 在大规模向量搜索场景中,内存和带宽往往成为性能瓶颈。Faiss 提供的乘积量化(Product Quantization, PQ)算法是解决这一问题的核心技术之一。PQ 算...
随着全球特别是中国对人工智能算法监管的日益严格(如《互联网信息服务算法推荐管理规定》),AI模型的部署已不仅仅是技术挑战,更包含了重要的合规挑战。AI算法备案(特别是针对面向公众提供服务的算法)要求技术提供方提交详细的技术文档和安全评估报告...
深入理解 Selective Search 算法在AI模型部署中的应用 Selective Search (选择性搜索) 算法是计算机视觉领域,尤其是在深度学习浪潮兴起之前,目标检测管线中的核心组件。它的主要任务是高效地从图像中生成一组高质...