标签：融合

2026-03-18andy阅读(60)评论(0)

如何通过算子融合减少解量化开销：详解在移动端将 Dequant 与 MatMul 合并的技巧 在移动端部署深度学习模型时，为了追求极致的推理速度和更小的模型体积，INT8 量化几乎是标配。然而，很多开发者在实际部署时发现，虽然权重变成了 I...

2026-03-17andy阅读(55)评论(0)

前言 在安卓端侧部署大语言模型（LLM）时，内存带宽往往是最大的瓶颈。4-bit 量化（INT4）可以将权重体积减少 75%，但如果我们在推理前先用 CPU 或 GPU 算子将其还原为 FP16，会产生额外的显存读写开销。 本文将教你如何编...

2026-03-01andy阅读(75)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...

2026-02-24andy阅读(349)评论(0)

1. 为什么大模型推理会受限于 HBM？ 在大模型（LLM）推理过程中，Transformer 架构中存在大量的逐元素（Element-wise）操作，如 Add、LayerNorm、Mul 和 Silu 等。在标准的执行流中，每个算子都需...

2026-02-13andy阅读(104)评论(0)

在AI模型的推理加速领域，显存带宽往往是性能瓶颈的关键。模型计算图中的许多操作，如卷积（Conv）和随后的激活函数（ReLU），虽然逻辑上是独立的步骤，但在执行时，需要将中间结果从计算单元（如GPU或NPU）写入显存，再由下一个操作读取。这...

2026-02-04andy阅读(135)评论(0)

在AI模型部署和推理加速领域，计算图优化是至关重要的一环。TensorFlow的XLA（Accelerated Linear Algebra）编译器是执行这些优化的强大工具，它能够通过重写计算图来显著提高模型运行效率。 本文将深入探讨XLA...

2026-02-03andy阅读(131)评论(0)

在现代大型语言模型（LLMs）和基于 Transformer 架构的模型中，性能优化是提高服务吞吐量（QPS，Queries Per Second）的关键。其中一个最有效的策略是算子融合（Operator Fusion）。本文将深入探讨为什...

2026-02-02andy阅读(140)评论(0)

在 AI 模型推理阶段，提升速度的关键往往不在于计算本身的复杂度，而在于数据在存储介质（如GPU HBM）和计算单元（CUDA Core）之间传输的效率。算子融合（Operator Fusion）正是解决这一问题的核心技术，它通过将多个计算...