标签：推理

2026-03-01andy阅读(76)评论(0)

背景 在嵌入式设备或 Android/iOS 开发中，AI 模型的推理性能不仅取决于算法复杂度，还深受系统资源调度的影响。很多开发者会发现，ncnn 在连续推理时，由于系统底层的 malloc 和 free 导致内存碎片或内核锁竞争，从而引...

2026-02-24andy阅读(348)评论(0)

1. 为什么大模型推理会受限于 HBM？ 在大模型（LLM）推理过程中，Transformer 架构中存在大量的逐元素（Element-wise）操作，如 Add、LayerNorm、Mul 和 Silu 等。在标准的执行流中，每个算子都需...

2026-02-23andy阅读(97)评论(0)

如何通过 AclLite 封装大幅简化昇腾推理程序的开发流程 在国产昇腾（Ascend）芯片上进行 AI 推理开发时，开发者通常需要直接面对 CANN (Compute Architecture for Neural Networks) 的...

2026-02-17andy阅读(112)评论(0)

怎么解决移动端AI推理时间不稳定问题：详解CPU降频机制与应对策略 在移动端部署AI模型时，开发者经常会发现一个令人困扰的现象：模型的推理延迟（Latency）极不稳定。第一次运行可能非常快，但连续运行几次后，延迟会显著增加，甚至在两次间隔...

2026-02-16andy阅读(94)评论(0)

在移动端进行实时视频流AI推理，最大的性能瓶颈往往不在模型计算本身，而在于数据在CPU和GPU之间的搬运（内存拷贝）以及颜色空间转换（YUV到RGB）。传统的处理流程是：摄像头采集YUV数据 -> CPU接收 -> CPU进行YUV转RGB...

2026-02-15andy阅读(86)评论(0)

在 AI 模型部署到端侧设备或采用异构 CPU 架构（如 ARM big.LITTLE 或 Intel P/E 核设计）的服务器时，我们经常面临一个挑战：推理延迟（Latency）的抖动（Jitter）过大，导致 P99 延迟性能不佳。这是...

2026-02-14andy阅读(128)评论(0)

在大型语言模型（LLM）的推理过程中，通常分为两个关键阶段：Prefill（预填充/处理Prompt）阶段和Decode（解码/自回归生成）阶段。这两个阶段对硬件资源的需求截然不同，理解它们的瓶颈对于优化推理性能至关重要。 1. 概念定义：...

2026-02-12andy阅读(102)评论(0)

在将深度学习模型部署到移动端或嵌入式设备时，模型的大小和推理速度是至关重要的指标。许多从PyTorch或TensorFlow导出的ONNX模型，在计算图中包含大量冗余节点、不必要的初始化器（Initializers）或可合并的常量操作（如S...

2026-02-07andy阅读(130)评论(0)

车载信息娱乐系统（IVI）和高级驾驶辅助系统（ADAS）对低延迟AI推理的需求日益增长。传统的云端AI模型部署流程复杂且延迟高，因此轻量级的端侧推理库（如NCNN和MNN）成为车载AI功能快速原型化的理想选择。本文将聚焦于如何利用NCNN，...

2026-02-04andy阅读(141)评论(0)

大规模语言模型（LLM）的推理性能是部署成功的关键。在推理过程中，模型通常经历两个截然不同的阶段：Prefill（预填充/上下文处理）和Decode（解码/生成）。理解这两个阶段的资源需求和冲突，是优化吞吐量（Throughput）和首字节...