标签：移动

2026-03-06andy阅读(46)评论(0)

如何利用 sysdump 剖析 CPU 降频对端侧推理性能的致命影响 在移动端部署深度学习模型（如使用 ncnn, MNN 或 TFLite）时，开发者经常遇到一个诡异的问题：同样的模型，在实验室测试时推理耗时非常稳定（如 30ms），但集...

2026-03-04andy阅读(33)评论(0)

如何通过 MNN 的 WeightGrad 机制在移动端实现极致高效的本地权重在线微调 在端侧 AI 场景中，为了保护用户隐私或实现个性化推荐，我们需要在移动端设备上直接对模型进行微调（Fine-tuning）。阿里巴巴开源的 MNN (M...

2026-02-22andy阅读(72)评论(0)

如何通过 A/B 测试评估移动端模型性能：除了延时外，你还需要关注哪些工程指标 在将深度学习模型（如基于 ncnn、mnn 或 TFLite 优化的模型）推向千万量级的移动端用户时，实验室内的 Benchmark 结果往往是“理想化”的。由...

2026-02-17andy阅读(75)评论(0)

对于追求极致性能的端侧 AI 应用来说，找到模型推理的性能瓶颈是加速优化的第一步。我们通常结合使用静态分析工具 (Netron) 和动态分析工具 (系统 Profiler) 来实现这一目标。 Netron 帮助我们理解模型的结构和计算流，而...

2026-02-17andy阅读(71)评论(0)

怎么解决移动端AI推理时间不稳定问题：详解CPU降频机制与应对策略 在移动端部署AI模型时，开发者经常会发现一个令人困扰的现象：模型的推理延迟（Latency）极不稳定。第一次运行可能非常快，但连续运行几次后，延迟会显著增加，甚至在两次间隔...

2026-02-15andy阅读(72)评论(0)

移动端AI应用面临一个常见的挑战：模型迭代速度远快于App发版周期。每次微小的模型优化都需要用户下载新的App包，这极大降低了模型部署的效率和灵活性。本文将详细介绍如何在Android和iOS设备上，通过模型热更新机制，实现在不重新发布Ap...

2026-02-15andy阅读(69)评论(0)

在移动端进行AI推理时，显存（通常是共享内存DRAM或专用的VRAM）往往是瓶颈。对于参数量较大的模型（如轻量级LLM或大型CV模型），其激活值和中间计算结果可能会瞬间占用数百兆甚至超过1GB的内存。本文将聚焦于推理引擎中最关键的优化技术之...

2026-02-13andy阅读(94)评论(0)

移动端AI推理对速度和功耗要求极高。传统的CPU卷积计算密集，难以满足实时性需求。将计算任务迁移到移动GPU上是主流的加速策略，而OpenGL ES (GLES) 和 Vulkan Shaders是实现这一目标的核心工具。 本文将聚焦于如何...

2026-02-12andy阅读(74)评论(0)

在将深度学习模型部署到移动端或嵌入式设备时，模型的大小和推理速度是至关重要的指标。许多从PyTorch或TensorFlow导出的ONNX模型，在计算图中包含大量冗余节点、不必要的初始化器（Initializers）或可合并的常量操作（如S...

2026-02-12andy阅读(126)评论(0)

模型量化（Quantization）是端侧推理加速的关键技术之一，它将浮点数（FP32）权重和激活值转换为低比特整数（如INT8），显著减少了模型大小并提高了计算效率。然而，量化方式的选择——特别是对称量化（Symmetric Quanti...