深度学习

2026-02-16andy阅读(458)评论(0)

在端侧AI应用中，模型的权重文件（如TFLite、MNN或NCNN的bin文件）往往体积庞大。传统的模型加载方式涉及多次数据拷贝，这不仅耗时，更严重拖慢了App的启动速度。 问题所在：传统文件加载的瓶颈 传统的read()系统调用加载过程如...

2026-02-15andy阅读(325)评论(0)

移动端AI应用面临一个常见的挑战：模型迭代速度远快于App发版周期。每次微小的模型优化都需要用户下载新的App包，这极大降低了模型部署的效率和灵活性。本文将详细介绍如何在Android和iOS设备上，通过模型热更新机制，实现在不重新发布Ap...

2026-02-15andy阅读(309)评论(0)

在 AI 模型部署到端侧设备或采用异构 CPU 架构（如 ARM big.LITTLE 或 Intel P/E 核设计）的服务器时，我们经常面临一个挑战：推理延迟（Latency）的抖动（Jitter）过大，导致 P99 延迟性能不佳。这是...

2026-02-15andy阅读(342)评论(0)

在 Android 端侧推理项目中，我们通常需要集成各种高性能计算库（如 TNN, MNN, NCNN 或 TensorFlow Lite的自定义 Delegate），这些库都以 .so 动态链接库的形式提供。管理这些 .so 文件面临两大...

2026-02-15andy阅读(329)评论(0)

在移动端进行AI推理时，显存（通常是共享内存DRAM或专用的VRAM）往往是瓶颈。对于参数量较大的模型（如轻量级LLM或大型CV模型），其激活值和中间计算结果可能会瞬间占用数百兆甚至超过1GB的内存。本文将聚焦于推理引擎中最关键的优化技术之...

2026-02-14andy阅读(405)评论(0)

华为昇腾（Ascend）系列芯片搭载了基于达芬奇（DaVinci）架构的NPU，旨在提供极致的AI推理性能。然而，将PyTorch或TensorFlow训练的模型部署到昇腾NPU上，需要经过严格的图优化和格式转换。本文将聚焦于使用核心工具A...

2026-02-14andy阅读(416)评论(0)

在移动端进行 AI 推理时，我们通常依赖 TFLite, MNN 或 NCNN 等成熟框架。然而，当模型引入了高度定制化的层（如新型激活函数、特定的数据重排或融合操作）时，这些框架可能缺乏相应的优化实现，甚至根本不支持。这导致模型必须回退到...

2026-02-14andy阅读(413)评论(0)

在端侧AI应用中，尤其是在处理连续、低延迟且低功耗的音频（如关键词识别）和传感器数据流时，CPU往往效率不高，GPU功耗又过大。高通骁龙芯片中的 Hexagon DSP (Digital Signal Processor) 由于其擅长并行信...

2026-02-13andy阅读(391)评论(0)

移动端AI推理对速度和功耗要求极高。传统的CPU卷积计算密集，难以满足实时性需求。将计算任务迁移到移动GPU上是主流的加速策略，而OpenGL ES (GLES) 和 Vulkan Shaders是实现这一目标的核心工具。 本文将聚焦于如何...

2026-02-13andy阅读(392)评论(0)

Transformer 模型，如 BERT 或其轻量化版本，在自然语言处理任务中表现出色。然而，由于其复杂的矩阵乘法和注意力机制，它们对移动端性能提出了巨大挑战。iPhone 上的神经引擎（ANE）是实现高性能端侧推理的关键，但需要模型以 ...