标签：权重

2026-03-23andy阅读(40)评论(0)

如何利用 A/B 分区实现座舱 AI 模型的无损 OTA 升级 1. 为什么座舱 AI 需要 A/B 分区？ 在智能座舱场景下，AI 模型的升级通常不只是替换一个 .onnx 或 .param 文件。它往往涉及到 NPU 驱动 (Kerne...

2026-03-16andy阅读(68)评论(0)

1. 为什么端侧模型需要 OmniQuant？ 在端侧（手机、嵌入式设备）部署大语言模型（LLM）或大型视觉模型时，量化（Quantization）是必不可少的。然而，传统的后量化（PTQ）方法（如简单的 Round-to-Nearest）...

2026-03-07andy阅读(85)评论(0)

如何实现 AI 模型权重的端到端加密部署：从服务器下发到 TEE 内部解密的完整链路 在 AI 模型商业化落地中，模型权重是核心资产。如果模型直接以 .onnx 或 .tflite 明文形式存储在终端磁盘，极易被破解者直接“拖库”。本文将介...

2026-03-07andy阅读(82)评论(0)

在端侧 AI 安全领域，TEE（可信执行环境，如 ARM TrustZone）是保护模型资产的核心手段。然而，开发者面临一个物理上的‘死结’：TEE 的 Secure RAM 通常被硬件锁定在 64MB-128MB 以内，而如今即便是一个轻...

2026-03-06andy阅读(93)评论(0)

如何通过共享内存实现多进程模型权重共享：大幅降低 App 内存占用 在端侧推理或高并发 Web 服务场景中，为了提升吞吐量，我们常会启动多个进程并行处理推理请求。然而，如果每个进程都独立加载一份模型（例如一个 2GB 的 BERT 模型），...

2026-03-04andy阅读(61)评论(0)

如何通过 MNN 的 WeightGrad 机制在移动端实现极致高效的本地权重在线微调 在端侧 AI 场景中，为了保护用户隐私或实现个性化推荐，我们需要在移动端设备上直接对模型进行微调（Fine-tuning）。阿里巴巴开源的 MNN (M...

2026-03-02andy阅读(81)评论(0)

背景 在移动端部署 AI 模型时，内存（RAM）通常是极其珍贵的资源。传统的模型加载方式往往需要将模型文件先从磁盘或 Assets 读取到内存缓冲区，再由推理引擎解析。这种方式导致了至少双倍的内存占用。 ncnn 提供的 from_andr...

2026-02-16andy阅读(101)评论(0)

在端侧AI应用中，模型的权重文件（如TFLite、MNN或NCNN的bin文件）往往体积庞大。传统的模型加载方式涉及多次数据拷贝，这不仅耗时，更严重拖慢了App的启动速度。 问题所在：传统文件加载的瓶颈 传统的read()系统调用加载过程如...

2026-02-15andy阅读(103)评论(0)

移动端AI应用面临一个常见的挑战：模型迭代速度远快于App发版周期。每次微小的模型优化都需要用户下载新的App包，这极大降低了模型部署的效率和灵活性。本文将详细介绍如何在Android和iOS设备上，通过模型热更新机制，实现在不重新发布Ap...

2026-02-12andy阅读(173)评论(0)

详解神经网络权重的聚类压缩算法：如何利用 Codebook 降低移动端内存带宽压力 在移动端和边缘设备上部署深度学习模型时，模型体积和推理时的内存带宽往往是最大的性能瓶颈。传统的量化（如INT8）可以压缩数据，但聚类压缩提供了一种更为灵活且...