标签：端侧

2026-03-14andy阅读(308)评论(0)

1. 为什么 LLM 全量化这么难？ 在端侧部署大语言模型（LLM）时，W8A8（权重和激活均为8位）全量化是极致加速和节省内存的核心。然而，LLM 在推理时，激活值（Activations）中常会出现极少数数值巨大的“离群点”（Outli...

2026-03-13andy阅读(257)评论(0)

如何在 Android 端优雅处理 TFLite 模型动态尺寸推理而无需频繁重构计算图 在移动端 AI 开发中，我们经常遇到输入尺寸不固定的场景，如 OCR 识别（文本行长度不一）、超分辨率（图片尺寸各异）或音频处理（时长不同）。传统的做法...

2026-03-09andy阅读(258)评论(0)

背景：为什么 AI 推理需要 TEE？ 在端侧 AI 场景中，模型权重和用户隐私数据（如人脸特征、生物信息）通常是最高级别的核心资产。传统的推理过程在 CPU 或 GPU 的通用内存中进行，极易受到 Root 提权攻击或恶意内存扫描。TEE...

2026-03-05andy阅读(299)评论(0)

背景 在端侧 AI 部署中，INT8 量化是性能优化的必经之路。但开发者常遇到这样的怪事：同一套浮点权重，在 ncnn 下量化后精度尚可，但在 MNN 下却出现预测结果完全不可用的“崩坏”现象。这并非框架本身的 Bug，而是由量化标准实现、...

2026-03-01andy阅读(302)评论(0)

如何通过 ncnn 的 Mat 结构理解端侧内存对齐：详解 32 字节对齐对 SIMD 加速的意义 在高性能端侧推理框架（如腾讯的 ncnn）中，性能优化往往精确到每一位内存布局。在阅读 ncnn 源码时，你会发现其核心数据结构 ncnn:...

2026-02-22andy阅读(402)评论(0)

背景 随着《个人信息保护法》等法规的完善，开发者在处理用户数据（如人脸、语音、健康数据）时面临巨大的合规压力。传统的云端训练需要将原始数据上传服务器，这存在严重隐私风险。端侧训练（On-device Learning）技术通过在用户手机本地...

2026-02-16andy阅读(309)评论(0)

MediaPipe 是 Google 开源的一个跨平台、可定制的机器学习框架，它在端侧推理和实时数据流处理方面表现出色。手势识别（如 MediaPipe Hands）是其最经典的用例之一。理解 MediaPipe 如何调度其内部的多任务处理...

2026-02-16andy阅读(439)评论(0)

随着大模型（LLM）的飞速发展，将这些强大的AI能力部署到资源受限的手机等端侧设备上，成为了AI工程化的一大挑战。Llama系列模型虽然效果优秀，但其巨大的参数量和高昂的内存需求，使得直接部署几乎不可能。本文将详细讲解如何通过4-bit量化...

2026-02-14andy阅读(338)评论(0)

华为昇腾（Ascend）系列芯片搭载了基于达芬奇（DaVinci）架构的NPU，旨在提供极致的AI推理性能。然而，将PyTorch或TensorFlow训练的模型部署到昇腾NPU上，需要经过严格的图优化和格式转换。本文将聚焦于使用核心工具A...

2026-02-06andy阅读(312)评论(0)

在将大型语言模型（LLM）部署到资源受限的端侧设备（如手机、边缘计算网关）时，模型量化是提高推理速度和降低内存占用的关键技术。4-bit 量化（如 GPTQ 和 AWQ）因其极高的压缩比而受到广泛关注。然而，这两种流行算法在底层实现和硬件亲...