标签：推理

2026-03-09andy阅读(37)评论(0)

如何通过 CPU 亲和性绑定控制推理线程：解决安卓系统大小核切换导致的性能波动 在移动端部署 AI 模型（如人脸识别、实时滤镜）时，开发者常遇到一个棘手现象：同一模型在同一台手机上，有时推理仅需 20ms，有时却突然跳到 100ms。这种性...

2026-03-09andy阅读(33)评论(0)

背景：为什么 AI 推理需要 TEE？ 在端侧 AI 场景中，模型权重和用户隐私数据（如人脸特征、生物信息）通常是最高级别的核心资产。传统的推理过程在 CPU 或 GPU 的通用内存中进行，极易受到 Root 提权攻击或恶意内存扫描。TEE...

2026-03-08andy阅读(39)评论(0)

如何通过共享内存机制消除 TEE 内部推理的 Normal/Secure World 拷贝延迟 在端侧 AI 安全推理场景中，为了保护模型权重或输入数据（如人脸特征、指纹信息），开发者通常将推理引擎部署在 TEE（可信执行环境，如 OP-T...

2026-03-07andy阅读(36)评论(0)

如何通过 OP-TEE 的 TA 与 CA 通信机制实现 AI 推理请求的安全转发与身份验核 在端侧 AI 部署中，保护模型权重和推理请求不被恶意劫持至关重要。传统的 Linux 环境（REE）容易受到 Root 提权攻击。通过 ARM T...

2026-03-07andy阅读(46)评论(0)

为什么需要 TEE 可信推理？ 在移动端或边缘侧部署 AI 模型时，模型资产的安全性面临严峻挑战。传统的磁盘加密或混淆技术容易被 Root 权限后的攻击者通过内存镜像、侧信道分析等手段破解。ARM TrustZone 技术提供的 TEE (...

2026-03-06andy阅读(43)评论(0)

如何识别并解决推理库中的“伪 FP16”性能陷阱 在移动端和边缘侧部署 AI 模型时，开发者通常会选择 FP16（半精度浮点数）来替代传统的 FP32（单精度浮点数）。直觉告诉我们，精度减半，速度应该翻倍，功耗也应该随之降低。然而，在实际开...

2026-03-06andy阅读(43)评论(0)

背景 在深度学习模型部署过程中，我们经常会遇到由于推理框架（如 MNN、NCNN、TNN）更新较慢，导致某些新出的激活函数（如 Swish、HardSwish）或者自定义算子不被支持的情况。这时，开发者通常面临两个选择：一是修改模型结构，用...

2026-03-06andy阅读(49)评论(0)

如何利用 sysdump 剖析 CPU 降频对端侧推理性能的致命影响 在移动端部署深度学习模型（如使用 ncnn, MNN 或 TFLite）时，开发者经常遇到一个诡异的问题：同样的模型，在实验室测试时推理耗时非常稳定（如 30ms），但集...

2026-03-05andy阅读(41)评论(0)

在移动端部署深度学习模型时，开发者常面临一个困境：简单的设置线程数为核心总数往往会导致严重的发热降频，而线程数太少又无法满足实时性需求。本文将深入解析如何在 ARM big.LITTLE 架构（如典型的 A76+A55 组合）下，通过合理的...

2026-03-05andy阅读(41)评论(0)

背景 在深度学习模型从训练框架（如 PyTorch、TensorFlow）导出到推理引擎的过程中，模型往往会携带大量仅在训练阶段有意义的节点。其中最典型的是 Dropout（防止过拟合，推理时丢弃率为 0）和 Identity（恒等映射，通...