andy的文章

2026-03-07andy阅读(39)评论(0)

如何通过 OP-TEE 的 TA 与 CA 通信机制实现 AI 推理请求的安全转发与身份验核 在端侧 AI 部署中，保护模型权重和推理请求不被恶意劫持至关重要。传统的 Linux 环境（REE）容易受到 Root 提权攻击。通过 ARM T...

2026-03-07andy阅读(50)评论(0)

为什么需要 TEE 可信推理？ 在移动端或边缘侧部署 AI 模型时，模型资产的安全性面临严峻挑战。传统的磁盘加密或混淆技术容易被 Root 权限后的攻击者通过内存镜像、侧信道分析等手段破解。ARM TrustZone 技术提供的 TEE (...

2026-03-07andy阅读(40)评论(0)

如何利用MLflow实现机器学习项目中的敏捷实验管理与小步快跑 在机器学习（ML）项目的开发过程中，传统的“瀑布式”开发往往会导致漫长的训练周期和难以追溯的结果。为了将敏捷开发中的“小步快跑”原则引入AI基础设施，我们需要一套自动化的实验追...

2026-03-06andy阅读(46)评论(0)

如何识别并解决推理库中的“伪 FP16”性能陷阱 在移动端和边缘侧部署 AI 模型时，开发者通常会选择 FP16（半精度浮点数）来替代传统的 FP32（单精度浮点数）。直觉告诉我们，精度减半，速度应该翻倍，功耗也应该随之降低。然而，在实际开...

2026-03-06andy阅读(46)评论(0)

1. 引言 在企业级 AI 落地过程中，最常见的痛点是“实验室模型”与“生产级服务”之间的断层。传统的 MLOps 往往只是脚本的堆砌，缺乏统一的服务化抽象。为了构建真正高效的企业级 AI 平台，我们需要将模型推理、预处理和后处理逻辑封装为...

2026-03-06andy阅读(48)评论(0)

背景 在深度学习模型部署过程中，我们经常会遇到由于推理框架（如 MNN、NCNN、TNN）更新较慢，导致某些新出的激活函数（如 Swish、HardSwish）或者自定义算子不被支持的情况。这时，开发者通常面临两个选择：一是修改模型结构，用...

2026-03-06andy阅读(54)评论(0)

如何利用 sysdump 剖析 CPU 降频对端侧推理性能的致命影响 在移动端部署深度学习模型（如使用 ncnn, MNN 或 TFLite）时，开发者经常遇到一个诡异的问题：同样的模型，在实验室测试时推理耗时非常稳定（如 30ms），但集...

2026-03-06andy阅读(58)评论(0)

如何通过共享内存实现多进程模型权重共享：大幅降低 App 内存占用 在端侧推理或高并发 Web 服务场景中，为了提升吞吐量，我们常会启动多个进程并行处理推理请求。然而，如果每个进程都独立加载一份模型（例如一个 2GB 的 BERT 模型），...

2026-03-06andy阅读(39)评论(0)

如何制定高效的 MLOps 技术栈评估标准与集成策略？ 在 AI 基础设施建设中，MLOps（机器学习运维）技术栈的选择往往决定了模型从实验室走向生产环境的效率。面对市面上琳琅满目的工具（如 Kubeflow, MLflow, BentoM...

2026-03-05andy阅读(52)评论(0)

背景 在端侧 AI 部署中，INT8 量化是性能优化的必经之路。但开发者常遇到这样的怪事：同一套浮点权重，在 ncnn 下量化后精度尚可，但在 MNN 下却出现预测结果完全不可用的“崩坏”现象。这并非框架本身的 Bug，而是由量化标准实现、...