andy的文章

2026-03-14andy阅读(33)评论(0)

如何构建跨云/多区域的可观测 MLOps 容灾与故障切换系统 在企业级 AI 应用中，推理服务的停机可能导致巨大的商业损失。构建一个健壮的 MLOps 容灾（Disaster Recovery, DR）方案，不仅要考虑计算节点的冗余，更要解...

2026-03-13andy阅读(28)评论(0)

在 Android 移动端部署 AI 模型时，开发者常会发现：虽然 GPU 推理速度很快，但首次加载模型（或 App 重启后首次推理）时往往会出现明显的卡顿，耗时甚至达到 3-10 秒。这主要是由于 GPU 后端（如 OpenCL、Vulk...

2026-03-13andy阅读(30)评论(0)

如何高效实现 MoE 模型的分布式路由与推理加速 在大型语言模型向万亿参数演进的过程中，混合专家模型（Mixture-of-Experts, MoE）已成为核心架构。然而，MoE 的稀疏激活特性虽然降低了理论计算量，却给基础设施带来了巨大的...

2026-03-13andy阅读(28)评论(0)

在移动端部署深度学习模型（如使用 MNN、NCNN 或 TFLite）时，开发者常遇到这样的困境：模型刚启动时推理飞快，但持续运行几分钟后，帧率骤降。这通常是由于安卓系统的温控系统（Thermal Service）为了保护硬件，强制降低了 ...

2026-03-13andy阅读(36)评论(0)

如何利用 ASan 与 HWAsan 精准定位 Android 端侧推理引擎的内存损坏 在开发基于 ncnn、MNN 或 TFLite 等框架的 Android 端侧推理引擎时，由于涉及大量 C++ 原始指针操作、高性能内存池管理以及复杂的...

2026-03-13andy阅读(34)评论(0)

如何在 Android 端优雅处理 TFLite 模型动态尺寸推理而无需频繁重构计算图 在移动端 AI 开发中，我们经常遇到输入尺寸不固定的场景，如 OCR 识别（文本行长度不一）、超分辨率（图片尺寸各异）或音频处理（时长不同）。传统的做法...

2026-03-12andy阅读(32)评论(0)

1. 为什么我们需要矢量化？ 在 Android 端侧推理（如 NCNN、MNN、TFLite）中，算子性能是核心。传统的标量计算（Scalar）一次只能处理一个数据，而 SIMD（Single Instruction Multiple D...

2026-03-12andy阅读(36)评论(0)

如何利用强化学习优化 AI 训练集群的任务调度效率 在现代 AI 基础设施中，如何高效分配 GPU 资源是核心挑战。传统的调度算法如 FIFO（先来先服务）或 DRF（主导资源公平调度）往往难以应对大模型（LLM）训练中复杂的显存碎片化和波...

2026-03-12andy阅读(36)评论(0)

如何解决安卓多模型部署时的显存瓶颈：详解权重复用与Backbone共享技巧 在安卓移动端部署 AI 能力时，开发者常面临「内存焦虑」。当你需要在一个 App 中同时运行人脸检测、五官定位和属性识别时，如果每个模型都包含独立的骨干网络（Bac...

2026-03-12andy阅读(32)评论(0)

如何在 Android 端使用 Memory Mapping (mmap) 技术防止大模型推理引发 OOM 在移动端部署 AI 模型（如 LLM、大参数量 CNN）时，最常见的痛点就是 OOM (Out Of Memory)。传统的加载方式...