汤不热吧

2026-03-11andy阅读(1)评论(0)

在现代 AI 基础设施中，MLOps 平台不仅要处理常规的模型训练与部署，还需面对 GPU 资源碎片化、模型性能漂移以及复杂推理流水线中的延迟抖动。传统的基于阈值的告警往往导致‘告警风暴’。本文将介绍如何结合 Prometheus 监控数据...

2026-03-10andy阅读(5)评论(0)

背景 在 Android 端侧 AI 推理场景中，模型输入往往来自于相机预览流或图像处理器。传统的做法是将数据从 Vendor 进程拷贝到 App 进程，再拷贝给推理引擎。对于 4K 图像或高频推理任务，这种 memcpy 会显著增加延迟并...

2026-03-10andy阅读(5)评论(0)

如何利用模型服务网格在 LLM 部署中实现流量管理与安全策略 在生成式 AI 时代，大语言模型（LLM）的部署不再只是简单的端口映射。由于 LLM 推理具有高延迟、显存密集、请求周期长等特点，传统的微服务治理手段难以直接复用。本文将重点探讨...

2026-03-10andy阅读(10)评论(0)

如何优化 Android 端 AI 模块启动：详解动态库的延迟加载策略 在 Android 端集成 NCNN、MNN 或 TensorFlow Lite 等 AI 框架时，开发者常面临一个难题：这些框架生成的 .so 动态链接库通常很大（往...

2026-03-10andy阅读(6)评论(0)

如何利用 RenderScript 实现 Android 高性能图像预处理 在移动端 AI 推理（如使用 TensorFlow Lite 或 MNN）的过程中，图像预处理（缩放、归一化、色域转换）往往会成为整体耗时的瓶颈。虽然 Google...

2026-03-10andy阅读(9)评论(0)

为什么选择 FP16？ 在移动端 AI 推理中，内存带宽和功耗通常是最大的性能瓶颈。相比传统的 FP32（单精度浮点），FP16（半精度浮点）不仅能减少 50% 的模型内存占用和带宽需求，还能在支持 ARMv8.2-A 指令集的 CPU 上...

2026-03-10andy阅读(8)评论(0)

在机器学习工程化（MLOps）中，CI/CD 不仅仅涉及代码的构建与部署。一个完整的 AI 流水线必须包含三个核心维度的验证：代码逻辑、数据质量和模型性能。这种三位一体的测试方法能够有效防止因数据漂移或训练回归导致的生产事故。 1. 代码层...

2026-03-09andy阅读(14)评论(0)

如何通过 CPU 亲和性绑定控制推理线程：解决安卓系统大小核切换导致的性能波动 在移动端部署 AI 模型（如人脸识别、实时滤镜）时，开发者常遇到一个棘手现象：同一模型在同一台手机上，有时推理仅需 20ms，有时却突然跳到 100ms。这种性...

2026-03-09andy阅读(11)评论(0)

如何利用 MLflow 构建模型资产管理系统：实现从版本控制到平滑退役的全生命周期管理 在 AI 基础设施建设中，模型不仅仅是代码和权重的集合，更是核心资产。随着模型迭代速度的加快，如何有效地追踪不同版本的模型、管理其在开发/生产环境中的状...

2026-03-09andy阅读(8)评论(0)

如何理解 Android NNAPI 的算子分发逻辑：从底层架构到实战调用 Android NNAPI (Neural Networks API) 是 Android 系统中专门为机器学习推理设计的 C API。它不直接运行模型，而是作为“...