标签：高性能

2026-03-10andy阅读(21)评论(0)

如何利用 RenderScript 实现 Android 高性能图像预处理 在移动端 AI 推理（如使用 TensorFlow Lite 或 MNN）的过程中，图像预处理（缩放、归一化、色域转换）往往会成为整体耗时的瓶颈。虽然 Google...

2026-02-26andy阅读(59)评论(0)

如何构建高性能模型注册表：基于 MLflow 的元数据管理实践 在 AI 基础设施中，模型注册表（Model Registry）不仅是一个存储桶，它是管理模型生命周期、版本控制以及元数据的核心中枢。一个高性能的模型注册表能够支持快速的元数据...

2026-02-24andy阅读(54)评论(0)

如何利用 Ascend C 手写高性能算子：解决昇腾模型不支持算子的终极方案 在将深度学习模型部署到昇腾（Ascend）昇腾 AI 处理器时，经常会遇到某些算子在 CANN 算子库中不存在或者性能不达标的情况。这时，使用 Ascend C（...

2026-02-16andy阅读(65)评论(0)

Warp Divergence（线程束分化）是CUDA编程中一个极其重要的概念，它直接关系到核函数（Kernel）的执行效率。对于追求极致性能的高性能算子来说，理解并消除Warp Divergence是提升速度的关键。 1. 什么是Warp...

2026-02-14andy阅读(85)评论(0)

在移动端进行 AI 推理时，我们通常依赖 TFLite, MNN 或 NCNN 等成熟框架。然而，当模型引入了高度定制化的层（如新型激活函数、特定的数据重排或融合操作）时，这些框架可能缺乏相应的优化实现，甚至根本不支持。这导致模型必须回退到...

2026-02-03andy阅读(94)评论(0)

在TensorFlow 2.x时代，Eager Execution（即时执行）模式极大地提升了开发体验，使得调试像写普通Python代码一样方便。然而，纯粹的Eager模式由于需要反复穿越Python解释器边界，在性能上不如静态计算图。Te...

2026-02-01andy阅读(140)评论(0)

TorchScript 是 PyTorch 官方提供的编译器，用于将 PyTorch 模型从灵活的 Python 动态图环境转换成高性能的静态图表示。这种静态图格式可以脱离 Python 解释器运行，实现推理加速，并支持在 C++ 或其他生...