汤不热吧

2026-07-26andy阅读(666)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...

2026-07-26andy阅读(796)评论(0)

如何针对瑞芯微 RK3588 NPU 进行算子裁剪与加速：实现边缘 AI 的极致响应 在边缘计算领域，瑞芯微 RK3588 以其 6TOPS 的 NPU 算力成为国产芯片的佼佼者。然而，许多开发者发现直接部署模型时，推理速度远达不到预期。这...

2026-07-26andy阅读(815)评论(0)

如何解决国产 AI 芯片下的集合通信瓶颈：深度对比 HCCL 与 NCCL 在 Ring AllReduce 上的差异 在分布式深度学习中，集合通信（Collective Communication）是决定训练效率的关键。在 NVIDIA ...

2026-07-26andy阅读(1036)评论(0)

如何利用华为迁移工具自动化实现 CUDA 到 CANN 的算子代码映射 随着国产算力加速卡的应用普及，将原本运行在 NVIDIA GPU 上的 CUDA 算子迁移到华为昇腾 Ascend NPU 环境已成为开发者的核心痛点。本文将详解如何利...

2026-07-26andy阅读(735)评论(0)

如何通过 AclLite 封装大幅简化昇腾推理程序的开发流程 在国产昇腾（Ascend）芯片上进行 AI 推理开发时，开发者通常需要直接面对 CANN (Compute Architecture for Neural Networks) 的...

2026-07-26andy阅读(975)评论(0)

如何解决 PyTorch 模型迁移至昇腾 NPU 时的算子性能瓶颈与精度漂移 在国产化替代的浪潮中，将深度学习模型从 CUDA 环境迁移到华为昇腾（Ascend）CANN 平台，绝非简单的 device=’cuda’...

2026-07-26andy阅读(985)评论(0)

如何使用 CANN 插件在国产昇腾 NPU 上快速迁移并加速 PyTorch 模型 随着国产化算力需求的爆发，将现有的 AI 模型从 CUDA 环境迁移到国产昇腾（Ascend）平台已成为许多开发者的核心任务。得益于华为提供的 CANN（C...

2026-07-26andy阅读(583)评论(0)

在资源受限的端侧设备（如手机、IoT设备）上部署深度学习模型时，模型量化（通常是转换为INT8）是降低延迟和功耗的关键技术。然而，量化方案并非只有一种。本文将对比静态离线量化（Static Post-Training Quantizatio...

2026-07-26andy阅读(747)评论(0)

在大型语言模型（LLM）的推理过程中，通常分为两个关键阶段：Prefill（预填充/处理Prompt）阶段和Decode（解码/自回归生成）阶段。这两个阶段对硬件资源的需求截然不同，理解它们的瓶颈对于优化推理性能至关重要。 1. 概念定义：...

2026-07-26andy阅读(661)评论(0)

深入理解 Android NNAPI 的中间层调度机制 Android Neural Networks API (NNAPI) 是 Google 为 Android 设备提供的一套用于运行计算密集型机器学习模型的框架。它的核心价值在于提供了...