标签：提速

2026-03-17andy阅读(78)评论(0)

如何利用 ARM i8mm 指令集加速端侧量化模型推理 在端侧 AI 推理（如手机、嵌入式设备）中，Int8 量化是提升性能、降低能耗的核心技术。传统的 ARM NEON 指令集虽有 SDOT (点乘) 指令，但在处理大规模矩阵乘法时仍显吃...

2026-02-26andy阅读(105)评论(0)

如何利用 MindSpore 算子下沉机制显著提升模型训练速度 在深度学习模型的训练过程中，Host（CPU）与 Device（如昇腾 NPU 或 GPU）之间的频繁通信往往是性能的绊脚石。国产 AI 框架 MindSpore 提供了一种强...

2026-01-30andy阅读(133)评论(0)

在深度学习领域，模型规模不断增大，对计算速度的要求也水涨船高。传统的FP32（单精度浮点数）运算虽然精度高，但计算量大、能耗高。为了解决这一问题，NVIDIA引入了专用的硬件加速单元——Tensor Core，并结合软件层面的混合精度（Mi...