国产化环境下的模型量化详解:如何针对不同芯片的 INT8 累加器精度差异进行精细化调优
1. 背景:为什么相同的量化模型在不同芯片上精度不同? 在国产化适配过程中,开发者常遇到一个困惑:在 PyTorch 下验证良好的 INT8 量化模型,部署到昇腾(Ascend)、寒武纪(Cambricon)或昆仑芯(KunlunCore)...
1. 背景:为什么相同的量化模型在不同芯片上精度不同? 在国产化适配过程中,开发者常遇到一个困惑:在 PyTorch 下验证良好的 INT8 量化模型,部署到昇腾(Ascend)、寒武纪(Cambricon)或昆仑芯(KunlunCore)...
如何利用 MindSpore 算子下沉机制显著提升模型训练速度 在深度学习模型的训练过程中,Host(CPU)与 Device(如昇腾 NPU 或 GPU)之间的频繁通信往往是性能的绊脚石。国产 AI 框架 MindSpore 提供了一种强...
如何理解 Go 语言泛型:详解单态化与字典查找的性能权衡 Go 1.18 引入泛型后,开发者在享受代码复用便利的同时,也对其底层实现产生的性能影响感到好奇。Go 并没有盲目追随 C++ 的完全单态化,也没有像 Java 那样通过类型擦除导致...
如何利用 MUSA 运行时的显存超发机制解决大模型推理中的显存不足问题 在国产 GPU 适配的过程中,显存不足(OOM, Out of Memory)是运行大规模语言模型(LLM)时最常见的痛点。摩尔线程(Moore Threads)的 M...
如何通过 MUSA 集群进行大模型分布式训练:详解多卡互联与带宽优化 随着国产算力的崛起,摩尔线程(Moore Threads)的 MUSA 架构已成为大模型训练的重要选择。在多卡集群环境下,如何充分利用 MT-Link 互联技术并优化通信...
引言 随着国产 GPU 算力的快速发展,摩尔线程推出的 MUSA (Moore Threads Unified System Architecture) 架构因其对 CUDA 生态的高度兼容性,成为 AI 开发者实现国产化替代的首选路径之一...
如何利用华为迁移工具自动化实现 CUDA 到 CANN 的算子代码映射 随着国产算力加速卡的应用普及,将原本运行在 NVIDIA GPU 上的 CUDA 算子迁移到华为昇腾 Ascend NPU 环境已成为开发者的核心痛点。本文将详解如何利...
如何解决昇腾 NPU 上频繁创建张量导致的内存碎片问题 在将模型从 CUDA 迁移到昇腾 NPU(Ascend)时,很多开发者会遇到一个诡异现象:通过 nvidia-smi 类似的工具观察,显存(HBM)占用并没满,但程序却频繁报出 Out...
如何解决 Go 语言中接口 nil 判定的陷阱 在 Go 语言开发中,判定一个变量是否为 nil 是最基础的操作。然而,在处理接口(interface)类型时,很多开发者会遇到一个极其隐蔽的坑:一个存储了 nil 指针的接口变量,在进行 *...
如何通过 AclLite 封装大幅简化昇腾推理程序的开发流程 在国产昇腾(Ascend)芯片上进行 AI 推理开发时,开发者通常需要直接面对 CANN (Compute Architecture for Neural Networks) 的...