详解国产化环境下的模型精校方案:如何排查由于底层算子数值精度差异导致的模型不收敛
如何排查国产AI芯片环境下因算子精度差异导致的模型不收敛问题 在将深度学习模型(如ResNet、Transformer)从标准的PyTorch/TensorFlow环境迁移到国产NPU(如昇腾、寒武纪、昆仑芯等)时,开发者常遇到一个痛点:代...
如何排查国产AI芯片环境下因算子精度差异导致的模型不收敛问题 在将深度学习模型(如ResNet、Transformer)从标准的PyTorch/TensorFlow环境迁移到国产NPU(如昇腾、寒武纪、昆仑芯等)时,开发者常遇到一个痛点:代...
如何构建标准的国产化算力容器镜像:详解底层硬件映射与二进制文件注入 在国产化 AI 浪潮中,昇腾 (Ascend)、寒武纪 (Cambricon)、海光 (DCU) 等硬件层出不穷。由于各家厂商的驱动模型与 CUDA 体系存在差异,开发者往...
如何通过分析 Plan 9 汇编优化 Go 语言的高性能计算函数 在 Go 语言开发中,绝大多数场景下我们不需要关注底层汇编。但在编写高性能科学计算、加解密算法或底层驱动时,理解 Go 的 Plan 9 汇编能帮助我们洞察编译器的行为,消除...
1. 背景:为什么相同的量化模型在不同芯片上精度不同? 在国产化适配过程中,开发者常遇到一个困惑:在 PyTorch 下验证良好的 INT8 量化模型,部署到昇腾(Ascend)、寒武纪(Cambricon)或昆仑芯(KunlunCore)...
如何利用 MindSpore 算子下沉机制显著提升模型训练速度 在深度学习模型的训练过程中,Host(CPU)与 Device(如昇腾 NPU 或 GPU)之间的频繁通信往往是性能的绊脚石。国产 AI 框架 MindSpore 提供了一种强...
如何理解 Go 语言泛型:详解单态化与字典查找的性能权衡 Go 1.18 引入泛型后,开发者在享受代码复用便利的同时,也对其底层实现产生的性能影响感到好奇。Go 并没有盲目追随 C++ 的完全单态化,也没有像 Java 那样通过类型擦除导致...
如何利用 MUSA 运行时的显存超发机制解决大模型推理中的显存不足问题 在国产 GPU 适配的过程中,显存不足(OOM, Out of Memory)是运行大规模语言模型(LLM)时最常见的痛点。摩尔线程(Moore Threads)的 M...
如何通过 MUSA 集群进行大模型分布式训练:详解多卡互联与带宽优化 随着国产算力的崛起,摩尔线程(Moore Threads)的 MUSA 架构已成为大模型训练的重要选择。在多卡集群环境下,如何充分利用 MT-Link 互联技术并优化通信...
引言 随着国产 GPU 算力的快速发展,摩尔线程推出的 MUSA (Moore Threads Unified System Architecture) 架构因其对 CUDA 生态的高度兼容性,成为 AI 开发者实现国产化替代的首选路径之一...
如何利用华为迁移工具自动化实现 CUDA 到 CANN 的算子代码映射 随着国产算力加速卡的应用普及,将原本运行在 NVIDIA GPU 上的 CUDA 算子迁移到华为昇腾 Ascend NPU 环境已成为开发者的核心痛点。本文将详解如何利...