华为昇腾适配经验：在没有 CUDA 的日子里，如何利用 CANN 调优模型性能

在脱离了熟悉的 CUDA 生态后，针对华为昇腾（Ascend）硬件进行深度学习模型推理性能优化，是许多开发者需要面临的挑战。昇腾平台的核心是 CANN（Compute Architecture for Neural Networks）工具链。本文将重点介绍如何利用 CANN 中的关键工具 ATC（Ascend Tensor Converter）和运行时 ACL（Ascend Computing Language）进行模型性能的初步和关键调优。

1. 理解昇腾性能优化的核心要素

与基于 GPU 的优化侧重于 kernel 编写不同，昇腾的性能优化更多依赖于前端的图优化、调度以及高效的内存管理。

• ATC 编译优化： ATC 负责将标准的模型格式（如 ONNX、TensorFlow SavedModel）转换为昇腾硬件可执行的离线模型（.om 文件）。在这个过程中，ATC 会执行算子融合、指令调度、内存规划等一系列底层优化。
• 动态形状与批次： 硬件资源利用率的关键在于确保模型能够高效处理不同尺寸的输入，或通过动态批次（Dynamic Batch）功能，根据当前负载选择最优的批次大小。

2. 使用 ATC 进行离线模型编译与优化

模型性能调优的第一步，也是最重要的一步，就是配置正确的 ATC 参数，生成高效的 .om 文件。

假设我们有一个名为 my_model.onnx 的模型，我们要针对 Ascend 910 芯片进行优化。

关键优化参数

1. 指定硬件版本 (–soc_version)： 必须指定目标芯片型号，因为不同的芯片架构可能拥有不同的 AI Core 数量和 Tiling 策略。
2. 动态 Batch/Shape (–dynamic_batch_size**, –input_shape)：** 允许模型在运行时选择最优的批次大小，这极大地提高了推理服务对不同并发量的适应性。

示例：编译带有动态 Batch 的模型

我们希望模型支持批次大小为 1、4、8、16 的输入。

# 假设当前工作环境已配置好 CANN 环境变量

atc \
    --model="./my_model.onnx" \
    --framework=5 \
    --output="./model_output/my_optimized_model" \
    --soc_version=Ascend910 \
    --input_format=NCHW \
    --input_shape="input_0:1,3,224,224" \
    --dynamic_batch_size="1,4,8,16" \
    --output_type=FP16

优化解读：

• –dynamic_batch_size=”1,4,8,16″：ATC 会针对这四个批次大小分别进行最优的算子调度和内存预分配， runtime 在运行时选择最匹配的批次配置。
• –output_type=FP16：强制将模型权重和输出转换为 FP16 格式，以充分利用昇腾 AI Core 的半精度计算能力，这是最基础的性能优化手段。

3. 运行时（ACL）内存管理与高效数据传输

仅仅编译优化还不够，在模型加载和执行阶段，高效的数据传输至关重要。避免 CPU 和设备之间不必要的拷贝和同步是提升性能的关键。

在昇腾上进行推理，我们需要使用 pyACL（Python API for ACL）或 C++ ACL API 来管理设备内存。

示例：使用 pyACL 加载和推理模型

以下 Python 示例展示了如何分配设备侧内存并执行推理，避免不必要的 Host-Device 拷贝。

import acl
import numpy as np

# 假设模型文件路径和输入数据已准备好
MODEL_PATH = './model_output/my_optimized_model.om'
DEVICE_ID = 0

# 1. 初始化 ACL 资源
acl.init()
context, run_mode = acl.rt.set_context(DEVICE_ID)

# 2. 加载模型
model_id = acl.mdl.load_from_file(MODEL_PATH)

# 3. 获取输入/输出描述符（假设只有一个输入 input_0）
model_desc = acl.mdl.get_desc(model_id)
input_size = acl.mdl.get_input_size_by_index(model_desc, 0)

# 4. 优化点：分配设备内存（Device Memory）
# 在主机(Host)分配输入数据
host_input = np.random.randn(1, 3, 224, 224).astype(np.float32)

# 在设备(Device)分配内存
device_input_ptr, ret = acl.rt.malloc(input_size, acl.MEM_MALLOC_HUGE_FIRST)

# 5. 优化点：高效数据传输
# 将 Host 数据异步拷贝到 Device
acl.rt.memcpy(
    device_input_ptr, input_size, 
    host_input.ctypes.data, host_input.size * host_input.itemsize, 
    acl.MEMCPY_HOST_TO_DEVICE
)

# 6. 设置输入数据缓冲区描述
# ... (这里省略了复杂的acl.mdl.create_input/output逻辑，但核心在于使用device_input_ptr)

# 7. 执行推理
# acl.mdl.execute(model_id, input_data, output_data)

# 8. 释放资源
acl.rt.free(device_input_ptr)
acl.mdl.unload(model_id)
acl.rt.destroy_context(context)
acl.finalize()

print("模型推理资源释放完成。")

关键性能要点总结

1. 优先使用 Device Memory： 尽可能在设备侧预分配和复用内存（如第 4 步所示），而不是每次推理都从 Host 重新拷贝。
2. 异步操作： 在更复杂的流水线中，使用 ACL 的异步 API (e.g., acl.rt.memcpy_async) 来重叠数据传输和计算，这是提升整体吞吐量的关键策略。
3. 使用 Profiling 工具： 利用 CANN 提供的 Ascend Profiler（如 msaccucmp 或 MindStudio 中的 Profiling 功能）来检测 CPU 瓶颈、AI Core 负载率和内存带宽使用情况，这是进一步调优的依据。