如果训练 Loss 突然变成 NaN，作为 Infra 工程师，你该提供哪些底层数据辅助？

深度学习模型训练过程中，如果发现训练损失（Loss）突然飙升并变为NaN（Not a Number），通常标志着梯度爆炸或数值溢出。虽然直接的数值问题需要ML工程师从模型结构、学习率、或数据预处理层面解决，但作为Infra（基础设施）工程师，我们必须提供详尽的底层数据，帮助ML团队排除环境、硬件或配置引发的潜在故障。

Infra工程师的角色是确保环境的稳定性和透明度。以下是四个关键的数据类别，你在故障发生时必须立即收集并提供给ML团队。

1. 硬件状态和错误日志 (GPU Health Check)

Loss变NaN有时是由于硬件瞬时错误或温度过高导致计算单元不稳定。GPU状态是首要检查项。

收集内容及操作：

1. 详细的GPU查询报告： 检查GPU的ECC状态（Error Correcting Code）、温度、功耗限制（Power Limit）和瞬时利用率。
2. 系统内核日志： 检查是否有PCIe错误、驱动崩溃或硬件超温警告。

收集命令示例 (Bash):

# 立即记录详细的GPU状态报告
nvidia-smi -q -d ECC,POWER,TEMPERATURE,UTILIZATION > gpu_status_at_nan.txt

# 检查内核日志是否有硬件相关错误
dmesg | grep -E 'NVRM|pci' > kernel_errors_at_nan.txt

# 检查特定GPU的显存错误计数 (如果支持)
# 替换<GPU_ID>为发生故障的GPU编号
nvidia-smi --query-gpu=pci.bus_id,retired_pages.single_bit,retired_pages.double_bit --format=csv

2. 系统资源快照 (CPU, Memory, I/O)

即使是GPU密集型任务，数据加载（DataLoader）过程也依赖CPU和内存。如果系统因内存溢出而开始使用大量Swap，或者I/O吞吐量急剧下降，可能导致数据在传输到GPU时出现异常或延迟，间接引发NaN。

收集内容及操作：

1. 内存和Swap使用情况。
2. CPU负载和I/O等待时间。
3. 网络吞吐量 (尤其在分布式训练中，检查NCCL或RDMA连接是否健康)。

收集命令示例 (Bash):

# 记录系统资源快照
top -b -n 1 > system_snapshot_at_nan.txt

# 记录内存使用情况 (检查Swap)
free -h >> system_snapshot_at_nan.txt

# 记录磁盘I/O情况 (检查数据加载瓶颈)
iostat -x 1 5 >> io_snapshot_at_nan.txt

# 分布式训练中检查网络状态 (例如：ping其他节点或检查InfiniBand/RoCE状态)

3. 软件环境配置及精度设置

数值溢出是NaN的主要原因，而训练框架（如PyTorch/TensorFlow）的配置，特别是混合精度（FP16）设置，直接影响数值稳定性。Infra工程师需要确认训练任务启动时使用的具体环境配置。

收集内容及操作：

1. CUDA/cuDNN版本。
2. GPU驱动版本。
3. 环境变量： 尤其关注与精度相关的环境变量，例如是否强制使用了某些FP16/AMP（Automatic Mixed Precision）开关，或者是否有影响内存分配的设置。

收集命令示例 (Bash/Python):

# 确认驱动和CUDA工具包版本
nvcc --version
cat /proc/driver/nvidia/version

# 确认关键环境变量 (例如，如果使用Slurm或自定义调度系统)
env | grep -E 'CUDA|TORCH|TF'

注意：如果模型使用了PyTorch的torch.cuda.amp.GradScaler，NaN出现往往是因为Gradient Scaler工作不正常或超出了FP16的动态范围。Infra需要确认相关的框架和驱动支持FP16/BF16的兼容性。

4. 故障发生时的训练上下文和日志

时间线对于调试至关重要。Infra工程师需要提供准确的时间戳，并确认故障发生前后，计算任务是否被调度器（如Kubernetes/Slurm）中断或迁移过。

收集内容及操作：

1. 故障发生的精确时间点 (UTC/Local)。
2. 调度器日志： 确认容器/任务在故障期间是否经历了重启、OOM Kill或其他资源限制触发的事件。
3. 完整的应用日志片段： 提供包含NaN首次出现及其前50-100个训练步（steps）的日志，以便ML工程师检查最后几次迭代的Loss和梯度值。

Infra工程师应建立一个自动化的监控和日志系统，能够在训练任务异常终止时（如退出码非零，或日志中出现NaN关键词时），自动执行上述命令，并打包生成诊断报告，从而大大缩短故障排查时间。