ai-infra

2026-02-08andy阅读(51)评论(0)

PyTorch 的 Autograd 机制是其核心竞争力之一。与 TensorFlow 1.x 等框架使用的静态图不同，PyTorch 采用动态计算图（Define-by-Run），这意味着计算图是在前向传播过程中即时构建的。而 backw...

2026-02-07andy阅读(49)评论(0)

在多 GPU 分布式训练（例如使用 PyTorch DDP 或 TensorFlow MirroredStrategy）中，显存（VRAM）使用不均衡是一个常见但棘手的问题。当您在 8 块 A100 上遇到此问题时，通常意味着某个或某些进程...

2026-02-07andy阅读(44)评论(0)

知识蒸馏（Knowledge Distillation, KD）是一种模型压缩技术，通过训练一个轻量级的学生模型去模仿一个性能强大的教师模型（Teacher Model）的输出。在大模型（LLM）时代，KD的焦点已经从单纯的“模仿输出概率”...

2026-02-07andy阅读(46)评论(0)

模型剪枝（Pruning）作为一种重要的模型压缩技术，其核心思想是移除神经网络中不重要的权重，从而减小模型体积并理论上降低计算量（FLOPs）。然而，在实践中，尤其是部署到通用CPU或GPU上时，我们往往发现剪枝带来的FLOPs减少并未等比...

2026-02-07andy阅读(48)评论(0)

在深度学习模型部署到边缘设备或服务器时，模型量化（如 INT8）是提高推理速度和降低内存占用的关键技术。然而，对于大型语言模型（LLM）和现代 Transformer 架构，直接使用传统的后训练量化（PTQ）方法往往会导致显著的精度下降，甚...

2026-02-06andy阅读(52)评论(0)

在将大型语言模型（LLM）部署到资源受限的端侧设备（如手机、边缘计算网关）时，模型量化是提高推理速度和降低内存占用的关键技术。4-bit 量化（如 GPTQ 和 AWQ）因其极高的压缩比而受到广泛关注。然而，这两种流行算法在底层实现和硬件亲...

2026-02-06andy阅读(66)评论(0)

模型量化是将模型权重和激活值从高精度浮点数（如FP32）转换为低精度定点整数（如INT8）的过程，以减少模型大小和计算延迟。在面试中，理解均匀量化（Uniform Quantization）的基础知识，特别是如何计算 Scale ($S$)...

2026-02-06andy阅读(51)评论(0)

在深度学习和高性能计算环境中，GPU是核心资源。显存泄漏（Memory Leak）或功率过载不仅会影响当前任务的稳定性，还可能导致硬件损耗。本指南将介绍如何结合 Prometheus、Alertmanager 和 dcgm-exporter...

2026-02-06andy阅读(90)评论(0)

在训练万亿参数（TB级权重）的大型语言模型（LLM）时，断点续训（Checkpointing）是至关重要的一环。然而，传统的PyTorch保存方式通常需要Rank 0节点聚合所有权重，这会导致严重的I/O瓶颈和内存溢出，使得保存一次权重可能...

2026-02-05andy阅读(73)评论(0)

在分布式 AI 训练任务中（例如 PyTorch Distributed 或 Horovod），一个任务通常包含多个相互依赖的 Pods（例如一个 Master 和 N 个 Worker）。这些 Pods 必须同时启动才能开始工作。如果 K...