ai-infra

2026-02-10andy阅读(284)评论(0)

存算一体架构（CIM）：AI算力下一阶段的性能飞跃还是工程挑战？ 随着AI模型（尤其是大语言模型和Transformer架构）的规模爆炸式增长，对算力的需求也急剧上升。然而，传统的冯·诺依曼（Von Neumann）架构正在成为限制AI加速...

2026-02-10andy阅读(519)评论(0)

在深度学习模型优化，尤其是移动端（如高通Adreno NPU、华为Ascend NPU等）部署时，我们通常认为1×1卷积（点卷积）由于其极少的浮点运算量（FLOPs）理应比3×3卷积快得多。然而，在实际的NPU性能测试中...

2026-02-09andy阅读(509)评论(0)

在大规模数据中心集群中，网络拓扑通常采用多级架构（如Fat-Tree或Spine-Leaf），跨越不同交换机（尤其是跨越核心交换机）的通信，相比同一交换机下的通信，往往具有更高的延迟和更大的带宽开销。对于需要高频、低延迟通信的应用（如分布式...

2026-02-09andy阅读(321)评论(0)

深度学习模型训练过程中，如果发现训练损失（Loss）突然飙升并变为NaN（Not a Number），通常标志着梯度爆炸或数值溢出。虽然直接的数值问题需要ML工程师从模型结构、学习率、或数据预处理层面解决，但作为Infra（基础设施）工程师...

2026-02-08andy阅读(511)评论(0)

在深度学习和高性能计算领域，算子（Kernel）的性能往往是模型推理速度的瓶颈。虽然像 cuBLAS 和 cuDNN 这样的厂商原生库已经高度优化，但它们是通用性的。当面对特定维度、数据类型或计算模式时，通过像 Triton 这样的领域特定...

2026-02-08andy阅读(429)评论(0)

在深度学习，尤其是大型语言模型（LLM）的面试中，这是一个非常常见且重要的问题。理解计算瓶颈是优化模型部署和推理速度的关键。对于基于 Transformer 架构的大模型，在推理（Inference）阶段，计算瓶颈确实往往落在存储带宽（Me...

2026-02-08andy阅读(764)评论(0)

训练大型语言模型（LLM）是计算密集型任务，其成本往往以GPU-Hours（GPU小时数）来衡量。准确估算这一指标，是项目规划和预算控制的关键。本文将基于LLM训练的算力基础公式（Chinchilla Scaling Laws），提供一个实...

2026-02-08andy阅读(331)评论(0)

PyTorch 的 Autograd 机制是其核心竞争力之一。与 TensorFlow 1.x 等框架使用的静态图不同，PyTorch 采用动态计算图（Define-by-Run），这意味着计算图是在前向传播过程中即时构建的。而 backw...

2026-02-07andy阅读(294)评论(0)

在多 GPU 分布式训练（例如使用 PyTorch DDP 或 TensorFlow MirroredStrategy）中，显存（VRAM）使用不均衡是一个常见但棘手的问题。当您在 8 块 A100 上遇到此问题时，通常意味着某个或某些进程...

2026-02-07andy阅读(289)评论(0)

知识蒸馏（Knowledge Distillation, KD）是一种模型压缩技术，通过训练一个轻量级的学生模型去模仿一个性能强大的教师模型（Teacher Model）的输出。在大模型（LLM）时代，KD的焦点已经从单纯的“模仿输出概率”...