标签：到底

2026-01-31andy阅读(14)评论(0)

在训练大规模深度学习模型（特别是LLMs）时，单块GPU的计算能力和内存往往无法满足需求。分布式训练是解决这一问题的核心手段。面试中，区分数据并行（DP）、模型并行（MP/TP）和流水线并行（PP）及其切分依据，是考察候选人分布式系统理解能...

2026-01-29andy阅读(15)评论(0)

在评估GPU、AI加速卡或高性能计算芯片的性能时，TFLOPS（Tera-Floating Point Operations Per Second，每秒万亿次浮点运算）是一个核心指标。然而，规格书上的TFLOPS数字往往是理论峰值性能，它极...