汤不热吧
FP8 量化训练怎么做？E4M3/E5M2、BF16 对比与 Transformer Engine 实战
FP8训练如何配置？对比FP8与BF16，解释E4M3/E5M2和缩放策略，并提供Transformer Engine、Megatron-LM配置及精度溢出排查方法。
标签：GPU训练
TensorFlow Data Pipeline 优化实战：从 TFRecord 到 tf.data 高性能数据加载
为什么需要关注数据管线性能 在深度学习项目中，很多人把精力花在模型架构设计和超参数调优上，却忽视了数据加载管线的优化。实际上，当 GPU 利用率长期低于 70% 时，模型训练时间可能因为数据管线的瓶颈而被拉长 2-3 倍。TensorFlo...
TensorFlow 2.x分布式训练实战：从MirroredStrategy到MultiWorkerMirroredStrategy
引言：为什么需要分布式训练？ 随着深度学习模型的规模不断增长，单张GPU卡已经难以满足大多数实际生产场景的训练需求。从BERT（3.4亿参数）到GPT-3（1750亿参数），再到LLaMA系列和最近流行的DeepSeek、Qwen等大语言模...