如何利用 TensorFlow 混合精度训练:从 Policy 设置看 FP16 如何节省显存
引言 在训练大型深度学习模型时,显存(VRAM)往往是最大的瓶颈之一。TensorFlow 2.x 引入了强大的混合精度训练(Mixed Precision Training)功能,允许我们在不牺牲模型精度的情况下,大幅减少显存占用并提高训...
引言 在训练大型深度学习模型时,显存(VRAM)往往是最大的瓶颈之一。TensorFlow 2.x 引入了强大的混合精度训练(Mixed Precision Training)功能,允许我们在不牺牲模型精度的情况下,大幅减少显存占用并提高训...
引言:为什么需要模型优化? 在深度学习模型落地到生产环境的过程中,一个常见的困境是:模型在GPU服务器上跑得飞快、精度出色,但一旦需要部署到移动设备、边缘计算节点或者高并发API服务中,就会发现推理速度跟不上、内存占用过高。这个问题的本质在...

MIT 6.S191 深度学习入门免费课程:从神经网络基础到最新AI前沿的完整学习指南 在人工智能领域,MIT(麻省理工学院)的课程一直以高质量著称。其中MIT 6.S191 “Introduction to Deep Lear...

为什么需要关注数据管线性能 在深度学习项目中,很多人把精力花在模型架构设计和超参数调优上,却忽视了数据加载管线的优化。实际上,当 GPU 利用率长期低于 70% 时,模型训练时间可能因为数据管线的瓶颈而被拉长 2-3 倍。TensorFlo...

Google免费机器学习速成课程(MLCC)完整学习指南:从线性回归到神经网络的实战之路 在AI浪潮席卷全球的今天,掌握机器学习已经不再是数据科学家的专利。Google推出的机器学习速成课程(Machine Learning Crash C...

引言:为什么需要模型量化 在深度学习模型从研发走向生产的过程中,模型量化(Model Quantization)是一个绕不开的关键环节。随着Transformer、LLM等大模型规模的不断增长,模型的存储体积、推理速度和能耗成为制约落地的核...

引言:为什么需要分布式训练? 随着深度学习模型的规模不断增长,单张GPU卡已经难以满足大多数实际生产场景的训练需求。从BERT(3.4亿参数)到GPT-3(1750亿参数),再到LLaMA系列和最近流行的DeepSeek、Qwen等大语言模...
TensorFlow 在早期的 1.x 版本中,模型存储通常依赖于 Checkpoint 文件(.ckpt)。许多初学者会疑惑:.ckpt 文件里存储的究竟是什么?为什么加载它还需要一个额外的 .meta 文件? 答案就是 元图(MetaG...
TensorFlow Serving (TFS) 是生产环境中部署模型的标准工具。在AI应用迭代速度极快的今天,如何在不中断服务的情况下更新模型(模型热更新,或零停机切换)成为了关键挑战。TFS通过其内置的模型版本管理机制,完美地解决了这个...
SavedModel 格式详解:为什么它是 TensorFlow 生产环境下模型持久化的唯一真神 在 TensorFlow 生态系统中,模型持久化有两种常见方式:Keras H5 格式(.h5)和 SavedModel 格式。虽然 H5 格...