深度学习

2026-02-11andy阅读(53)评论(0)

如何解决模型PTQ后在端侧精度断崖式下跌的问题：详解PTQ与QAT量化技术 随着AI模型部署到手机、IoT设备等端侧硬件的需求日益增加，模型量化（Quantization）成为了提升推理速度和减少内存占用的关键技术。然而，许多开发者发现，在...

2026-02-11andy阅读(44)评论(0)

TensorFlow 在早期的 1.x 版本中，模型存储通常依赖于 Checkpoint 文件（.ckpt）。许多初学者会疑惑：.ckpt 文件里存储的究竟是什么？为什么加载它还需要一个额外的 .meta 文件？ 答案就是 元图（MetaG...

2026-02-10andy阅读(30)评论(0)

在使用 TensorFlow (TF) 进行深度学习开发时，尤其是涉及到 GPU 资源管理时，许多开发者会遇到一个令人头疼的问题：TensorFlow 默认会在初始化时，预先分配几乎所有可用的 GPU 显存，即使模型非常小。这导致了显存资源...

2026-02-10andy阅读(46)评论(0)

在TensorFlow 2.x时代，我们广泛使用@tf.function来将Python函数编译成高效的TensorFlow计算图（Graph）。然而，当我们在这些被编译的函数内部尝试使用标准的Python print()函数来查看张量数值...

2026-02-10andy阅读(34)评论(0)

在高性能计算领域，特别是深度学习推理和训练中，最大限度地利用硬件（如GPU或TPU）的计算能力至关重要。TensorFlow通过集成XLA（Accelerated Linear Algebra，加速线性代数）编译器来实现这一目标。然而，全局...

2026-02-10andy阅读(46)评论(0)

TensorFlow Serving (TFS) 是生产环境中部署模型的标准工具。在AI应用迭代速度极快的今天，如何在不中断服务的情况下更新模型（模型热更新，或零停机切换）成为了关键挑战。TFS通过其内置的模型版本管理机制，完美地解决了这个...

2026-02-09andy阅读(39)评论(0)

如何通过 tf.lite.Optimize 实现权重量化：让你的模型在移动端实现 4 倍压缩 1. 为什么需要权重量化？ 在将深度学习模型部署到资源受限的移动设备（如手机、IoT设备）时，模型的体积和推理速度是关键瓶颈。标准的深度学习模型（...

2026-02-09andy阅读(47)评论(0)

引言 在训练大型深度学习模型时，显存（VRAM）往往是最大的瓶颈之一。TensorFlow 2.x 引入了强大的混合精度训练（Mixed Precision Training）功能，允许我们在不牺牲模型精度的情况下，大幅减少显存占用并提高训...

2026-02-09andy阅读(36)评论(0)

SavedModel 格式详解：为什么它是 TensorFlow 生产环境下模型持久化的唯一真神 在 TensorFlow 生态系统中，模型持久化有两种常见方式：Keras H5 格式（.h5）和 SavedModel 格式。虽然 H5 格...

2026-02-09andy阅读(42)评论(0)

在进行大规模模型训练时，我们通常采用分布式数据并行（DDP）来加速训练过程。然而，如果不恰当地处理数据加载，很容易导致不同工作节点（GPU/进程）之间的数据读取任务不均衡，进而造成GPU等待I/O，降低整体训练效率。 本文将聚焦于 PyTo...