深度学习

2026-02-10andy阅读(449)评论(0)

在TensorFlow 2.x时代，我们广泛使用@tf.function来将Python函数编译成高效的TensorFlow计算图（Graph）。然而，当我们在这些被编译的函数内部尝试使用标准的Python print()函数来查看张量数值...

2026-02-10andy阅读(430)评论(0)

在高性能计算领域，特别是深度学习推理和训练中，最大限度地利用硬件（如GPU或TPU）的计算能力至关重要。TensorFlow通过集成XLA（Accelerated Linear Algebra，加速线性代数）编译器来实现这一目标。然而，全局...

2026-02-10andy阅读(637)评论(0)

TensorFlow Serving (TFS) 是生产环境中部署模型的标准工具。在AI应用迭代速度极快的今天，如何在不中断服务的情况下更新模型（模型热更新，或零停机切换）成为了关键挑战。TFS通过其内置的模型版本管理机制，完美地解决了这个...

2026-02-09andy阅读(480)评论(0)

如何通过 tf.lite.Optimize 实现权重量化：让你的模型在移动端实现 4 倍压缩 1. 为什么需要权重量化？ 在将深度学习模型部署到资源受限的移动设备（如手机、IoT设备）时，模型的体积和推理速度是关键瓶颈。标准的深度学习模型（...

2026-02-09andy阅读(485)评论(0)

SavedModel 格式详解：为什么它是 TensorFlow 生产环境下模型持久化的唯一真神 在 TensorFlow 生态系统中，模型持久化有两种常见方式：Keras H5 格式（.h5）和 SavedModel 格式。虽然 H5 格...

2026-02-09andy阅读(499)评论(0)

在进行大规模模型训练时，我们通常采用分布式数据并行（DDP）来加速训练过程。然而，如果不恰当地处理数据加载，很容易导致不同工作节点（GPU/进程）之间的数据读取任务不均衡，进而造成GPU等待I/O，降低整体训练效率。 本文将聚焦于 PyTo...

2026-02-08andy阅读(494)评论(0)

谷歌的张量处理单元（TPU）是专为加速深度学习工作负载而设计的硬件，尤其擅长处理大规模的矩阵乘法和卷积操作。然而，要充分发挥TPU的性能，我们必须确保计算图能够被高效地编译和分发。在TensorFlow中，这主要通过 tf.distribu...

2026-02-08andy阅读(573)评论(0)

分布式训练是加速大型模型训练的关键技术。在多GPU或多机环境中，梯度同步（Gradient Synchronization）的效率决定了整体训练的性能上限。在TensorFlow和PyTorch等框架中，NVIDIA的集合通信库（NCCL）...

2026-02-08andy阅读(437)评论(0)

在推荐系统、自然语言处理等领域，Embedding（词向量）层往往是模型中最大的组成部分。当词汇量达到千万甚至亿级别时，Embedding表的大小会轻易超出单个GPU甚至单个服务器的内存限制，并且参数更新会变得高度稀疏和低效。TensorF...

2026-02-08andy阅读(517)评论(0)

MultiWorkerMirroredStrategy (MWMS) 是 TensorFlow 2.x 中用于多机多卡同步训练的首选策略。它通过在每个 Worker 的 GPU 上复制模型权重，并在梯度计算后使用 All-reduce 操作...