深度学习

2026-02-09andy阅读(81)评论(0)

如何通过 tf.lite.Optimize 实现权重量化：让你的模型在移动端实现 4 倍压缩 1. 为什么需要权重量化？ 在将深度学习模型部署到资源受限的移动设备（如手机、IoT设备）时，模型的体积和推理速度是关键瓶颈。标准的深度学习模型（...

2026-02-09andy阅读(91)评论(0)

引言 在训练大型深度学习模型时，显存（VRAM）往往是最大的瓶颈之一。TensorFlow 2.x 引入了强大的混合精度训练（Mixed Precision Training）功能，允许我们在不牺牲模型精度的情况下，大幅减少显存占用并提高训...

2026-02-09andy阅读(74)评论(0)

SavedModel 格式详解：为什么它是 TensorFlow 生产环境下模型持久化的唯一真神 在 TensorFlow 生态系统中，模型持久化有两种常见方式：Keras H5 格式（.h5）和 SavedModel 格式。虽然 H5 格...

2026-02-09andy阅读(87)评论(0)

在进行大规模模型训练时，我们通常采用分布式数据并行（DDP）来加速训练过程。然而，如果不恰当地处理数据加载，很容易导致不同工作节点（GPU/进程）之间的数据读取任务不均衡，进而造成GPU等待I/O，降低整体训练效率。 本文将聚焦于 PyTo...

2026-02-08andy阅读(102)评论(0)

谷歌的张量处理单元（TPU）是专为加速深度学习工作负载而设计的硬件，尤其擅长处理大规模的矩阵乘法和卷积操作。然而，要充分发挥TPU的性能，我们必须确保计算图能够被高效地编译和分发。在TensorFlow中，这主要通过 tf.distribu...

2026-02-08andy阅读(114)评论(0)

分布式训练是加速大型模型训练的关键技术。在多GPU或多机环境中，梯度同步（Gradient Synchronization）的效率决定了整体训练的性能上限。在TensorFlow和PyTorch等框架中，NVIDIA的集合通信库（NCCL）...

2026-02-08andy阅读(102)评论(0)

在推荐系统、自然语言处理等领域，Embedding（词向量）层往往是模型中最大的组成部分。当词汇量达到千万甚至亿级别时，Embedding表的大小会轻易超出单个GPU甚至单个服务器的内存限制，并且参数更新会变得高度稀疏和低效。TensorF...

2026-02-08andy阅读(92)评论(0)

MultiWorkerMirroredStrategy (MWMS) 是 TensorFlow 2.x 中用于多机多卡同步训练的首选策略。它通过在每个 Worker 的 GPU 上复制模型权重，并在梯度计算后使用 All-reduce 操作...

2026-02-07andy阅读(86)评论(0)

在自然语言处理（NLP）或处理其他序列数据时，我们经常遇到批量数据中序列长度不一致的情况（例如句子长短不一）。传统的做法是使用零值（padding）将所有序列填充到批次中的最大长度。这不仅浪费了内存，也导致模型在推理或训练时对这些零值进行不...

2026-02-07andy阅读(80)评论(0)

在处理推荐系统或大规模广告系统时，我们经常遇到具有数百万甚至数十亿唯一值的类别特征（如用户ID、商品ID）。如果直接将这些ID作为输入并依赖传统的 Keras Embedding 层，模型在内存和初始化速度上都会面临巨大挑战。 解决这个问题...