深度学习

2026-02-13andy阅读(411)评论(0)

在AI模型的推理加速领域，显存带宽往往是性能瓶颈的关键。模型计算图中的许多操作，如卷积（Conv）和随后的激活函数（ReLU），虽然逻辑上是独立的步骤，但在执行时，需要将中间结果从计算单元（如GPU或NPU）写入显存，再由下一个操作读取。这...

2026-02-12andy阅读(366)评论(0)

在将深度学习模型部署到移动端或嵌入式设备时，模型的大小和推理速度是至关重要的指标。许多从PyTorch或TensorFlow导出的ONNX模型，在计算图中包含大量冗余节点、不必要的初始化器（Initializers）或可合并的常量操作（如S...

2026-02-12andy阅读(413)评论(0)

在将复杂的 TensorFlow 模型部署到端侧（如移动设备或嵌入式系统）时，我们通常需要使用 TensorFlow Lite (TFLite) 转换器。然而，当模型中包含自定义层、复杂的控制流或某些非核心 TensorFlow 算子时，转...

2026-02-12andy阅读(608)评论(0)

模型量化（Quantization）是端侧推理加速的关键技术之一，它将浮点数（FP32）权重和激活值转换为低比特整数（如INT8），显著减少了模型大小并提高了计算效率。然而，量化方式的选择——特别是对称量化（Symmetric Quanti...

2026-02-12andy阅读(565)评论(0)

详解神经网络权重的聚类压缩算法：如何利用 Codebook 降低移动端内存带宽压力 在移动端和边缘设备上部署深度学习模型时，模型体积和推理时的内存带宽往往是最大的性能瓶颈。传统的量化（如INT8）可以压缩数据，但聚类压缩提供了一种更为灵活且...

2026-02-11andy阅读(435)评论(0)

混合精度（Mixed Precision）量化是解决端侧AI模型部署中“精度损失”与“推理加速”矛盾的核心策略。当我们对整个模型进行激进的INT8量化时，通常会发现少数几个关键层（如Attention机制中的线性层、Softmax输入层或模...

2026-02-11andy阅读(334)评论(0)

模型压缩是AI模型在端侧部署和加速推理的关键步骤。在众多压缩技术中，结构化剪枝（尤其是通道剪枝）因其能直接减少参数数量和计算量（FLOPs），成为实现模型体积减半的有效手段。本文将聚焦于如何结合L1稀疏化训练和通道剪枝，在PyTorch框架...

2026-02-11andy阅读(434)评论(0)

如何解决模型PTQ后在端侧精度断崖式下跌的问题：详解PTQ与QAT量化技术 随着AI模型部署到手机、IoT设备等端侧硬件的需求日益增加，模型量化（Quantization）成为了提升推理速度和减少内存占用的关键技术。然而，许多开发者发现，在...

2026-02-11andy阅读(383)评论(0)

TensorFlow 在早期的 1.x 版本中，模型存储通常依赖于 Checkpoint 文件（.ckpt）。许多初学者会疑惑：.ckpt 文件里存储的究竟是什么？为什么加载它还需要一个额外的 .meta 文件？ 答案就是 元图（MetaG...

2026-02-10andy阅读(342)评论(0)

在TensorFlow 2.x时代，我们广泛使用@tf.function来将Python函数编译成高效的TensorFlow计算图（Graph）。然而，当我们在这些被编译的函数内部尝试使用标准的Python print()函数来查看张量数值...