深度学习

2026-08-08andy阅读(43)

在 TensorFlow 2.x 的即时执行模式下， 1tf.GradientTape 是实现自动微分的核心工具。大多数教程只涉及最基础的”前向传播 → 计算损失 → 反向传播”流程，但在真实生产场景中，我们经常需要...

2026-08-07andy阅读(46)

为什么 KV Cache 成了大模型推理的命门？ 在 Transformer 架构的大语言模型中，自回归生成（autoregressive generation）是推理阶段的核心模式——每生成一个新 token，模型都需要关注之前所有已生成...

2026-08-03andy阅读(56)

在深度学习的实际工程中，变长序列处理一直是一个令人头疼的问题。无论是 NLP 中的不定长文本、语音识别中的变长音频帧，还是时间序列预测中的不规则采样，都需要我们在计算图中优雅地处理动态形状。TensorFlow 2.x 虽然以 Eager ...

2026-08-01andy阅读(72)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...

2026-07-28andy阅读(107)

TensorFlow 2.x 默认采用即刻执行（Eager Execution）模式，让开发者可以像写普通 Python 代码一样调试和运行模型。然而，即刻执行虽然方便调试，却在性能上存在明显瓶颈——每次运算都需要 Python 运行时与 ...

2026-07-27andy阅读(80)

在大语言模型的演进历程中，位置编码（Positional Encoding）始终是一个核心而微妙的问题。Transformer 架构本身是排列等变的，它无法区分“猫追狗”和“狗追猫”——必须通过位置编码注入顺序信息。自 2021 年苏剑林等...

2026-07-26andy阅读(1394)评论(0)

如何在海光 DCU DTK 环境下平滑迁移 ROCm 项目：解决版本冲突的实战指南 海光 DCU（Deep Computing Unit）作为国产 AI 算力的佼佼者，其底层软件栈 DTK（Deep-learning ToolKit）高度兼...

2026-07-26andy阅读(431)评论(0)

如何实现 AI 模型权重的端到端加密部署：从服务器下发到 TEE 内部解密的完整链路 在 AI 模型商业化落地中，模型权重是核心资产。如果模型直接以 .onnx 或 .tflite 明文形式存储在终端磁盘，极易被破解者直接“拖库”。本文将介...

2026-07-26andy阅读(382)评论(0)

如何针对大模型特定层进行混合精度量化：基于敏感度分析的自动策略分配 在部署大语言模型（LLM）时，全量化（如统一 INT4）虽然能极大降低显存占用，但往往会导致模型在复杂逻辑推理上出现“降智”。由于模型不同层对精度的敏感度不同，混合精度量化...

2026-07-26andy阅读(385)评论(0)

在使用 TensorFlow (TF) 进行深度学习开发时，尤其是涉及到 GPU 资源管理时，许多开发者会遇到一个令人头疼的问题：TensorFlow 默认会在初始化时，预先分配几乎所有可用的 GPU 显存，即使模型非常小。这导致了显存资源...