深度学习

2026-08-19andy阅读(207)

引言：LLM 推理服务的吞吐量困局 当我们将一个大语言模型部署到生产环境时，最核心的挑战往往不是模型本身的精度，而是如何高效地利用 GPU 算力服务海量并发请求。一个 7B 参数的模型在单张 A100 上串行推理，每个请求可能需要数百毫秒到...

2026-08-08andy阅读(216)

在 TensorFlow 2.x 的即时执行模式下， 1tf.GradientTape 是实现自动微分的核心工具。大多数教程只涉及最基础的”前向传播 → 计算损失 → 反向传播”流程，但在真实生产场景中，我们经常需要...

2026-08-07andy阅读(227)

为什么 KV Cache 成了大模型推理的命门？ 在 Transformer 架构的大语言模型中，自回归生成（autoregressive generation）是推理阶段的核心模式——每生成一个新 token，模型都需要关注之前所有已生成...

2026-08-03andy阅读(232)

在深度学习的实际工程中，变长序列处理一直是一个令人头疼的问题。无论是 NLP 中的不定长文本、语音识别中的变长音频帧，还是时间序列预测中的不规则采样，都需要我们在计算图中优雅地处理动态形状。TensorFlow 2.x 虽然以 Eager ...

2026-08-01andy阅读(241)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...

2026-07-28andy阅读(304)

TensorFlow 2.x 默认采用即刻执行（Eager Execution）模式，让开发者可以像写普通 Python 代码一样调试和运行模型。然而，即刻执行虽然方便调试，却在性能上存在明显瓶颈——每次运算都需要 Python 运行时与 ...

2026-07-27andy阅读(283)

在大语言模型的演进历程中，位置编码（Positional Encoding）始终是一个核心而微妙的问题。Transformer 架构本身是排列等变的，它无法区分“猫追狗”和“狗追猫”——必须通过位置编码注入顺序信息。自 2021 年苏剑林等...

2026-07-26andy阅读(604)评论(0)

如何利用 ARM i8mm 指令集加速端侧量化模型推理 在端侧 AI 推理（如手机、嵌入式设备）中，Int8 量化是提升性能、降低能耗的核心技术。传统的 ARM NEON 指令集虽有 SDOT (点乘) 指令，但在处理大规模矩阵乘法时仍显吃...

2026-07-26andy阅读(756)评论(0)

如何针对瑞芯微 RK3588 NPU 进行算子裁剪与加速：实现边缘 AI 的极致响应 在边缘计算领域，瑞芯微 RK3588 以其 6TOPS 的 NPU 算力成为国产芯片的佼佼者。然而，许多开发者发现直接部署模型时，推理速度远达不到预期。这...

2026-07-26andy阅读(982)评论(0)

如何利用华为迁移工具自动化实现 CUDA 到 CANN 的算子代码映射 随着国产算力加速卡的应用普及，将原本运行在 NVIDIA GPU 上的 CUDA 算子迁移到华为昇腾 Ascend NPU 环境已成为开发者的核心痛点。本文将详解如何利...