深度学习

2026-09-08阅读(52)评论(0)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...

2026-09-08阅读(49)评论(0)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...

2026-09-08andy阅读(42)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...

2026-09-08andy阅读(48)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...

2026-09-08andy阅读(47)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...

2026-09-08andy阅读(65)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...

2026-09-04andy阅读(68)

在深度学习模型走向生产环境的过程中，”它为什么给出这个预测”往往和”它预测得准不准”同样重要。无论是在医疗诊断、金融风控还是自动驾驶领域，模型的可解释性（Explainability）已成为合...

2026-09-03andy阅读(54)

知识蒸馏的前世今生：为什么我们需要让小模型”拜师学艺” 在深度学习的工程实践中，我们常常面临一个核心矛盾：大模型精度高但部署代价大，小模型速度快但性能受限。知识蒸馏（Knowledge Distillation）正是...

2026-08-27andy阅读(91)

在 TensorFlow 2.x 的 Keras API 中， 1tf.keras.layers.Layer 和 1tf.keras.Model 是构建一切深度学习模型的基础。虽然内置层（Dense、Conv2D、LSTM 等）覆盖了大部分...

2026-08-20andy阅读(103)

为什么需要自定义算子？ 在深度学习的工程实践中，TensorFlow 提供了数百个内置算子（Operator），覆盖了从基础矩阵运算到复杂卷积、注意力机制的绝大多数场景。然而，当你的模型需要特殊的数学变换、与硬件深度绑定的优化逻辑，或者 T...