标签：深度学习

2026-08-21andy阅读(2)

什么是知识蒸馏？核心概念与动机 知识蒸馏（Knowledge Distillation）是模型压缩领域最经典且最实用的技术之一，由Geoffrey Hinton等人在2015年的论文“Distilling the Knowled...

2026-08-19andy阅读(15)

Kaggle作为全球最大的数据科学社区和竞赛平台，不仅提供了海量的数据集和竞赛机会，还推出了一套完整的免费微课程（Micro-Courses）体系。这些课程覆盖了从Python编程基础到深度学习、从数据清洗到特征工程的完整数据科学工作流，是...

2026-08-08andy阅读(51)

在 TensorFlow 2.x 的即时执行模式下， 1tf.GradientTape 是实现自动微分的核心工具。大多数教程只涉及最基础的”前向传播 → 计算损失 → 反向传播”流程，但在真实生产场景中，我们经常需要...

2026-08-03andy阅读(65)

在深度学习的实际工程中，变长序列处理一直是一个令人头疼的问题。无论是 NLP 中的不定长文本、语音识别中的变长音频帧，还是时间序列预测中的不规则采样，都需要我们在计算图中优雅地处理动态形状。TensorFlow 2.x 虽然以 Eager ...

2026-07-26andy阅读(203)

引言：为什么 torch.compile 改变了 PyTorch 的游戏规则 2023 年 PyTorch 2.0 的发布标志着 PyTorch 生态的一个重大转折点。其中最核心的新特性—— 1torch.compile ——被 PyTor...

2026-07-26andy阅读(354)

为什么选择 Google Colab？ 在深度学习和大语言模型爆发的今天，GPU 算力成为了 AI 开发者的硬通货。对于个人开发者、学生和独立研究者来说，动辄几千上万的 GPU 服务器租赁费用常常让人望而却步。Google Colab（Co...

2026-07-25andy阅读(94)

自2017年Google在论文《Attention Is All You Need》中提出Transformer架构以来，它已经彻底改变了自然语言处理乃至整个深度学习的格局。从BERT到GPT，从ViT到CLIP，几乎所有现代大型模型的核心...

2026-07-22andy阅读(91)

一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...

2026-07-20andy阅读(114)

引言：为什么机器学习模型需要正则化？ 在机器学习实践中，我们经常会遇到这样的困境：模型在训练集上表现完美，准确率接近100%，但一旦面对全新的测试数据，性能就急剧下降。这种现象被称为过拟合（Overfitting），是机器学习中最常见也最棘...

2026-07-19andy阅读(90)

前言：为什么迁移学习成为深度学习的主流范式 在深度学习领域，从头训练一个大型神经网络往往需要海量的标注数据和昂贵的计算资源。以ImageNet上训练的ResNet-152为例，使用8块V100 GPU也需要数天时间才能完成完整训练。对于大多...