ai infra教程

为什么选择这门课？

如果你想成为一名AI架构师（AI Infra Engineer），而非仅仅是模型调用者，那么由CMU教授、XGBoost作者陈天奇与Zico Kolter共同主讲的《Deep Learning Systems》（DLSys）是绝对的必修课。这门课不仅免费开源，更重要的是它能带你从底层构建一个类似PyTorch的深度学习框架。

资源名称

Deep Learning Systems (DLSys) – CMU CS 11-767

核心学习内容

1. 计算图与自动微分：这是深度学习框架的核心，你将学习如何实现自动梯度计算。
2. Needle框架实现：通过作业，你将从零开始编写一个名为Needle（Necessary Elements of Deep Learning）的小型深度学习库。
3. GPU内核编程：了解如何为Tensor操作编写高效的CUDA或OpenCL代码。
4. 分布式系统：探索数据并行、模型并行等大规模模型训练所需的底层基石。

学习资源信息

• 学习方式：在线视频 + 交互式讲义 + GitHub编程作业。
• 难易程度：中高（需要一定的Python基础，了解线性代数及基础的C++编程）。
• 链接地址：https://dlsyscourse.org/
• 代码仓库：https://github.com/dlsyscourse

分步骤学习指南

1. 夯实基础：先阅读官网首页的“Course Notes”，了解计算图的基本概念。
2. 观看视频课：配合YouTube或B站上的录播视频（搜索DLSys 2022），每节课时长约为80分钟。
3. 动手实验室：按照Homework 0到Homework 4的顺序，依次实现矩阵运算、自动微分、神经网络层和GPU加速。不要跳过HW1，那是所有逻辑的起点。
4. 阅读论文：讲义中推荐的相关技术论文是深入理解AI Infra演进史的关键。

学习心得建议

作为自学者，最大的挑战在于环境配置。建议使用Google Colab或者带有NVIDIA GPU的Linux服务器。这门课最迷人的地方在于，当你写完最后一行代码，看着自己的Needle框架成功训练起ResNet模型时，那种对AI底层细节的掌控感是任何API文档都无法提供的。