10. 深度学习框架

本章定位：本章节围绕主流框架运行时与工程化部署展开。

内容结构

• PyTorch 环境与容器化
• 训练任务运行治理
• 与调度系统的协同实践

🧭 阅读地图

• 前置章节：09. AI 编译器——框架的算子层依赖编译产物
• 本章定位：第三部 L3 收尾章——PyTorch 运行时：Autograd/Dispatch、DDP/FSDP、容器环境与 Triton 内核实践
• 推荐顺序：先框架原理（Autograd/Dispatch）→ 分布式引擎（DDP/FSDP）→ 环境（Docker）→ 手写内核
• 下一章：11. 预训练模型——框架就位后，开始造大模型

文章目录

PyTorch Autograd 深入解析：从动态计算图到反向传播

以可运行的实验代码逐段拆解 PyTorch 自动微分引擎：requires_grad、计算图构建、backward 执行、梯度累积与 detach，并给出显存与混合精度下的工程启示。

阅读文章 →

PyTorch 内部架构：Tensor 存储、View 与 Dispatch 机制

以可复现实验逐段拆解 PyTorch 内核：Tensor 的 storage/view/stride 数据模型、autograd 之外的 dispatch 分发机制、设备与 dtype 路由，附工程启示。

阅读文章 →

PyTorch 分布式训练引擎拆解：DDP 到 FSDP 的设计演进

梯度桶、通信计算重叠、参数分片与选择矩阵。

阅读文章 →

训练框架账：Megatron-LM 与 DeepSpeed 的并行抽象

四层抽象、Megatron TP/PP/SP、DeepSpeed ZeRO/Offload、选型矩阵与组合用法，附可复算函数。

阅读文章 →