09. 深度学习框架

本章定位：本章节围绕主流框架运行时与工程化部署展开。

内容结构

• PyTorch 运行时原理：Autograd 与内部架构（Tensor storage/view、Dispatch）
• 分布式训练引擎：DDP 到 FSDP 的设计演进
• 训练框架抽象账：Megatron-LM 与 DeepSpeed 的并行抽象
• 容器环境与 Triton 内核实践

🧭 阅读地图

• 前置章节：08. AI 编译器——框架的算子层依赖编译产物
• 本章定位：第三部 L3 收尾章——PyTorch 运行时：Autograd/Dispatch、DDP/FSDP、容器环境与 Triton 内核实践
• 推荐顺序：先框架原理（Autograd/Dispatch）→ 分布式引擎（DDP/FSDP）→ 环境（Docker）→ 手写内核
• 下一章：10. 异构计算与驱动——框架之上，接住多芯多栈的异构世界

文章目录

PyTorch Autograd 深入解析：从动态计算图到反向传播

以可运行的实验代码逐段拆解 PyTorch 自动微分引擎：requires_grad、计算图构建、backward 执行、梯度累积与 detach，并给出显存与混合精度下的工程启示。

阅读文章 →

PyTorch 内部架构：Tensor 存储、View 与 Dispatch 机制

以可复现实验逐段拆解 PyTorch 内核：Tensor 的 storage/view/stride 数据模型、autograd 之外的 dispatch 分发机制、设备与 dtype 路由，附工程启示。

阅读文章 →

PyTorch 分布式训练引擎拆解：DDP 到 FSDP 的设计演进

梯度桶、通信计算重叠、参数分片与选择矩阵。

阅读文章 →

训练框架账：Megatron-LM 与 DeepSpeed 的并行抽象

四层抽象、Megatron TP/PP/SP、DeepSpeed ZeRO/Offload、选型矩阵与组合用法，附可复算函数。

阅读文章 →