Skip to content

09. AI 编译器 ​

章节导航图

本章定位:本章节关注从模型图到高性能内核的关键编译技术。

你将学习 ​

  • Triton 内核优化思路
  • oneAPI 等异构编译环境
  • 面向训练/推理的编译策略差异

🧭 阅读地图 ​

  • 前置章节:07. 异构计算——编译器为异构硬件生成代码,先懂硬件抽象
  • 本章定位:第三部 L3 开篇——MLIR/Triton/编译管线,理解"模型图→高性能内核"的中间层
  • 推荐顺序:先懂为什么需要编译器(Triton 学习路径)→ MLIR 架构 → PyTorch 编译栈 → 动手写 Triton
  • 下一章:10. 深度学习框架——编译产物如何被框架调度起来

文章目录 ​

实战:OpenAI Triton 入门指南
深入浅出介绍 OpenAI Triton 编程,从 Block 编程理念到向量加法实战,通过 Python 驾驭 GPU 极致性能。
阅读文章 →
MLIR 架构解析:AI 编译器的统一中间表示
以可复现的编译命令与 IR 样例逐段拆解 MLIR:Dialect 分层、Operation 与 SSA、IR 降级流水线、与 Triton/XLA 的关系,附工程启示。
阅读文章 →
Intel oneAPI 基础安装与环境配置
Intel oneAPI Base Toolkit 与 HPC Toolkit 的全流程安装、环境变量配置及 MPI 运行测试指南。
阅读文章 →
PyTorch 编译栈实战:TorchDynamo 到 TorchInductor 的算子融合
以可复现脚本逐段拆解 PyTorch 编译栈:TorchScript、TorchDynamo、TorchInductor 的定位与演进,compile 模式实测、算子融合原理、IR 追踪与生产加速收益,附工程启示。
阅读文章 →
🚀 深入 OpenAI Triton:从零构建 FlashAttention 与高性能流体模拟器
作者:Technical Learner (Root User) 环境:Python 3.12 + NVIDIA GPU (A100/H100 Level)
阅读文章 →
CUDA 编译管线深入:nvcc → PTX → SASS 的优化空间
两级编译、gencode 组合与产物分析。
阅读文章 →
AI 编译器工作机理:前端融合、后端 Kernel 与自动调优
三层结构、算子融合类型与收益、AutoTuning 三条路线、PyTorch2.0 torch.compile 拆解。
阅读文章 →
Triton 手写内核实战:从向量加法到 FlashAttention 核心
以可复现脚本逐段拆解手写 Triton 内核:向量加法、分块 GEMM、softmax 与 FlashAttention 核心,含性能对比与 kernel 调优(块大小/循环展开),附工程启示。
阅读文章 →

AI-HPC 智算超算专家 · Contact: openaihpc@gmail.com