AI-HPC 知识体系概览

本知识库旨在构建纵向贯通的知识图谱，连接底层**高性能计算（HPC）基础设施与上层人工智能（AI）**应用。全库按 L0 → L5 六个层级组织，共 15 个编号章节、150+ 篇中英双语工程文章。

🧭 学习路径（按你的起点选择）

入门从算账开始，建立全栈认知L0 量化方法论（01）→ L1 硬件与基础设施（02→05）先用量化分析把显存/算力/带宽算清，再认识算力基座的每个积木：GPU/芯片、集群拓扑、IB 网络、并行存储。进阶掌握系统软件与编译框架L2 系统软件与调度（06→07）→ L3 编译、框架与驱动（08→10）独立交付集群：自动化装机、Slurm/K8s 调度、驱动与异构适配，再到编译器与深度学习框架。专家攻克模型工程与 AI×ScienceL4 模型工程（11→13）→ L5 应用与科学前沿（14→15）预训练、分布式训练、推理优化，行业落地与 AI for Science 前沿探索。

🧮 L0 · 量化方法论（动手前先算账）

目标：用数量级估算把账算清——搬什么、搬多少、搬几次、经过哪里、谁必须等它。

01. AI Infra 量化分析: 推理资源账（显存/算力/带宽）、从模型架构到资源需求、推理优化边界、训练资源账（显存/通信/重算）。

🏗️ L1 · 硬件与基础设施

目标：构建高带宽、低时延、海量并行能力的算力基座。

02. AI 硬件与芯片: GPU (H100/A100)、NPU、异构架构、液冷与固件。
03. 集群架构设计: 万卡网络架构、IB/RoCE、MPI 并行实战、384 卡 L40S 交付实战。
04. 性能评测: HPL/STREAM/NCCL-test 基准测试、CPU/GPU 实测方法论。
05. 并行存储系统: Lustre、BeeGFS、GPFS、高并发 IO。

🖥️ L2 · 系统软件与调度

目标：提升资源利用率，抽象底层硬件差异。

06. 操作系统: PXE、Ubuntu Autoinstall、无盘启动、集群交付自动化。
07. 调度与云原生: Kubernetes、Slurm、容器化。

🔧 L3 · 编译、框架与驱动

目标：从模型图到高性能内核，掌控框架运行时与异构驱动。

08. AI 编译器: OpenAI Triton、MLIR、PyTorch 编译栈。
09. 深度学习框架: PyTorch 2.x Autograd/Dispatch、DDP/FSDP、Triton 手写内核。
10. 异构计算与驱动: NVIDIA 驱动、CUDA 工具包、MIG、国产加速卡适配。

🧠 L4 · 模型工程

目标：在海量集群上高效训练与推理。

11. 预训练模型: Transformer、MoE/MLA、预训练数据管线与工程。
12. 分布式训练: 3D 并行、LLM Lab 系列、混合精度、NCCL 调优。
13. 推理引擎优化: vLLM (PagedAttention)、TensorRT-LLM、量化、长上下文。

🚀 L5 · 应用与科学前沿

目标：赋能产业，探索新的科学范式。

14. 行业应用落地: RAG、智能体、私有化部署、科学代理模型。
15. 科学智能 AI×Science:

🗺️ 架构全景

完整的 AI-HPC 全栈架构图见核心架构。各层在侧边栏中以 L0 → L5 分组呈现，按层递进阅读即可。