AI 集群整体架构设计：从需求到分层蓝图
说明：本篇为综述/无第一手实验数据，采用集群架构设计公开实践。
实验目标
集群架构是 AI-HPC 的"总纲"：容量规划（02 章）、网络设计（03 章）、存储（04 章）等各章是零件，本篇把它们装成整机。目标：建立从需求到蓝图的完整流程——需求推导（规模/负载/可用性）→ 四平面分层（计算/存储/网络/管理）→ 平面间带宽配比 → 架构文档与设计检查清单。读完能回答：一个集群怎么从需求出发设计、各平面怎么分层、带宽怎么配比、架构文档写什么。
代码逐段拆解
第一段：需求推导——从业务目标算集群规模
python
def size_cluster(workloads, target, concurrency):
# 以训练负载为主推导（估算口径）：
# 1) 单卡算力 × 卡数 = 总算力；以"目标模型规模/训练周期"反推卡数
# e.g. 7B 模型 × 1T tokens，需要 X 卡 × Y 天（compute-cost 公式，10 章）
# 2) 并发项目数 × 单项目卡数 = 并行需求（多团队多任务）
# 3) 推理/科学计算负载占比 → 附加需求（异构分区，02 章容量规划）
# 4) 冗余：N+1 电源/网络，故障域设计
total_gpus = model_compute(target) / (gpu_flops * days) + concurrency_gpus
return plan(total_gpus)要点：
- 规模从"目标模型 × 训练周期"反推：不是"买多少算力"而是"给定模型和周期需要多少卡"——10 章 compute-cost 公式是推导基础（估算口径）。
- 并行需求单独算：多团队多项目并发 = 项目数 × 单项目卡数，与训练需求叠加——容量规划（02 章）直接喂给架构设计。
- 冗余是设计约束不是可选项：电源/网络 N+1、故障域划分——规模推导后必须叠加冗余。
第二段：四平面分层与带宽配比
python
# 四平面（各章衔接）：
# 计算平面：GPU 节点 + 高速互联（03 章 IB/RoCE）
# 存储平面：共享存储（04 章并行文件系统）+ 数据加载网络
# 网络平面：计算网 / 存储网 / 管理网分离（03 章平面解耦）
# 管理平面：带外管理（BMC/IPMI）+ 监控（02 章 DCGM）
# 带宽配比（经验，估算口径）：
# 计算网：1:1 无收敛（GPU 通信），万卡级 400G 互联
# 存储网：按"checkpoint 写盘窗口"设计（04 章：写满 GPU 显存 ≤ 分钟级）
# 管理网：低带宽（带外 + 监控遥测）要点：
- 四平面是架构骨架：计算/存储/网络/管理各司其职，各章知识在这里对齐——架构设计是"把各章零件装成整机"。
- 带宽配比从"关键路径"反推：计算网按 AllReduce 无收敛配、存储网按 checkpoint 窗口配（04 章）、管理网低带宽——每根带宽都要有业务理由。
- 平面分离是万卡前提：不分离则流量互相干扰（checkpoint 拖垮训练通信）——03 章平面解耦在此落地。
原理讲解
架构分层与各章衔接图
需求（模型/周期/并发/冗余）
└── 计算平面：GPU 节点（01 硬件） + 互联（03 网络）
└── 存储平面：并行文件系统（04 存储） + 数据管线（13 数据篇）
└── 网络平面：三网分离（03） + 遥测（02 DCGM/网络监控）
└── 管理平面：装机（05） + 调度（06 云原生） + 治理（02）核心认知：集群架构不是"买一堆设备"，而是需求驱动的分层设计——每一层的能力由下层支撑、为上层服务，各章是层内细节，架构是把层间关系定清楚。
关键设计决策清单
| 决策 | 问题 | 关联章 |
|---|---|---|
| 规模 | 卡数/算力如何推导 | 02 容量规划、10 算力成本 |
| 互联 | IB or RoCE、收敛比 | 03 选型 |
| 存储 | 容量/带宽/checkpoint 窗口 | 04 存储 |
| 冗余 | N+1、故障域、HA | 05 PXE HA、03 网络 HA |
| 调度 | 队列/分区/QoS | 06 云原生、07 异构 |
架构文档 = 决策 + 理由：每个决策写"选了什么 + 为什么 + 数字依据"，架构文档才可评审、可演进。
实验结果
（估算口径，非实测）
| 规模 | 计算平面 | 存储带宽 | 网络收敛比 |
|---|---|---|---|
| 千卡 | 400G 互联 | 数百 GB/s | 计算网 1:1 |
| 万卡 | 400G 分层（SU 单元） | TB 级 | 计算网 1:1 无收敛 |
工程启示
- 需求先行：规模从"目标模型 × 周期"反推，容量规划（02 章）喂给架构；冗余是设计约束。
- 四平面分层：计算/存储/网络/管理各司其职，各章知识在架构层对齐——架构是"装整机"不是"买零件"。
- 带宽从关键路径反推：计算网按 AllReduce、存储网按 checkpoint 窗口、管理网低带宽——每根带宽有业务理由。
- 文档记录决策与理由：架构文档 = 每个决策"选什么 + 为什么 + 数字依据"，可评审、可演进。
下一篇预告：架构总纲定稿，回到框架层——"模型并行详解：张量并行、流水线并行与序列并行"。