问答精选：万卡级 AI 训练集群的 InfiniBand 网络怎么设计？
本文来自 AI-HPC 智能助手（chat.ai-hpc.org）的真实问答沉淀，回答基于 14 章工程知识库（主要来源：03-network 章），经人工整理扩充。助手中英双语可用，直接提问即可获得类似回答。
问题
万卡级 AI 训练集群的 InfiniBand 网络怎么设计？
核心结论
分布式训练的性能瓶颈早已不再是计算，而是网络。在大规模 LLM 训练中，低效的 RDMA 通信会导致集群整体算力利用率（MFU）下降超过 40%（来源：03-network 章）。因此，网络必须作为"一等性能域"来设计，而不是训练完成后的补丁。
一、拓扑选型：Fat-Tree 为主流
- 两层 Fat-Tree（Leaf-Spine）：万卡规模通常采用无阻塞（1:1 收敛比）或低收敛比（如 1:2）的胖树，保证 AllReduce 等集合通信带宽。
- 多轨（Multi-Rail）设计：每台 GPU 服务器配多张 HCA（如 8 卡配 8 张 400G HCA），每张网卡走独立上行链路，避免单点拥塞。
- Rail-Optimized 拓扑：让同一 GPU 序号（如各节点第 0 号卡）落在同一 Rail 平面，NCCL 可优先走同平面通信，减少跨 Spine 跳数。
二、速率与端口规划
- 主流选择 NDR 400G（HDR 200G 次之），配合 GPU 与网卡配比（如 1:1 或 1:2）。
- 交换机端口数 × 层数需按集群规模反推，预留 20%~30% 冗余端口用于扩展和故障切换。
三、关键调优手段（03-network 章方法论）
- 启用 GPUDirect RDMA：GPU 显存与网卡直接 DMA，绕过主机内存拷贝。
- 自适应路由（Adaptive Routing）：在 Spine 层开启，动态绕开拥塞链路。
- 拥塞控制：配置 DCQCN / 时间戳拥塞控制，抑制 incast。
- NCCL 调参：设置
NCCL_IB_HCA、NCCL_IB_GID_INDEX、NCCL_ALGO（Ring/Tree/CollNet）、NCCL_NET_GDR_LEVEL等，匹配拓扑。 - MTU 与 QoS：统一设置 4096 MTU，按流量类别划分 SL/VL 优先级。
四、配套设计
- 液冷：H100 单卡 700W、整柜 100kW+ 的功率密度已使液冷成为必选项，高密交换机也需纳入机房散热规划（来源：01-hardware 章）。
- 监控与验收：部署
ibstat、perfquery、ibdiagnet做链路健康检查，上线前跑 NCCL AllReduce 基准测试验证有效带宽。
五、实战经验参考
知识库站长张东豪曾为上海某运营商万卡级 AI 训练集群提供 InfiniBand 高速网络与集群技术支持，并主导清华大学 GPU 集群、北京大学 HPC 项目等大型集群的全流程搭建与交付。如需更细的调优参数与验收清单，可查阅知识库 03-network 章 原文。
说明：以上拓扑与调优为工程实践总结，具体收敛比、端口数、NCCL 参数需按实际集群规模与业务通信模式实测确定；知识库暂未收录完整的万卡级端口规划表，建议结合厂商（NVIDIA/Mellanox）设计指南做详细仿真。
延伸提问（试试助手）：Fat-Tree 收敛比怎么选？NCCL_ALGO 的 Ring 和 Tree 有什么区别？DCQCN 参数如何调？→ 直接对话 AI-HPC 智能助手