03. 集群架构设计

本章定位：本章节覆盖 AI-HPC 集群从规划到压测的关键流程。

你将获得

• HPL/STREAM 等基础基准方法
• CPU/GPU 集群调优思路
• 通用压测工具链实践模板
• MPI 并行环境搭建与编程实战

🧭 阅读地图

• 前置章节：01. 硬件与芯片——本章的基准测试与拓扑设计建立在硬件认知之上
• 本章定位：第一部 L1 核心章——从算力规划、CPU/GPU 基准测试到 MPI 并行与 L40S 智算集群交付实战；知识库中篇幅最长、最贴近交付的一章
• 推荐顺序：CPU 理论→预估→实测（三步走）→ MPI 实战（4 篇）→ GPU HPL→ L40S 集群系列（10 篇，含网络/系统/软件栈）→ 压测工具箱
• 下一章：04. 高性能网络——集群性能的天花板在网络

文章目录

CPU 性能测试实战（从理论到实测）

CPU 理论浮点峰值 Rpeak 计算实战

用真实机型参数三步算出 Rpeak：AVX-512 32 FLOP/周期、104 核节点、80 节点整集群算例，附速算表与验证工具。

阅读文章 →

HPL 性能预估：从理论峰值到可交付效率

91 节点逐节点实测数据：单节点 93.4% 平均效率、80 节点扩展效率 78.3%、内存带宽效率 74.2%，附规模分档预估公式。

阅读文章 →

CPU HPL 实测：从单节点到 80 节点全流程复盘

单节点调优 → 36 节点 → 80 节点的完整实测：HPL.dat 配置、运行命令、真实结果与踩坑记录。

阅读文章 →

CPU Linpack 性能测试指南 (HPL)

基于 Intel MKL 的 HPL 基准测试全流程指南，涵盖环境准备、HPL.dat 参数调优、多机并行测试及性能理论计算。

阅读文章 →

MPI 并行编程实战

MPI 入门：oneAPI 安装与第一个并行环境

离线安装 Intel oneAPI（Base + HPC Toolkit）、静默安装命令、环境加载与常见踩坑。

阅读文章 →

MPI Hello World 实战

从 hello.c 出发跑通编译、单机多进程、多机运行，解读 rank 输出与网络 fabric 参数。

阅读文章 →

MPI 编程实战：从 Hello 到并行归约

点对点通信到 MPI_Reduce 集合通信的完整可编译代码，实现并行求和与结果验证。

阅读文章 →

MPI 点对点通信实战：环形接力与延迟实测

环形接力（MPI_Sendrecv）与 ping-pong 延迟/带宽实测，附跨节点 fabric 观察与完整命令。

阅读文章 →

MPI 集合通信实战：从 Bcast 到 Allreduce

广播/并行求和/全局统计三例可编译代码，并解读 HPL 网格 P×Q 与 BCAST 算法。

阅读文章 →

MPI + Slurm 实战：作业调度与性能调优复盘

srun/sbatch 提交、进程布局与绑定，1 节点 104 核到 80 节点的 HPL 调优复盘。

阅读文章 →

GPU / 异构与工具

NVIDIA GPU HPL 性能测试指南 (Docker)

基于 NVIDIA HPC Benchmarks 容器的 HPL 基准测试实战，涵盖 Docker 启动参数详解、MPI 运行命令及结果分析。

阅读文章 →

AMD CPU Linpack (HPL) 性能测试指南

针对 AMD EPYC (Genoa/Zen 4) 架构的 HPL 性能测试与调优指南，涵盖 OpenMPI 参数绑定、BIOS 设置及多节点测试脚本。

阅读文章 →

内存带宽测试报告与 STREAM 指南

基于 STREAM 基准测试的服务器内存带宽评估指南，涵盖 DDR5 理论带宽计算、编译器优化参数及实测案例分析。

阅读文章 →

构建通用 HPC 性能压测工具箱

基于 Docker 容器化技术，集成 HPL (CPU/GPU)、Intel oneAPI、STREAM、FIO 及 OSU 等工具，构建跨平台、可迁移的一站式 HPC 性能压测工具箱。

阅读文章 →

GPU 集群算力规划：从业务需求到机架与电力预算

算力总量、机架布局、电力散热与成本节奏。

阅读文章 →

384 卡 L40S IB 集群部署：方案工程思考

48 节点 × 8×L40S + 4×200G HDR IB：三面分离、Rail 拓扑、IB 原生无损与验收哲学。

阅读文章 →

L40S 无 NVLink：NCCL 与单机通信账

无 NVLink 的三个隐含约束、NUMA 亲和、busbw 基线与可执行调优清单。

阅读文章 →

IB 三面分离落地：PKey、SL/VL 与 IPoIB

计算/存储/管理三面物理隔离，PKey 0x100/0x200 流量隔离、OpenSM 主备与验收命令。

阅读文章 →

Rail 拓扑 + 1.5:1 收敛设计

48 节点也按万卡思维：Rail 优化 Fat-Tree、2×200G Breakout、SM 自动发现与扩展路径。

阅读文章 →

MLNX_OFED 与 VPI LINK_TYPE 实战

VPI 双模卡切 IB 模式：mstconfig 烧录、驱动栈、ibstat/ibv_devinfo 验证与常见坑。

阅读文章 →

Kickstart + 内网源 + Ansible 批量交付

48 节点软件栈版本一致性：Kickstart 批量装机、统一内网 YUM/pip 源、Ansible 下发与一致性验收。

阅读文章 →

openEuler 内核与系统优化

BIOS 统一清单、内核参数、NUMA 与中断亲和，每一步都有验证命令。

阅读文章 →

CUDA 软件栈版本锁定与批量部署

驱动/CUDA/cuDNN/NCCL 版本矩阵、内网源安装、NCCL 关键参数与逐项验证。

阅读文章 →

验收与性能基线：从硬件核对到 NCCL

分层核对、基线存档、性能不达标逐层排查——逐步证伪而不是跑通即通过。

阅读文章 →

功耗与散热：单机 4.6kW 的供电制冷账

单机功耗账、机柜密度、上下电策略与满载验证。

阅读文章 →