L40S 无 NVLink：PCIe 拓扑下的 NCCL 与单机通信账

一台 8×L40S 的机器，GPU 之间没有 NVLink。这不仅是"少一根高速互连"那么简单——它把单机通信模型从"NVLink 网格"打回成"PCIe 树 + CPU 桥"，NCCL 的选路、绑核、跨 socket 开销全部要重新算。本文是 384 卡 L40S IB 集群交付中关于单机通信的实测与判断。

1. 先说结论：无 NVLink 的三个隐含约束

L40S 是 PCIe Gen4×16、350W 的被动散热卡，8 卡单机没有 NVLink 桥。由此得到三个不是配置项、而是物理约束的事实：

约束	含义	工程后果
P2P 走 PCIe	卡间通信经过 PCIe 交换/CPU 桥，不是 GPU 直连	单向带宽 ≈ 32GB/s（Gen4×16 理论），比 NVLink 低一个数量级
显存是 GDDR6	48GB GDDR6，带宽约 864GB/s，无 HBM 的容量/带宽组合	显存密集型算子要按 GDDR6 带宽预算
跨 NUMA 必须过 CPU 桥	GPU0-3 挂 NUMA0、GPU4-7 挂 NUMA1，跨 socket 通信走 UPI/QPI	绑核不对，busbw 掉 20-30%

2. 单机拓扑：先画清楚再谈调优

装机后第一件事不是跑训练，而是用 nvidia-smi topo -m 和 lspci 把拓扑钉死：

GPU0 GPU1 GPU2 GPU3 GPU4 GPU5 GPU6 GPU7 NIC0 NIC1
GPU0  X   PIX  PIX  PIX  PHB  PHB  PHB  PHB  PHB  PHB
...

关键事实（以整机厂商布局为准，装完必须实测核对）：

1. 每路 4 卡：GPU0-3 与 CPU0、NIC0 同侧；GPU4-7 与 CPU1、NIC1 同侧；
2. NIC 跨 CPU 安装：两块 ConnectX-7 分挂两个 NUMA，任一卡故障只影响 2 个 rail；
3. P2P 可用性：同 NUMA 内的卡 P2P 直通（PIX/PXB），跨 NUMA 的卡走 CPU 桥（PHB），cudaDeviceCanAccessPeer 能过但带宽差一个量级。

判断：方案里"GPU 与 NIC 必须同 NUMA"不是洁癖，是 NCCL 远端内存（RDMA）路径的硬前提——数据从 GPU 到网卡如果不经过本地 socket，每一次集合通信都多绕一次 CPU 桥，损失直接进 busbw。

3. NCCL 怎么看待这台机器

NCCL 在没有 NVLink 时不会报错，它会退化为 PCIe tree 拓扑：

• 拓扑发现：NCCL 通过 nvml/PCIe 位置推断层级，L40S 无 NVLink → 默认按 PCIe switch 分组；
• 算法选择：8 卡无 NVLink，ring 通常是默认且最稳；tree 在跨机大消息场景可能更好，但单机内 tree 的优势被 PCIe 带宽上限抹平；
• 关键参数：NCCL_P2P_LEVEL、NCCL_NET_GDR_LEVEL（GPUDirect RDMA 等级）直接决定路径。L40S 这类 PCIe 卡，NCCL_P2P_LEVEL=PHB（允许同 PCIe 域直通、跨 socket 走主机内存）往往比全开 P2P 更稳。

实测基线的正确姿势：

# 单机 8 卡 allreduce 基线（必须绑核后测）
mpirun --bind-to core -x NCCL_DEBUG=INFO \
  /opt/nccl-tests/build/all_reduce_perf -b 8M -e 512M -f 2 -g 8
# 关注 busbw，不要只看 algbw（algbw 含算法开销）

4. 影响 busbw 的三个变量与实测规律

变量	正确做法	错误做法	典型差距
绑核	GPU 与 CPU 同 NUMA 绑定（taskset/cgroup）	进程随机调度	busbw 掉 20-30%
GDR	开 GPUDirect RDMA（NCCL_NET_GDR_LEVEL=PXB 起步）	走 bounce buffer	跨机吞吐减半
消息大小	大消息（≥8MB）看饱和带宽	用小消息评估整机	结论失真

判断：无 NVLink 的机器，"单机内带宽"不是卖点，真正的杠杆是 GDR + NUMA 亲和——它决定每张卡往外吐数据的速度，也就是整集群集合通信的底座。

5. 与 NVLink 卡的差距：量化，不焦虑

维度	8×L40S（无 NVLink）	8×NVLink 卡（如 H 系列）
GPU-GPU 单跳	PCIe Gen4×16 ≈ 32GB/s（单向）	NVLink ≈ 300-900GB/s
单机 allreduce	受 PCIe 上限约束	近线性扩展
适用场景	推理/微调/数据并行占比高的负载	张量并行/专家并行等高频通信负载

工程结论：L40S 集群适合"数据并行 + 大 batch"的规模化训练与推理，不适合把单机切成 8 路张量并行去追极限吞吐——通信墙会把收益吃掉。选型时先想清楚工作负载的通信模式，而不是单卡算力。

6. 交付清单

1. nvidia-smi topo -m 核对 GPU/NIC 与 NUMA 归属，偏差则重做亲和脚本；
2. 进程绑定：mpirun --bind-to core 或 cgroup，GPU 与 CPU 同 socket；
3. NCCL 基线：all_reduce_perf 记录 8M-512M busbw，留存作为后续变更的对照；
4. GDR 验证：nvidia-smi -q -d GSP / nvidia-smi topo 确认 P2P 可用，NCCL_DEBUG=INFO 看路径是否为 RDMA；
5. 跨机复测：单机基线通过后，再上 2 节点 IB 验证，确认 GDR 生效而非 fallback 到 bounce buffer。

---

本文基于 384 卡 L40S IB 集群交付实测整理；具体版本号与命令以现场实测为准。