L40S 集群功耗与散热设计：单机 4.6kW 的供电制冷账
8×L40S 满载是一台 4.6kW 的"电暖器"，48 台放一起就是 220kW 级别的发热源。功耗与散热不是在机柜摆好之后才想的事——它决定机柜密度、供电链路和制冷方式。本文是 384 卡 L40S IB 集群的供电制冷账。
1. 单机功耗账：算清楚再买电
| 部件 | 功耗 | 数量 | 小计 |
|---|---|---|---|
| CPU（8468V） | 330W | 2 | 660W |
| GPU（L40S） | 350W | 8 | 2800W |
| 内存/盘/网卡/主板 | ≈ 400-500W | — | ≈ 450W |
| 满载合计 | ≈ 4.6kW |
设计值按 6kW/节点冗余：不是浪费，是给供电链路、制冷、瞬时功耗留余量——8 卡同时满载 + 内存带宽跑满时，瞬时功耗会超稳态。
2. 机柜与机房预算
| 维度 | 计算 | 结论 |
|---|---|---|
| 单机柜密度 | 按 6kW/节点 × 密度 | 8-10 台/机柜（视制冷方式），避免一柜 4.6kW×12 超供电容量 |
| 总供电 | 48 台 × 6kW ≈ 288kW | 需按此申请供电容量，含冗余 |
| 制冷 | 288kW 发热 ≈ 需要对应冷量 | 液冷或高密度风冷按机柜发热密度选型 |
| 网络设备 | Leaf/Spine + 存储交换机 | 另计，QMH 交换机功耗不可忽略 |
判断：中小集群最常见的坑是机柜密度过高——把 12 台 4.6kW 的机器塞进一个普通 42U 机柜，供电和散热同时告警，最后只能降频运行。
3. 供电链路与上下电策略
- 上下电顺序：先管理面（带外 IPMI/管理交换机）→ 存储/网络 → 计算节点；下电反序。避免计算节点先上电时网络/存储不可用导致的挂起；
- 逐组上电：48 台不要同时上电——按机柜/按组，避免启动浪涌冲击供电链路；
- 温度监控：GPU 温度、进/出风温度纳入监控，告警阈值在交付时定好（不是出事后才定）。
4. 验证与验收
bash
# 满载验证：nvidia-smi 看 8 卡功耗与温度（跑 HPL/NCCL 满载）
nvidia-smi --query-gpu=power.draw,temperature.gpu --format=csv
# 供电验证：满载 30 分钟，无降频（performance state 不跳 P-state）验收标准：
- 满载 30 分钟 GPU 温度在厂商规格内、无降频；
- 单机功耗实测在 6kW 设计值内；
- 上下电演练一次，顺序正确无挂起；
- 温度告警阈值配置并验证触发。
5. 交付清单
- 功耗账：单机 4.6kW 满载实测，供电按 6kW/节点冗余；
- 机柜密度与供电/制冷预算文档化；
- 上下电顺序文档 + 演练一次；
- 温度/功耗监控与告警配置完成；
- 满载验证存档（温度、功耗、无降频）。
本文基于 384 卡 L40S IB 集群交付实测整理；具体版本号与命令以现场实测为准。