AI 加速卡全景：架构、代际与选型
摘要：选卡不是看"最贵/最新"，而是看负载类型与三大件的匹配度。本文先建立分析框架，再逐代拆解主流 GPU 的演进逻辑，最后给出训练、推理、科学计算三个场景的选型矩阵与工程判断。
1. 分析框架：加速卡的三大件
任何 AI 加速卡的纸面规格，都可以压缩成三个数字：
① 算力 TFLOPS —— 每秒能算多少浮点（决定计算密度）
② 显存带宽 TB/s —— 每秒能搬多少数据（决定数据供给）
③ 互联带宽 GB/s —— 每秒能与别的卡交换多少（决定扩展性）工程铁律：训练吞吐 = min(算力供给, 数据供给, 通信供给)。三者必须匹配，任何一项短板都会成为实际瓶颈——买了一张算力怪兽，显存带宽跟不上，GPU 就在"饿肚子"。
2. 三大件逐项拆解
2.1 算力：Tensor Core 与精度
- 现代 GPU 用 Tensor Core 做矩阵乘，关键指标分精度：FP64（科学计算）/ FP32 / TF32 / BF16 / FP8 / FP4。
- BF16 是训练主力：动态范围与 FP32 一致，训练稳定；FP8 是新一代训练/推理折中。
- 判断算力要看目标精度的 TFLOPS，而不是宣传册上的 FP16 峰值（换算关系：FP16 ≈ 2×FP8，FP8 ≈ 2×FP4，不同厂商口径不同，务必对齐精度再看）。
2.2 显存带宽：训练吞吐的真正杠杆
矩阵乘的计算强度（arithmetic intensity）极高，GPU 大部分时间在等数据。显存带宽决定了每个 token 的成本：
- 吞吐 ≈ 显存带宽 ÷ 每 token 的权重读取量。模型变大，权重读取线性增长，带宽不足就直接限死吞吐。
- 这也是为什么 H100 相比 A100 最值钱的升级是 HBM3：3.35 TB/s vs 2.0 TB/s（+67%）——比算力提升（约 3×）更能直接拉高训练吞吐。
2.3 互联：从 NVLink 到 Scale-Up
- NVLink（节点内）：H100 的 900 GB/s，A100 的 600 GB/s。TP（张量并行）依赖它，8 卡全互联是标配。
- NVSwitch（机内）：8 卡 H100 通过 NVSwitch 全互联，任意两卡对等带宽。
- Scale-Up 网络（机间）：NVLink 域扩展（如 NVLink72 / 机柜级互联），把"节点"变成"机柜"，是百卡级训练的下一站；IB/RoCE 仍是万卡级 Scale-Out 的骨干。
3. 代际演进：A100 → H100 → H200 → B200
| 指标 | A100 80G | H100 SXM 80G | H200 141G | B200 192G（参考） |
|---|---|---|---|---|
| FP16/BF16 稠密 TFLOPS | 312 | 989 | 989 | ~4500* |
| 显存容量 | 80 GB | 80 GB | 141 GB | 192 GB |
| 显存带宽 | 2.0 TB/s | 3.35 TB/s | 4.8 TB/s | 8.0 TB/s* |
| NVLink | 600 GB/s | 900 GB/s | 900 GB/s | 1.8 TB/s* |
| 制程 | 7nm | 4N | 4N | 定制 4NP |
| 单卡 TDP | 400 W | 700 W | 700 W | ~1000 W* |
* 以官方发布规格为准，此处为工程参考值；采购前务必核对最新 spec sheet。
演进逻辑：
- A100→H100：算力约 3×，带宽 1.67×，引入 FP8——训练侧直接收益。
- H100→H200：加显存、加带宽（141 GB / 4.8 TB/s），算力不变——纯带宽升级，长上下文、大 batch 推理受益最大。
- H200→B200：算力与带宽继续翻倍，TDP 逼近 1kW——散热与供电成为新约束，机房配套（液冷）第一次成为选型前置条件。
4. 选型矩阵：按负载类型决策
| 负载 | 最敏感指标 | 推荐方向 | 反例（别这么选） |
|---|---|---|---|
| LLM 预训练（千卡级） | 互联带宽 + 显存带宽 | H100/H200 高带宽型号，Scale-Up 优先 | 只看 FP8 峰值，忽略跨机网络 |
| 长上下文微调 | 显存容量 | H200（141 GB）级大显存 | 80 GB 卡硬撑，触发 ZeRO-3 通信爆炸 |
| 推理（高并发） | 显存带宽 + 批量延迟 | 专用推理卡或高带宽旗舰 | 用训练旗舰卡跑低并发小 batch（带宽浪费） |
| 科学计算（HPC） | FP64 算力 + 能效 | 通用计算卡（FP64 原生） | 训练卡（FP64 被砍，模拟代码跑不起来） |
| 多模态（视频/3D） | 显存容量 + 带宽 | 大显存带宽型号 | 只看 TFLOPS |
5. 生态兼容性：选型的隐藏变量
纸面规格之外，软件生态决定真实利用率：
- CUDA 生态成熟度：框架、NCCL、vLLM/TensorRT、profiler 工具链是否开箱即用。
- 驱动与固件生命周期：新卡=新驱动=新 bug，生产集群延迟 1～2 个季度采用新架构是常见风控。
- 异构混合的复杂度：不同架构混布意味着两套驱动、两套调度、两套算子实现，交付成本翻倍——除非有明确业务需要，避免混布。
- 训练/推理框架支持：FlashAttention、量化内核、推理引擎对新卡的适配进度，决定了"纸面算力"能兑现几成。
6. 常见误区
- "只看 TFLOPS 选卡"：训练是带宽敏感负载，显存带宽不足时 TFLOPS 是空转。
- "新架构立刻上生产"：首发驱动 + 框架适配滞后，建议验证窗口 ≥ 1 个季度。
- "异构混布省钱"：两套生态的运维与调度成本通常吞掉省下的硬件差价。
- "拿训练卡跑 HPC"：FP64 算力被刻意压低，分子动力学/CFD 等科学负载会跑出难以接受的结果。
下一步：架构与选型定好后，进入交付阶段，见 万卡集群硬件选型与验收清单。