预训练算力与成本规划：GPU 需求估算与卡时预算

实验目标

预训练是"烧卡"的大头，但很多团队对"这个模型要训多久、花多少钱"只有模糊感觉。算力与成本规划把感觉变成可计算的预算：

• 给定模型参数与训练数据量，怎么估算卡时？
• MFU、并行效率怎么影响实际需求？
• 训练/微调/推理/实验各占多少算力，怎么配比？

本篇以计算公式与方法拆解预训练算力与成本规划。说明：计算公式为通用工程方法，具体数字随模型/硬件/集群而异，文中数字为估算口径示例，不编造实测基准。

第一段：卡时估算——从模型与数据出发

训练卡时（卡·天）≈ 模型参数量 × 训练 token 数 × 6
                    ÷（单卡算力 × MFU × 卡数可用性）

例：70B 模型、1T token、MFU 40%、
    H20 卡 FP16 约 148 TFLOPS
    卡·天 ≈ 70e9 × 1e12 × 6 / (148e12 × 0.4) ≈ 7100 卡·天
    即 256 卡连续训练约 28 天（估算口径）

参数含义与陷阱：

• 6×参数量：每 token 前向+反向的 FLOPs 近似（不含注意力等细节，估算够用；精确用 FLOPs 模型公式）；
• MFU（Model FLOPs Utilization）：实际利用率 30-50%——通信、气泡（bubble）、负载不均、检查点打断都吃掉算力。用 100% 估算等于给自己画饼；
• 可用性系数：集群并非 7×24 无故障——故障恢复、维护、排队损耗按 80-90% 可用性计入；
• 数据效率：训练 token 数按 Chinchilla 最优比（约 20× 参数量）起步，实际按实验与业务目标调整。

第二段：MFU 与并行效率——把"纸面算力"变成"实际算力"

纸面算力（单卡 TFLOPS × 卡数）不是实际吞吐，两个修正：

修正项	影响	提升手段
并行效率	TP/PP/EP 的通信与气泡（09 章引擎篇）	并行维度配置优化、通信与计算重叠
负载均衡	MoE 路由倾斜（10 章）	负载均衡损失、EP 粒度
检查点/容错开销	周期性停顿（10 章工程篇）	checkpoint 频率与异步策略

工程观察：规划时按"经验 MFU 区间（30-50%）"而不是峰值算力估时——同一模型在不同并行配置下 MFU 差 20% 以上，先小规模跑通测 MFU，再放大推算，比一次性全量估算准得多。

第三段：算力配比——训练不是全部

集群算力要服务多个负载，配比决定"买多少卡"：

负载	算力特征	配比参考	说明
预训练	大块、长时、独占	60-70%	卡时大头，独占窗口
微调/对齐	中小、批量	10-15%	复用训练集群碎片
推理服务	常驻、低并发高可用	10-20%	12 章容量方法，独立或共享
实验/开发	短任务、峰值波动	5-10%	队列调度消化碎片

• 配比随业务阶段调整（预训练期训练占比高，上线期推理占比升）；
• 碎片管理：微调/实验任务填充训练间隙，避免算力空置——调度策略（06 章）配合。

第四段：成本口径与预算流程

卡时成本 ≈ 单卡·小时成本 × 总卡时
单卡·小时成本 ≈（硬件摊销 + 电力 + 制冷 + 机房 + 运维）/（卡数 × 年可用小时）

预算流程：

1. 需求清单：按 02 章规划方法列各负载的卡·天/吞吐需求；
2. 算力总量：加总 + 冗余系数（20-30%），折算卡数与机型；
3. 成本核算：单卡·小时成本 × 总量，分训练/推理/实验记账；
4. 预算窗口：按批次（05 章流水线）与业务节奏排期，每批有验收门与成本核对；
5. 监控复盘：实际卡时 vs 预算（利用率/故障时间/排队时间），下轮预算用实测校准——预算模型随实测迭代，而不是一次定死。

规划检查清单

• [ ] 卡时用 MFU 区间（30-50%）估算，不用 100% 纸面算力
• [ ] 可用性系数（故障/维护/排队）计入
• [ ] 训练/微调/推理/实验配比明确，随业务阶段调整
• [ ] 单卡·小时成本口径统一（摊销+电力+制冷+运维）
• [ ] 预算按批次排期，每批验收门 + 成本核对
• [ ] 实际卡时监控复盘，下轮预算用实测校准

工程启示

• 规划是算出来的，不是感觉出来的：卡时、MFU、配比、成本都有公式与口径——先小规模实测 MFU，再放大推算；
• 利用率是成本的第一杠杆：MFU 提升 10% 等于省 10% 的卡时，优化并行配置比砍预算更有效；
• 预算要能复盘：预算模型随实测迭代，利用率/故障/排队都要进台账，预算才有可信度。

下一篇预告：算力账算清后，训练长跑进入日常——下一批内容将回到 12 章推理与 13 章应用继续深化，敬请期待。