投机解码：原理、工程实现与收益边界
实验目标
LLM 推理（12 章）的瓶颈在 decode：自回归逐 token 生成，每个 token 都过一遍大模型。**投机解码（Speculative Decoding）**的思路反直觉但有效——"让一个又快又准的小模型先草稿，再用大模型一次验证多个 token"，把每次"生成 1 个 token"变成"验证 K 个 token"。
- 原理上为什么"验证比生成便宜"？
- 采样一致性与贪心一致怎么保证？
- 工程上收益有多少、什么时候收益会消失？
说明：本篇为综述 + 架构解析路线，基于公开方法与论文，无第一手实验数据；加速倍数与收益数字为定性边界，不编造具体基准。
第一段：原理——为什么"验证"比"生成"便宜
自回归生成每步都要"计算完整前向"（生成概率分布）。投机解码的核心观察：
朴素自回归：每步 1 次大模型前向 → 生成 1 个 token
投机解码：小模型草稿 K 个 token（K 次小前向，便宜）
→ 大模型 1 次前向同时验证 K 个草稿 token
→ 全部接受：1 次大前向换 K 个 token（加速 ~K 倍上限）- 验证的代价：大模型 1 次前向可以并行计算 K 个草稿 token 的 logits（K 个位置同时过 Transformer），相当于"1 次前向验证 K 个位置"；
- 接受的代价：如果第 i 个草稿 token 被拒绝，从那里重新开始（浪费已算的验证）；
- 数学保证：拒绝采样/树式修正保证输出分布与原模型一致（采样一致）；贪心场景则要求草稿的 top-1 与模型一致才接受。
关键结论：收益 = 草稿接受率 × K，代价 = 小模型前向成本 + 拒绝时的浪费。收益上限约 K 倍，实际取决于草稿与主模型的对齐程度。
第二段：一致性校验——两种模式
采样模式（拒绝采样）
python
# 概念示意：验证草稿 token 的接受概率
# 主模型给出草稿 token 位置的真实分布 p(x)；草稿模型分布 q(x)
# 接受概率 = min(1, p(x)/q(x))——拒绝时按修正分布重采样
if random() < min(1, p / q):
accept # 分布与原模型一致
else:
resample # 按 (p - q)+ 归一化重采样- 保证输出分布与直接用原模型采样完全一致（可证明）；
- 工程上常简化（部分实现用贪婪近似），要注意与业务对"分布一致性"的要求匹配。
贪心模式（top-1 一致）
- 草稿每步预测 top-1，主模型验证：若主模型 top-1 == 草稿 top-1 → 接受该 token 并继续；
- 首个不一致处截断回退——输出与纯贪心一致；
- 实现更简单（不需要重采样逻辑），多数生产场景用此模式。
第三段：工程实现要点
| 环节 | 要点 |
|---|---|
| 草稿模型选择 | 与主模型同 tokenizer、同词表；小（0.1-1B 级）；领域对齐好则接受率高 |
| K 值（草稿长度） | 大则单次收益高但拒绝浪费大；典型 4-8，实测调 |
| 草稿与验证的流水 | 草稿 K 步小前向 → 主模型 1 次大前向（K 位置并行）→ 校验接受 → 循环 |
| 引擎支持 | vLLM/TensorRT-LLM 等内置投机解码（如 vLLM speculative）；自研注意与采样参数兼容 |
| 批处理叠加 | 投机解码与连续批处理可叠加（多请求各自草稿验证） |
工程观察：投机解码不是"免费加速"——草稿模型推理、验证失败回退、K 值选择都有开销。草稿与主模型对齐度是收益第一决定因素：同领域微调过的草稿接受率高；草稿太弱时，验证失败率吃掉收益，甚至比朴素解码慢。
第四段：收益边界——什么时候值得用
| 场景 | 收益 | 说明 |
|---|---|---|
| 单请求延迟敏感（交互） | 高 | TTFT/TPOT 直接改善，草稿 K 步便宜 |
| 高并发吞吐 | 中 | 连续批处理本身利用率高，投机收益被稀释；需实测 |
| 长输出 decode 密集 | 高 | decode 步数多，投机收益累计 |
| 草稿-主模型差距大 | 低/负 | 对齐差 → 接受率低 → 浪费验证 |
判定方法：先用引擎自带支持跑 A/B（投机 on/off），用 12 章基准方法（吞吐 + TTFT/TPOT 成对报告）对比；关注接受率指标——接受率 < ~50% 时通常不值得。
落地检查清单
- [ ] 草稿模型与主模型同 tokenizer/词表，领域对齐验证过
- [ ] K 值实测调优（典型 4-8），接受率纳入观测
- [ ] 采样/贪心模式选择与业务"分布一致性"要求匹配
- [ ] 引擎内置支持确认（vLLM/TensorRT-LLM），参数兼容
- [ ] 与连续批处理叠加实测，吞吐 + TTFT/TPOT 成对报告
- [ ] 接受率监控，<50% 时评估关闭
工程启示
- 投机解码是"用小换大"的典型：收益来自草稿对齐度，不来自主模型本身——先调草稿，再谈加速；
- 没有免费的加速：K 值、草稿开销、拒绝浪费都是成本，实测接受率再决定开关；
- 与基准方法联动：任何加速技术都用 12 章统一基准验证，指标成对报告，不只看吞吐。
下一篇预告：推理技术继续演进，AI4S 应用同步深入——下一篇《机器学习势函数：AI 加速材料模拟的落地路径》拆解 AI 与分子动力学结合的代表性应用。