13. 推理引擎优化
本章定位：
🧭 阅读地图
- 前置章节：12. 分布式训练——推理方案与训练出的模型特性直接相关
- 本章定位：第四部 L4 收尾章——vLLM/TensorRT-LLM 原理与生产部署、长上下文与推测解码
- 推荐顺序：先引擎原理（vLLM 原理→对比）→ 生产部署 → 前沿优化（长上下文/推测解码）
- 下一章：14. 行业应用落地——把推理能力变成业务
文章目录
长上下文推理：从 RoPE 外推到 KV Cache 高效服务
以可复现的配置与脚本逐段拆解长上下文推理：RoPE 外推技术（PI/NTK/YaRN）、KV Cache 显存模型、chunked prefill 与高效服务策略，附工程启示。
阅读文章 →
TensorRT-LLM 实战：从模型导出到 FP8 推理加速
以可复现命令逐段拆解 TensorRT-LLM 生产链路：HF 模型转 TRT-LLM 格式、FP8 量化、引擎构建参数、推理服务化与基准对比，附工程启示。
阅读文章 →
Transformers技术在分布式部署中的应用与挑战：与vLLM的推理性能对比研究
2017年，Google在论文《Attention Is All You Need》中提出了Transformer神经网络架构，以多头自注意力机制取代循环网络，
阅读文章 →
深入解析 vLLM: PagedAttention 与高性能推理
深度剖析 vLLM 的核心技术 PagedAttention，揭秘显存管理优化机制，并提供从安装到部署的完整实战指南。
阅读文章 →
vLLM 生产化部署：从启动参数到高并发服务治理
以可复现的命令与脚本逐段拆解 vLLM 生产部署：启动参数语义、吞吐/延迟调优、KV Cache 与量化、OpenAI 兼容服务化、Prometheus 监控与多副本负载均衡，附工程启示清单。
阅读文章 →
LLM 推理性能基准方法：吞吐、TTFT 与成本实测
指标语义、并发建模、外部压测与成本口径。
阅读文章 →
投机解码：原理、工程实现与收益边界
小模型草稿+大模型验证、一致性校验与接受率判定。
阅读文章 →
输出采样账：贪心、Beam 与 top-k/top-p 的工程选择
解码策略四档位、temperature 与 top-p 校准、采样在成本里的位置、与投机解码的一致性约束。
阅读文章 →
KV 缓存压缩账：GQA、量化与分页的组合拳
GQA/MQA head 共享、KV INT8/INT4、PagedAttention 分页与前缀共享，组合省 95% 显存。
阅读文章 →
MoE 推理优化账：路由、负载均衡与专家并行
稀疏激活/稠密驻留的显存账、路由失衡代价、All-to-All 通信账与 prefetch/卸载优化。
阅读文章 →
多模态推理账：视觉编码、序列压缩与成本结构
视觉 token 化账（一图=千 token）、编码器+投影架构、KV 与算力放大、工程优化清单，附可复算函数。
阅读文章 →