AI Infra 量化分析
本章定位：在动手搭集群、选模型、配推理参数之前，先用数量级估算把账算清——搬什么、搬多少、搬几次、经过哪里、谁必须等它。方法框架参考开源书稿《深入理解 AI Infra：量化分析与系统设计》（李博杰，Apache-2.0），全部公式与算例为本站自行推导整理，可复算；实测细节见 02 章集群、03 章网络、11 章训练与 12 章推理各篇。
量化分析方法论
推理资源账：一次生成需要多少显存、算力与带宽
显存（权重+KV+工作区）、算力（prefill/decode）、带宽（每 token 读权重）三本账与可复算 Python 函数。
阅读文章 →
从模型架构到资源需求：注意力、KV 与 MoE
MHA/GQA/MQA 的 KV 缓存账、MoE 稀疏激活的带宽账，架构选型的量化决策清单。
阅读文章 →
推理优化边界：批处理、KV 管理与推测解码何时有效
continuous batching / KV 量化 / 前缀缓存 / 推测解码的量化适用条件与无效边界。
阅读文章 →
训练资源账：显存、通信与重算的权衡
权重/梯度/优化器/激活四份状态、All-Reduce 通信随并行度增长、重算换显存的决策规则。
阅读文章 →