11. 预训练模型

本章定位：预训练模型——Transformer 与 MoE/MLA 架构、预训练数据管线与工程。

Transformer 架构

• Self-Attention (自注意力机制)
• Multi-Head Attention
• Feed Forward Network (FFN)

位置编码

• 绝对位置编码 (Sinusoidal)
• 旋转位置编码 (RoPE)

训练目标

• Masked Language Modeling (MLM)
• Causal Language Modeling (CLM, Next Token Prediction)

🧭 阅读地图

• 前置章节：10. 异构计算与驱动——异构底座就绪，预训练建立其上
• 本章定位：第四部 L4 开篇——预训练模型架构（MoE/MLA）与数据/算力/工程管线
• 推荐顺序：先数据管线与算力规划（动手前算账）→ 模型架构（DeepSeek MoE/MLA）→ 训练工程
• 下一章：12. 分布式训练——模型有了，怎么在海量卡上高效训练

文章目录

DeepSeek 架构解析: MLA 与极致 MoE 优化

深度剖析 DeepSeek-V3/R1 的核心架构创新，包括 MLA 注意力机制如何压缩 KV Cache，以及细粒度 MoE 如何实现负载均衡。

阅读文章 →

大模型预训练数据管线：从原始语料到高质量训练集

以可运行的工程脚本逐段拆解预训练数据管线：语料清洗、质量过滤、去重、混合配比与 tokenizer 训练，附数据处理流水线图与工程启示。

阅读文章 →

预训练工程实战：Checkpoint、容错与训练稳定性

以可复现配置逐段拆解预训练工程：Checkpoint 策略（周期/异步/分片）、节点故障容错（重启恢复）、Loss 异常排查与训练稳定性治理，附工程启示。

阅读文章 →

RTP 混合架构：DeepSeek 与下一代模型范式

解析 Retention 与 Transformer 的混合架构（RTP Hybrid），揭示其在训练与推理阶段的性能优势及系统设计方法。

阅读文章 →

MoE 训练工程：专家并行与负载均衡实战

EP 放置、负载均衡损失、Token 丢弃与 All-to-All 开销。

阅读文章 →

预训练算力与成本规划：GPU 需求估算与卡时预算

卡时估算、MFU 修正、算力配比与预算流程。

阅读文章 →

Scaling Law 量化账：损失、算力与数据的三角

Kaplan vs Chinchilla 最优配比、6ND 算力下限、Inference-time scaling 用算力换质量，附可复算函数。

阅读文章 →