第二部分 稠密模型

在第一部分第4章中我们了解到，若每个新 token 都经过每一层的全部注意力与 FFN，则称该模型为稠密，本部分介绍稠密模型的当代技术，这些技术可以让训练推理跑的更加接近工业生产要求。

• 第 5 章：介绍归一化等技术。解决深层难训的问题，让模型可以拥有一定的规模，最后给出当下旗舰模型的规模对比。
• 第 6 章：介绍ROPE解决 绝对位置不足以支撑相对距离与更长上下文的问题，并以此逼近当前位置编码的最佳实践，甚至取消它！
• 第 7 章：开始优化KV cache 这里的技术迭代速度很快，主要解决的还是 \(M_{\text{KV}}\) 随长度与并发线性膨胀。减小 \(n_{\mathrm{kv}}\)（MQA / GQA / MLA）。

应用这些新技术组件后，每个 token 路径上的参数仍全部参加。第 8 章按真实一层的顺序装配上述零件后，即可对齐 Qwen3、Llama 一类稠密开源权重。它仍然慢，长上下文上也不够好，但对比第一部分的技术实现已经可以真正跑起实验数据了。

• 第 5 章 训练稳定性：从 Post-LN 到现代归一化与激活
• 第 6 章 位置表示：从绝对位置到 RoPE
• 第 7 章 KV Cache 优化：MQA、GQA 与 MLA
• 第 8 章 零件怎么配成一台模型