附录 F muP 与超参迁移

放在附录是因为：它不改变模型结构，但你在技术报告里会反复看到，不知道就会卡住。

问题

大模型只能训一次，学习率却必须选对。在小模型上调好的学习率，直接用到大模型上往往不是最优——模型一变宽，最优学习率就变了。而在目标规模上做超参搜索是不可能的。

muP 的答案

按一套特定的规则给初始化、学习率和各层输出乘上与宽度相关的缩放系数，使得最优超参在不同宽度下保持不变。于是可以在小模型上把超参调好，直接迁移到大模型，一次训成。

理解到这里就够用了：它是一套"让小模型的调参结论在大模型上依然成立"的参数化方案。

相关的几件事

• 深度方向的缩放：宽度之外，层数变化也需要类似处理，做法尚未完全统一。
• 学习率调度：cosine 与 WSD（warmup-stable-decay）是当前两种主流。WSD 的好处是中间的稳定段可以随时切出一个检查点做退火，便于中途加数据或改配比。
• batch size 与临界批量：批量太大后收益递减，且与学习率需要联动调整。
• 优化器：muP 的缩放规则是针对特定优化器推导的。AdamW 之外，Muon 这类按矩阵而非按元素归一化更新的优化器，最优学习率不在同一量级，迁移结论不能直接照搬。展开在第二册第 8 章。

为什么第一册不展开

这些属于训练配方而非模型结构，正文在第二册。这里给出概念和名字，保证你读技术报告时不卡壳。