跳转至

现代大模型：做模型、跑模型、改模型

第三册大模型后训练与智能体系统

第三册大模型后训练与智能体系统¶

读者：已经理解现代 LLM 架构，也知道模型如何训练和部署，现在要把通用基座改成真正解决自己问题的模型与系统。

读完能做到：

把模糊的业务诉求改写成可训练、可评测的行为目标。
独立设计 instruction 数据、SFT、LoRA/QLoRA、偏好优化与 RLVR 方案。
解释 DPO、PPO、GRPO 等方法到底优化什么、数据长什么样、何时会失败。
建立可复现的评测 harness，区分真实能力提升、格式投机、数据污染和评测噪声。
设计 RAG、工具调用与 Agent 系统，并判断问题应通过改权重、改上下文还是改运行循环解决。

三册边界¶

第一册“做模型”：模型由哪些模块组成，为什么采用这些结构。
第二册“跑模型”：怎样在真实硬件上训练、推理和部署。
第三册“改模型”：怎样改变模型在目标任务上的行为，以及怎样证明它确实变好了。

第三册里的“改”有三种强度：

改上下文：提示词、结构化输出、RAG、工具和 Agent，不改权重。
改一小部分权重：LoRA、Adapter、软提示，低成本适配任务。
改全部权重：继续预训练、SFT、偏好优化和强化学习，真正重塑能力与行为。

本册不重复第二册的分布式执行、PagedAttention、推理调度和 rollout 基础设施；这里关注数据、目标函数、策略更新和行为验收。需要运行系统时明确回指第二册。

本册主线：一个不能倒置的闭环¶

定义任务 → 建立基线 → 找失败样本 → 构造训练信号 → 更新模型或上下文 → 重新评测 → 上线收集新失败

很多项目从“选 LoRA 还是 DPO”开始，方向反了。没有任务定义和稳定评测，训练方法越先进，只会越快地把模型推向一个说不清的位置。

第一部分任务定义与数据工程¶

第 0 章后训练的目标与方法边界：能力、知识、行为与系统能力；三种改法的边界
第 1 章任务规格、失败分类与基线设计：输入输出契约、失败分类、指标和基线
第 2 章后训练数据工程与质量控制：样本结构、来源、去重、质量、配比、污染和数据治理

第二部分监督微调与知识迁移¶

第 3 章监督微调：数据模板、损失与训练策略：对话模板、label mask、token loss、训练配方与常见退化
第 4 章继续预训练与领域适配：CPT、TAPT、知识注入、灾难性遗忘和数据混合
第 5 章参数高效微调：LoRA 与 QLoRA：低秩更新到底是什么、插在哪里、秩怎么选、量化基座如何训练
第 6 章知识蒸馏与合成数据：三种蒸馏的信号强度、温度与 forward/reverse KL、on-policy 蒸馏、拒绝采样与自举坍缩

第三部分偏好对齐与推理训练¶

第 7 章偏好数据与奖励建模：chosen/rejected、Bradley–Terry、标注一致性与 reward hacking
第 8 章直接偏好优化：DPO 及其变体：从 KL 约束推到 DPO，reference、beta、IPO/SimPO/KTO/ORPO 的位置
第 9 章语言模型强化学习：策略梯度与 PPO：策略、轨迹、回报、优势、on-policy，以及 PPO 为什么复杂
第 10 章可验证强化学习：GRPO、RLVR 与过程奖励：组内相对优势、可验证奖励、过程奖励与训练信号
第 11 章测试时计算：思维链与推理扩展：长思维链为什么有用、串行与并行扩展、思考预算、CoT 不可信性与蒸馏
第 12 章安全对齐、拒答策略与对齐税：帮助性和安全性的冲突、过度拒答、红队与安全边界

第四部分模型评测与迭代体系¶

第 13 章大模型评测方法与指标体系：能力矩阵、离线集、线上指标、显著性和切片
第 14 章可复现评测系统：Evaluation Harness：任务协议、生成配置、解析器、缓存、复现与分布式执行
第 15 章模型裁判：LLM-as-a-Judge：点式/成对评判、位置偏差、长度偏差、校准和人类复核
第 16 章数据污染、能力回归与迭代闭环：数据泄漏、记忆与泛化、错误聚类、门禁和灰度

第五部分检索增强与智能体系统¶

第 17 章提示词与上下文工程：消息层级、few-shot、结构化输出、上下文预算
第 18 章检索增强生成：从召回到可信回答：切分、embedding、召回、重排、上下文组装、引用与端到端评测
第 19 章工具调用：协议、执行与安全边界：schema、选择工具、参数生成、执行反馈、幂等性与权限
第 20 章智能体系统：规划、记忆与行动循环：观察—行动循环、规划、记忆、终止、失败恢复与成本控制
第 21 章 Agent Harness：运行时、状态与权限：控制循环、上下文管理、工具发现、持久任务、子 Agent、权限和轨迹
第 22 章前沿方向：可验证环境与模型—环境协同进化：协议、混合 Computer Use、过程奖励与自适应课程
尾声方法选择：从 Prompt 到 Agentic RL：什么时候 Prompt，什么时候 RAG，什么时候 LoRA/SFT/DPO/RL

贯穿全书的三份产物¶

行为规格表：每个能力的输入、期望输出、不可接受行为、指标与最低门槛。
失败样本库：不只保存“答错”，还保存错误类型、触发条件、模型版本和是否已修复。
实验卡片：数据版本、模板、训练方法、超参、权重版本、推理配置和完整评测结果。

每一轮迭代都要更新这三份东西。没有它们，第三册的技术会退化成一串不可复现的“炼丹经验”。

附录¶

多模态后训练：模态对齐、多模态 SFT、grounding、视觉幻觉、GUI Agent 与评测