跳转至

尾声 方法选择:从 Prompt 到 Agentic RL

面对一个新问题,按下面顺序决策:

  1. 任务定义清楚吗? 没有就回第 1 章。
  2. 问题是知识、行为、推理还是系统流程? 先分类。
  3. Prompt/few-shot 能解决吗? 能就停在第 17 章。
  4. 需要外部或动态知识吗? 用第 18 章 检索增强生成:从召回到可信回答。
  5. 需要操作外部世界吗? 用第 19 章工具;步骤动态才升级到第 20 章 智能体系统:规划、记忆与行动循环。
  6. 行为稳定且重复、上下文成本高吗? 用 SFT 或 LoRA 固化。
  7. 已经会答,但需要明确偏好边界吗? 用 DPO。
  8. 结果可验证且需要探索更优策略吗? 才用 RLVR。

三道综合设计题

题一:企业知识助手

知识每天更新、按部门授权、答案必须引用来源。合理主线是 RAG + 权限过滤 + 引用验证;SFT 只教证据使用和拒答,不把文档事实硬塞进参数。

题二:代码修复模型

已有基座会写代码,但不擅长公司仓库。先建按仓库切分的 harness 和容器环境;用真实修复轨迹 SFT/LoRA 学工具协议;以隐藏测试做 verifier,再考虑 RLVR 优化多步修复策略。

题三:高风险客服 Agent

订单查询、退款和支付有不同权限。用确定工作流承载主流程,模型负责意图与参数;所有写操作幂等、校验、二次确认。只有确实无法预写控制流的部分才交给 Agent。

最终判断标准

真正掌握“改模型”不是会说出 LoRA、DPO、GRPO 和 Agent,而是面对失败时能回答:

  • 这是哪一层的问题?
  • 最小修法是什么?
  • 训练信号具体长什么样?
  • 它可能损伤什么?
  • 用什么独立评测证明修好了?
  • 失败后怎样回滚和继续迭代?

能逐项回答,三册的“做模型—跑模型—改模型”才真正闭环。