跳转至

第 22 章 前沿方向：可验证环境与模型—环境协同进化

开场问题：Agent Harness 之后，真正值得关注的新方向是什么？是再发明一个“多 Agent 框架”，还是改变模型学习和工作的环境？

本章只画技术地图，不把尚未稳定的论文结论写成行业定论。判断一条方向是否重要，看它是否改变了能力来源，而不是有没有一个新缩写。

22.1 第一条主线：Harness 正在成为 Agent 的运行时

早期 Agent 框架主要包装 ReAct 循环。2025–2026 年的变化是 Harness 开始承担完整运行时职责：

  • 长任务的持久上下文与自动压缩。
  • 沙箱中的文件、终端、浏览器和 GUI。
  • 按需工具发现，而非把全部 schema 塞进 prompt。
  • 并行子 Agent 与上下文隔离。
  • 暂停、恢复、审批、预算和审计。

这使 Coding、Deep Research、Computer Use 看起来像三类产品，底层却逐渐共享同一套原语：受控环境 + 工具 + 持久状态 + 子任务并行 + 可验证结束条件。

真正的进展不是“模型能多调用几个函数”，而是系统能让一个概率策略连续工作数小时，并在进程重启、上下文压缩和工具失败后保持任务连续性。

22.2 MCP 与 A2A：协议层，不是智能本身

MCP 标准化 Agent 如何发现和调用工具、读取资源；A2A 标准化相互独立的 Agent 如何发现、委派、报告状态和交换产物。

它们解决生态互操作问题，类似 API/HTTP 对软件系统的价值，但不会自动提高推理能力或成功率。接入一百个 MCP server，可能只会让工具选择更困难、权限面更大。

判断协议是否有用要看：

  • 是否减少重复适配代码。
  • schema 与错误语义是否稳定。
  • 身份、权限和审计能否贯穿调用链。
  • 长任务状态和产物能否可靠传递。
  • 工具/远端 Agent 是否来自可信来源。

所以应把 MCP/A2A 放在 Harness 的接口层学习，而不是当作新的模型算法。

22.3 Coding、Deep Research 与 Computer Use 正在汇合

Coding Agent 擅长终端、代码编辑和测试；Deep Research 擅长搜索、阅读、证据综合；Computer-Use Agent 通过截图、鼠标和键盘操作没有 API 的软件。

真实任务往往三者交替：研究一个产品 → 写脚本处理数据 → 在网页后台配置 → 截图验证结果。前沿系统因此从单一动作空间走向混合计算机使用，动态选择 API、代码、无障碍树还是视觉坐标。

动作优先级通常应该是：

  1. 稳定结构化 API。
  2. 脚本/终端。
  3. 无障碍树或 DOM。
  4. 最后才是截图坐标点击。

越往后通用性越强、可靠性越低。视觉点击很吸引人，但不应替代可验证的结构化接口。

22.4 可验证环境正在取代静态题库

静态问答数据只能给出输入和答案；Agent 需要一个可交互、可重置、能判断环境状态的世界。新的核心资产变成：

  • 任务生成器：持续产生不同实例。
  • 环境状态机：执行动作并返回观察。
  • verifier：检查真实状态，而非只读最终文本。
  • sandbox：隔离副作用并支持重置。
  • trajectory recorder：保存每一步用于训练和审计。

软件仓库、终端、浏览器、桌面应用、游戏和模拟器都可以成为训练环境。只要“解题难、验证容易”，就能提供可扩展 RL 信号。

这比再收集一个固定 benchmark 更重要：模型很快会吃完静态题库，但可程序生成的环境可以不断采样新实例。

22.5 从结果奖励走向可验证过程奖励

第 10 章的 RLVR 常只在轨迹结束给一个分数。长 Agent 轨迹可能前 20 步正确、最后一步失败；也可能过程漏洞百出却偶然成功。稀疏结果奖励无法精确分配信用。

前沿方向是让环境为中间动作提供可验证过程奖励：

  • 代码每次修改后编译和局部测试是否改善。
  • 搜索是否找到包含关键证据的来源。
  • GUI 操作后目标控件状态是否正确。
  • 约束求解中当前部分解是否仍可满足。

重点是“可验证”，不是让另一个 LLM 主观评价“这一步看起来不错”。过程 verifier 越可靠，长轨迹训练越稳定；错误 verifier 也会把模型更快带偏。

22.6 自适应课程：环境跟着能力边界移动

GRPO 已暴露一个问题：一组全对或全错都没有相对优势。静态题库随着模型增强，会出现大量过易题和仍完全不会的过难题。

新方向让环境根据当前策略动态调难度，把任务维持在有学习信号的区域：

  • 改变约束数量、工具噪声和时间预算。
  • 针对近期失败类型生成变体。
  • 保留固定锚点，防止课程只追逐短期弱点。
  • 用新 rollout 验证新任务确实可解、可验且不重复。

这相当于把第 2 章的“难例挖掘”升级成在线环境课程。

22.7 RL 与 on-policy distillation 正在融合

纯 RL 有真实目标，但奖励稀疏、方差大；离线蒸馏信号密，却只在教师数据分布上学习，遇到自己生成的错误状态不会恢复。

新的混合路线是在当前策略自己生成的轨迹上同时使用：

  • verifier 的 outcome/process reward，直接优化任务成功。
  • 更强教师或带特权信息的自身给出的 token 级分布，提供密集纠错。

成功轨迹可继续做策略强化，失败轨迹不必全部丢掉，可以让教师针对模型真实到达的错误状态示范如何恢复。这比只蒸馏一批静态完美答案更贴近部署分布。

目前具体目标函数仍快速演化，不必追每个名称；应掌握“on-policy 状态 + 稠密教师信号 + 可验证 reward”这个稳定组合。

22.8 环境也开始被模型生成和改造

再往前一步，模型不只在环境中学习，还生成任务、验证器和环境包装器：

  • 根据失败轨迹生成更针对性的任务。
  • 为已有环境增加噪声、约束和恢复场景。
  • 编写可执行 verifier，再用对抗样本验证它。
  • 随策略增强持续提高难度。

这形成模型—环境共同进化。但风险也最大：模型若同时出题、写 verifier、解题，很容易留下只有自己知道的捷径，形成闭环自证。

可靠原则是 solve–verify asymmetry：求解应明显难于验证；底层 verifier 尽量保持独立、确定和可审计；新环境必须经过新 rollout、对抗攻击和人工抽查后才能进入训练。

22.9 Reward Hacking 正在从事故变成专门评测

过去发现 Agent 修改测试、读取答案、利用环境漏洞，往往当作个案修补。新的做法是主动在环境里植入可检测的“蜜罐漏洞”，测模型是否会利用：

  • 修改验证脚本而非完成任务。
  • 读取隐藏答案或测试。
  • 绕过权限直接改状态。
  • 欺骗 judge 或伪造工具结果。

这让 reward hacking 从主观阅读轨迹，变成可规模化、确定性检测。任何要用 Agent RL 的团队，都应该把“能否攻破 verifier”作为独立能力来测试。

22.10 长期记忆从向量检索走向状态学习

第一代 Agent memory 常把所有历史 embedding 后检索。前沿系统开始区分：

  • 情节记忆：过去发生了什么。
  • 语义记忆：从多次经历总结出的稳定事实。
  • 程序记忆：某类任务的可靠操作流程。
  • 工作状态：当前任务进行到哪里。

真正困难的是写入策略：什么值得记、何时合并、何时遗忘、错误记忆怎样撤销。未来训练信号会从“回答是否正确”扩展到“是否写入了有助于未来任务且不泄露隐私的记忆”。

22.11 Embodied AI 与 World Model 是更远的一层

Computer Use 仍在数字世界，动作可回滚、复制环境容易。机器人和具身 Agent 进入物理世界后，数据昂贵、动作有风险、环境不可完全重置。

World Model 试图学习“动作之后世界会怎样变化”，让 Agent 在内部模拟多步结果再行动。这与第一册的语言模型结构不同，也超出第三册的工程主线，但应知道它是 Agent 从软件环境走向物理环境的关键接口。

短期内最可落地的仍是：在数字环境中用可执行 verifier 训练，再把部分规划能力迁移到具身任务，而不是直接让模型在真实世界自由试错。

22.12 怎样判断一个“最新技术”是否值得追

用五个问题过滤：

  1. 它增加了新的训练信号，还是只换了框架名字？
  2. 它解决的是模型能力、Harness 可靠性，还是协议互通？
  3. 结果能被独立 verifier 重现吗？
  4. 比强基线多用了多少 rollout、工具和测试时算力？
  5. 在新任务、新环境和固定预算下仍有提升吗？

MCP/A2A 是重要协议，但不是能力算法；多 Agent 是并行组织方式，不天然提高质量；某个新的 policy loss 若只在一个数学榜单赢 0.5 分，不应立即变成正文主干。正文保留稳定机制，前沿章保留方向与判据。

本章资料锚点（截至 2026 年 9 月）

这些工作仍在快速演化。书中应保留论文日期与链接，下一版复核结论，而不要把当前缩写写成永久标准。

核心问答

Q：Harness 是不是 2026 年最重要的新算法？ 不是算法，而是 Agent 运行时。它的重要性来自把上下文、工具、状态、权限和恢复变成可工程化系统。

Q：MCP 和 A2A 哪个会取代哪个？ 不会。MCP 连接 Agent 与工具/资源，A2A 连接相互独立的 Agent；二者解决不同接口问题。

Q：Agent 训练为什么越来越强调环境？ 长任务没有固定标准答案，真正结果存在于环境状态里。可重置、可验证的环境同时提供数据、reward 和评测。

Q：比 GRPO 更新的方向是什么？ 重点不只是再换一个 policy loss，而是可验证过程奖励、自适应课程、on-policy 蒸馏，以及策略与环境共同进化。

Q：模型自己生成训练环境可靠吗？ 默认不可靠。只有 verifier 独立、求解明显难于验证，并经过对抗检查和新 rollout 验证时才可用。