Skip to main content

Autogenesis：让Agent Harness进化可审计的自进化协议

Paper Info​

Overview​

  1. 论文核心：Autogenesis 提出 AGP 双层协议，把 prompt、agent、tool、environment、memory 这些智能体内部资源注册成可版本化、可审计、可回滚的资源，再用统一闭环管理运行期自进化。

  2. Harness 边界：这篇论文不属于狭义 Harness 自动优化；它更像上游协议层，可承载 harness 组件更新，但主问题是多类 agent 资源如何被安全地注册、修改、评估和提交。

  3. 背景问题：MCP 和 A2A 已经改善工具调用和智能体通信，但它们没有充分定义内部资源生命周期、版本 lineage、安全更新和失败回滚，因此难以支撑可复现的自进化。

  4. RSPL 作用（Resource Substrate Protocol Layer）：定义"什么能变"，把 Prompt、Agent、Tool/MCP/Skill、Environment、Memory 做成协议资源，并提供模型、版本、动态加载和轨迹管理服务。

  5. SEPL 作用（Self Evolution Protocol Layer）：定义"怎么变"，用 Reflect → Select → Improve → Evaluate → Commit 五步把临时修改变成受控闭环，候选更新通过评估后才进入新版本。

  6. 系统实例（AGS）：在协议上构建多智能体系统，由 Planning Agent 规划任务，多个子智能体并行执行，通过 Agent Bus 通信，并在轨迹暴露失败后触发资源更新。

  7. 代表结果：

    • GAIA Validation 平均 93.33，GAIA Test 平均 89.04，Test Level 3 从 61.22 提升到 81.63
    • HLE 全量得分 59.6

  8. 代码能力：在 100 道近期 LeetCode 题上，Solution Evo 让 C++ 从 84 题提升到 99 题（接近满分）、Java 从 84 题提升到 98 题，并显著减少编译错误、运行错误、超时和错误答案。

  9. 系列定位：相比 Meta-Harness 搜索模型外层 harness、AHE 做可观测可回滚的 harness 工程、Continual Harness 做在线 harness 适配，Autogenesis 补的是统一资源协议和运行时提交机制。

  10. 边界风险：自进化会增加推理成本，Environment 和 Memory 的独立消融还不充分，目标函数或奖励信号出错可能带来行为漂移，版本和回滚只是基础保护，不等于完整对齐保证。

核心内容解读​

问题背景：Agent 自进化缺乏基础设施​

MCP（Model Context Protocol）和 A2A（Agent-to-Agent）已经在工具调用与智能体通信方面取得了显著进展，但它们没有充分定义智能体内部资源的生命周期管理。具体来说，Prompt、Agent 配置、Tool/Skill 集合、Environment 设定和 Memory 存储这些核心组件，缺乏统一的版本控制、变更追踪（lineage）、安全更新机制和失败回滚策略。这导致一个根本性问题：难以支撑可复现的自进化。当 Agent 在运行中尝试优化自身时，我们无法审计它改了什么、无法回滚一个失败的更新、也无法追溯某个能力的来源。

AGP 双层协议：分离"资源"与"进化"​

Autogenesis 的核心贡献是 AGP（Agent Genesis Protocol），它将自进化问题拆解为两层协议：

RSPL（Resource Substrate Protocol Layer） 回答"什么可以被改变"。它将 Prompt、Agent、Tool/MCP/Skill、Environment、Memory 这五类内部资源统一抽象为"协议资源"，并为每种资源提供模型定义、版本管理、动态加载和轨迹追踪服务。RSPL 的职责是确保资源的状态在任何时刻都是清晰、可审计的。

SEPL（Self Evolution Protocol Layer） 回答"怎样安全地改变"。它定义了一个五步闭环流程：Reflect（反思失败）→ Select（选择优化目标）→ Improve（生成候选更新）→ Evaluate（评估效果）→ Commit（提交新版本）。候选更新只有通过评估后才能进入正式版本，未被接受的修改不会污染运行中的 Agent。

AGS：协议之上的多智能体实例​

论文在 AGP 之上构建了一个具体的多智能体系统 AGS（Autogenesis System）。AGS 由 Planning Agent 负责任务规划，多个子 Agent 并行执行，通过 Agent Bus 进行通信。关键在于，当执行轨迹中暴露出失败时，AGS 会触发资源更新流程——被修改的可能是某个子 Agent 的 Prompt，也可能是它的 Tool 集合，或者是 Memory 中的检索策略。每一次更新都经过 SEPL 的完整闭环，确保变更可追溯、可回滚。

实验结果：GAIA 与 LeetCode 双线验证​

在 GAIA 基准上，AGS 的 Validation 集平均得分为 93.33，Test 集平均 89.04。特别值得注意的是，Test Level 3（最高难度）从基线的 61.22 提升到了 81.63，提升幅度超过 20 个百分点。在 HLE 全量评估中，AGS 得分为 59.6。

代码能力方面，论文在 100 道近期 LeetCode 题目上测试了 Solution Evo 机制。C++ 语言从初始的 84 题正确提升到 99 题（接近满分），Java 从 84 题提升到 98 题。自进化不仅提升了通过率，还显著减少了编译错误、运行时错误、超时和逻辑错误四类失败模式。

在 Harness 研究谱系中的位置​

在 Harness 自动优化这个方向上，此前的工作各有侧重：Meta-Harness 侧重于搜索模型外层的 harness 配置；AHE 强调可观测、可回滚的 harness 工程实践；Continual Harness 关注在线 harness 适配。Autogenesis 的独特贡献在于补上了统一资源协议和运行时提交机制这块拼图——它不是替代这些工作，而是提供了一层协议基础，让各类 harness 组件都能被安全地注册、进化和审计。

局限与风险​

自进化不可避免地增加推理成本，因为每次更新都需要经过完整的评估闭环。此外，Environment 和 Memory 在独立消融实验中的分析还不够充分，这两类资源对整体性能的贡献边界尚不清晰。更值得警惕的是，如果目标函数或奖励信号出现偏差，自进化可能带来行为漂移——版本控制和回滚机制只是基础设施层面的保护，并不等同于完整的对齐保证。

Resources​

Last updated on by Kimi Gao