Skip to main content

Ctx2Skill：零标注自博弈，从文档自动提取技能

Paper Info​

Overview​

  1. 论文核心：Ctx2Skill 研究如何把一份此前未知的复杂上下文，自动转成可复用的自然语言技能，让模型在后续任务里更会用这份上下文。

  2. 背景问题：长上下文里常藏着规则、流程和判断标准，但人工读完再写技能成本高，普通自动抽取又缺少外部反馈来判断技能是否完整有用。

  3. 核心方法：系统让 Challenger 出题和写 rubrics，让 Reasoner 带着当前技能答题，让 Judge 给二元判定，再把失败和成功案例分别用于更新两侧技能。

  4. 技能更新：Reasoner Proposer 诊断失败中缺失的上下文知识，Challenger Proposer 诊断已通过任务为什么太容易，Generator 再把诊断写成新的技能集。

  5. 关键机制 — Cross Time Replay：每轮收集最难失败题和最易成功题，结束后回放历史技能版本，选择同时兼顾难题和简单题的 Reasoner 技能。

  6. 实验设置：论文在 CL-bench 上评估，覆盖 500 个 contexts、1899 个 tasks 和 31607 条 rubrics，任务分为领域知识、规则系统、流程执行和经验发现四类。

  7. 主要结果：

    • GPT-4.1: 11.1 → 16.5
    • GPT-5.1: 21.1 → 25.8
    • GPT-5.2: 18.2 → 21.4

  8. 消融发现：去掉 Challenger 技能演化下降最大；去掉 Cross Time Replay 后 GPT-4.1 降到 14.7，说明对抗压力和版本选择都是核心贡献。

  9. 系列位置：SkillX 和 Trace2Skill 更像从轨迹或经验中整理技能，Ctx2Skill 的独特位置是从新上下文冷启动生成技能，没有人工标注、外部奖励或参数更新。

  10. 局限边界：方法仍依赖 LLM Judge 和多 agent 构建成本；论文只测试每个上下文 5 轮、每轮 5 题；实验成本也显示它更适合会被反复查询的高价值上下文。

核心内容解读​

问题背景：上下文里藏着技能，但谁来挖掘？​

在实际应用中，长上下文文档里往往包含着规则、流程和判断标准——例如一份产品手册里藏着客服话术，一份法律合同里嵌着审阅逻辑。然而，从这些上下文中提取可复用的"技能"面临两重困境：人工阅读并编写技能的人力成本极高，而普通的自动抽取方法又缺乏外部反馈来验证提取出的技能是否完整、是否有用。Ctx2Skill 试图回答的核心问题是：能否在不依赖人工标注、外部奖励函数或参数更新的前提下，让模型自己从一份新上下文中冷启动生成技能？

自博弈三角：Challenger、Reasoner 与 Judge​

Ctx2Skill 的核心方法是一个三方自博弈框架：

  • Challenger：基于上下文出题，并编写评分标准（rubrics）。它的目标是设计出能暴露 Reasoner 能力盲区的题目。
  • Reasoner：携带当前的技能集回答问题。它的技能来自上一轮的提取结果，是动态演化的。
  • Judge：根据 rubrics 对 Reasoner 的回答做二元判定（通过/失败）。

这个三角博弈的妙处在于，Challenger 和 Reasoner 形成对抗关系：Challenger 被激励去寻找 Reasoner 技能的薄弱点，Reasoner 则被失败案例驱动去完善技能。两者在博弈中交替进化。

双向技能演化：两条 Proposer 线​

技能更新并非只有一个方向，而是通过两条独立的 Proposer 线实现双向演化：

Reasoner Proposer 分析 Reasoner 答错的题目，诊断失败原因——"当前技能集中缺少了哪条来自原始上下文的知识？"将这些缺失的知识提炼为技能条目。

Challenger Proposer 分析 Reasoner 答对的题目，反过来问——"这道题为什么对当前的 Reasoner 来说太容易了？"通过识别 Challenger 出题策略的不足，推动它生成更有挑战性的题目。

两边的诊断结果最终汇入 Generator，统一写成新的技能集，在下一轮博弈中投入使用。

Cross Time Replay：跨越时间的版本选择​

Ctx2Skill 的一个精巧设计是 Cross Time Replay 机制。在每轮博弈中，系统收集两类关键样本：最难失败的题目（hardest failures）和最易成功的题目（easiest successes）。当多轮博弈结束后，系统回放历史上所有版本的 Reasoner 技能，对这两类样本分别评估，最终选择那个同时兼顾难题和简单题的版本。

这个机制的意义在于，自博弈过程中技能可能在某一方面过度优化（例如专门应对某类题目），导致泛化能力下降。Cross Time Replay 通过跨时间维度的评估来对抗这种过拟合倾向。消融实验也证实了这一点：去掉 Cross Time Replay 后，GPT-4.1 的得分从 16.5 降至 14.7。

实验规模与结果​

论文在 CL-bench 上进行了大规模评估，覆盖 500 个上下文文档、1899 个任务和 31607 条 rubrics。任务被划分为四类：领域知识、规则系统、流程执行和经验发现，覆盖了现实场景中上下文技能的主要形态。

在三代 GPT 模型上的实验结果一致显示显著提升：GPT-4.1 从 11.1 提升至 16.5（+48.6%），GPT-5.1 从 21.1 提升至 25.8（+22.3%），GPT-5.2 从 18.2 提升至 21.4（+17.6%）。

消融分析进一步揭示了各组件的重要性：去掉 Challenger 技能演化带来的下降最大，表明对抗压力是技能质量的核心驱动力；去掉 Cross Time Replay 后性能大幅回落，验证了跨时间版本选择的价值。

在技能学习研究谱系中的位置​

在从经验中学习技能的这条线上，此前的工作如 SkillX 和 Trace2Skill 侧重于从已有轨迹或运行经验中归纳整理技能。Ctx2Skill 的独特定位在于从完全陌生的上下文冷启动生成技能——不需要人工标注、不需要外部奖励函数、不需要模型参数更新。它补上了"面对一份新文档，如何自动生成一套可用的技能"这一关键环节。

局限与适用场景​

Ctx2Skill 仍然依赖 LLM 作为 Judge，这意味着判定质量受限于模型本身的能力。多 Agent 博弈的构建也带来了显著的计算成本——论文中每个上下文仅测试了 5 轮、每轮 5 道题。从成本效益角度看，这套方法更适合那些会被反复查询的高价值上下文（如企业知识库、领域法规），而对一次性使用的文档来说，技能的提取成本可能超过其带来的收益。

Resources​

Last updated on by Kimi Gao