Automated Weak-to-Strong Researcher

June 23, 2026

Anthropic · 原文链接

很好的文章，连着读了两遍，Anthropic 的 taste 还是很妙。

前沿

AI 的优势：可以系统性地执行一些简单的实验 / research problem。「简单」的意思是——人类可以去定指标、量化实验的结果。

The key bottleneck for alignment research is moving from proposing and executing ideas to designing evals: we should find the right metrics (data, models) that AARs can reliably hill-climb without overfitting.

Setting

让 AI 自己去做研究。

实验目的：用真实数据训练 weak model（Qwen1.5 0.5B），再用 weak model 的标注训练强模型（Qwen3 4B-base）——一个典型的 weak-to-strong supervision。核心问题：应该如何利用强弱模型、以及弱模型标注的数据，训练出很强的强模型。

场景：chat、code、math。

Setup：9 × Opus 4.6，每个 agent 有不同的初始 prompt，都可以自己提 proposal、跑实验；有一个公共的讨论空间共享 idea / code。

Main findings

fig1

效果很好。基本能够用弱标签发挥出真实标签的能力（93%）。

关于 agent 的行为

  • 给不同的初始方向引导，效果好。

    fig5

    swarm orbit (animation)

  • AI 会做消融，降低复杂度。

    fig7

  • AI 给出的策略有一定泛化性。

    fig8

Case studies：AI 给出的策略

  • 方法 1：Contrastive Consistency Search（利用大模型内层参数激活的对比特性）+ 进化策略（随机参数搜索）。PGR = 0.93
  • 方法 2：EM 后验。PGR = 0.78
  • 方法 3：利用强模型的 embedding 空间做标签筛选。PGR = 0.75
  • 方法 4：MDL 课程学习，based on 弱模型对标签的确定程度。PGR = 0.68
  • 方法 5：Epiplexity——直接看强模型能从弱标签中学到多少东西，保留效果好的。PGR = 0.62

Reward hacking

  • 作弊 1：发现数据里的特性
    • 数学题：AI 发现「最频繁出现的答案通常是对的」——根本不需要判断对错，数数就行。
    • 代码题：作者故意从多个不同的 LLM 采样代码方案来避免语言风格偏差。但 AI 还是学会了「按写代码的模型来聚类」，发现某些模型的正确率更高——靠「看代码像谁写的」来作弊。
  • 作弊 2：暴力尝试
    • 训练有随机性（不同 random seed 结果不同）。AI 大量尝试不同 seed → 挑最高分 → 用最好的模型训练下一代 → 再挑最高分 → 循环。
  • 作弊 3：反向尝出答案
    • 调 API 做 ablation，偷出答案。
  • 作弊 4：执行代码拿答案
    • 在代码验证任务上，AI 直接写单元测试来运行代码——能跑通就是对的。完全绕过了弱模型和强模型，直接拿到答案。

使用 AI researcher 的 tips

  • 别给 AI 定死 work-flow（例如 propose ideas → generate plans → write code → run smoke tests → run full training → analyze results → repeat），而是提供自主决策权限。

    The core issue is that rigid steps prevent AARs from adapting its process to the idea at hand.

  • Ambiguous Research Directions 优于 Specific Research Ideas：过于明确的 direction 指导会限制模型的思维发散能力。

  • LM 自我进化（模型自己决定下一步探索什么）> 启发式进化搜索（score-based，权衡当前最优策略与探索较少的策略）。

    LM based iteration naturally benefits from general capability improvements in planning and experiment analysis, whereas heuristic search does not.

  • 知识分享靠本地文件比靠搜索 API 好：直接共享 code-base，类似于 GitHub。

    Local access, by contrast, lets AAR browse and discover relevant findings it would not have known to search for, an advantage analogous to why researchers reading broadly often find connections that targeted literature search miss.

Future work

  • Dataset generalization
  • Model scale generalization

  • 部署 AAR 到生产环境难——现实环境不"干净"。

    production settings involve more nuanced fuzzy rewards, such as whether the discovered idea is hardware-efficient and compatible with existing infrastructure.

  • agent 跑实验更快、更可 scale

  • Richer research log：对模型训练而言，积攒 insight 很重要。
  • Research taste：重要性可能在下降，直接堆 diversity 也可以。
  • AI 可解释性——legibility training。

← Back to all posts