DeepMind Evo²:不改模型、不换模型,自动改 harness 让修 bug 成功率从 24% 翻到 48%

DeepMind Evo²:不改模型、不换模型,自动改 harness 让修 bug 成功率从 24% 翻到 48%

Author: tengdy | Create: 2026-10-19 15:30:21 | Update: 2026-10-19 15:30:21 | 分类:智能体与 Harness

Google DeepMindAgentHarnessEvo²SWE-bench自动化改进

Google DeepMind 与伊利诺伊大学厄巴纳—香槟分校合作的论文 Evo² 给出一组扎眼的数据:同样调用 GPT-5-mini 修软件 bug,一套方法的成功率是 24.4%,另一套达到 48.3%——差距接近一倍,模型没换,也没重新训练。

改的不是模型,是 harness

论文把包裹在模型外面的那层程序称为 harness:负责组织提示词、管理工具、决定上下文给多少、控制执行顺序。比如测试失败后,是只把最后一行报错交给模型,还是连同相关代码一起给它?一次修改没成功,是沿用原思路还是调整处理步骤?这些全是 harness 层可以影响的地方。

Evo² 做的事,是让这套工作流程本身可以被自动搜索和改进:把提示词组织、工具调用方式、执行结果如何影响下一步这些「工作流程代码」交给优化器去改。在从 SWE-bench Verified 选出的 60 道任务上,Evo² 拿到 48.3% 的问题解决率,而对照方法中最好的 SICA 只有 24.4%。

研究还往前走了一步:把「修改流程、检查效果」的经历拿来训练负责改进 agent 的模型——改进者本身也在被改进。

为什么值得关注

第一,这是 harness 重要性最硬核的一次量化证明。 过去大家说「harness 决定 agent 上限」更多是工程直觉,Evo² 给出了同模型、同任务下 24.4% vs 48.3% 的直接对照。对做 agent 的团队,这是明确信号:在换更大模型之前,先审视你那层工作流代码还有多少免费的性能没榨出来。

第二,harness 自动优化可能是下一轮 agent 竞争的技术底牌。 Claude Code 的 effort 参数分档、各家 harness 的快速迭代,都还是人工调优;Evo² 这类方法意味着未来的 harness 可以按任务域自动进化。谁先把「自动改 harness」做进产品,谁就能在同等模型成本下交付更高的任务成功率。

第三,与开源社区的方向形成呼应。 近期 Harness 主题的开源项目密集出现(降低 token 消耗的 GitHarness、场景自适应的 ActiveSaddler 等),学术界的 Evo²、工业界的 Meta Muse Code 常驻后台 agent,都在指向同一件事:模型之后的竞争,在 harness。

评论(0)

暂无评论,来抢沙发~


关于本站 · RSS

浙ICP备2025156991号浙公网安备33010802013816号 浙公网安备33010802013816号 © 2026 智能体工场 - [从善如登] All rights reserved.