Raven 把「造 Harness」这件事也自动化了:Agent 工程的下一个争论是——还需要人工写 Harness 吗

Raven 把「造 Harness」这件事也自动化了:Agent 工程的下一个争论是——还需要人工写 Harness 吗

Author: tengdy | Create: 2026-10-02 08:06:57 | Update: 2026-10-02 08:07:01 | 分类:智能体与 Harness

AI研究多智能体开源HarnessRavenEverMind自进化Host AgentTHRESHOLDRRSI

9 月 27 日,EverMind AI 开源了 Raven:一个 Apache 2.0 协议的多智能体系统,自我定位是「harness of harnesses」——它不打算做一个更好的编码或研究 Agent,而是让系统自己去构建、调度、甚至改写其他 Agent 的 harness。论文同步挂在 arXiv(编号 2609.33439),GitHub 仓库几天内攒下约 5000 星、1700 次提交,在 Hugging Face 日报榜拿了 475 个赞。

与此同时,10 月初另一篇论文给这个赛道泼了盆冷水:Apple 研究院 Brilliantov 等人的系统消融实验发现,在同等时间预算和同一底层模型下,开源 SOTA 的 MLE agent harness 相比一个「最小 harness」的编码 Agent 基线没有任何优势。一边是 harness 自动进化大跃进,一边是 harness 精雕可能白干——这两条线索放在一起看,恰好勾勒出 Agent 工程当下真正的分叉口。

Raven 到底做了什么

先对齐术语:harness 是模型外面那层东西——提示词、控制流、工具集、记忆管理,是把一个「会说话的模型」变成「能干活的 Agent」的全部脚手架。传统上这层靠人工打磨,而且经验上往往是 harness 而不是模型本身决定了 Agent 的最终上限。

Raven 的架构分三层:

  • Host Agent 做总包:把用户目标拆成任务 DAG,运行时校验依赖关系,只调度「前置就绪」的节点,每个节点分派给最合适的专家;
  • 专家池可插拔:内置 Raven-Research、Raven-Code、Raven-Design、Raven-Oncall 四个专家,同时预设了 13 种外部 CLI Agent 的接入——Claude Code、Codex、OpenCode、Qwen Code 都能当节点用;
  • Evolver 自动改 harness:诊断失败轨迹、提出针对 harness 本身的补丁、跑基准验证,只有超过基线的修改才会被保留。配套的 EverOS 记忆层跨会话沉淀经验,SkillForge 挂了一个 11.4 万条技能的语料库。

最能说明问题的演示是 THRESHOLD 案例:从一份人类写的 brief 出发,Raven 跑了约 4 天、42 轮「规划—开发—验证」循环,自主产出了一个可玩的 Godot 4 FPS 游戏(带竞技场和 Boss 战),外加官网、海报和 PPT。长程自主任务的工程闭环,第一次被开源系统完整跑通。

必须泼的冷水:数字全是厂商自报

Raven 的基准成绩——DeepResearch Mixed 76.5%(对比 DeepSeek-Harness 68.9%、MiroFlow 67.2%)、SWE-bench 系列领先——目前全部来自 EverMind 自己的运行,部分对比还使用了不同的容器化设置。项目自己也诚实标注了 pre-alpha、接口随时会变。所以正确的打开方式是:把它当作「harness 自动化」这条路线的存在性证明,而不是当成已经验证的先进生产力。独立复现出现之前,保持怀疑。

真正有意思的是那篇唱反调的论文

Apple 那篇《How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?》的结论更刺激:给足时间和同一个前沿模型,多智能体编排器、专用检索子 Agent 这些「machinery 层」在编码 Agent 场景下是冗余的——模型本身才是性能的主驱动。作者的原话是:围绕强模型精心雕琢 harness,在当前 MLE 基准上收益很差。

把两件事并排放,会发现它们其实在回答同一个问题的两个分支:

  • 如果 harness 精雕的边际收益趋零(Apple 论文),那人工 harness 工程师的价值确实在缩水;
  • 但如果 harness 可以由系统自动搜索、自动验证、自动进化(Raven、以及 Google Cloud AI Research 9 月底开源的 RRSI 框架——用正则化递归自改进在 Terminal-Bench 2.1 上把 74.2% 提到 80.2%),那 harness 层并没有消失,而是从「人写的」变成「跑出来的」。

换句话说,争论的焦点正在从「要不要复杂 harness」转移到「复杂 harness 由谁生产」。Raven 给出的答案是:由另一个 harness 生产。这在结构上和编译器自举、AutoML 演化神经架构是一脉相承的——每一层被自动化,都把上一层的价值往上推一格。

对从业者意味着什么

如果你在做 Agent 产品,这三个信号合起来的指向相当清楚:手写编排逻辑的护城河正在变薄。多智能体框架层(LangGraph 式的 DAG 编排、手写 router)会像当年的手动特征工程一样,逐步被「配置化 + 自动搜索」吃掉。价值会转移到三处:任务定义与 eval 集的构建(自动进化的前提是有可信的验收基准)、专家资产的沉淀(skill 库、记忆结构),以及对自动产出的 harness 做结果验收的工程能力。

Raven 们还太早,Apple 论文的结论也未必能外推到所有任务域。但方向已经清晰:2025 年大家拼的是谁家 harness 写得细,2026 年下半年开始,拼的是谁家的 harness 进化得快。对一个把「planner/tools/memory」当核心资产的团队来说,这个转向值得现在就开始准备。

参考来源

  • arXiv《Raven: The Harness of Harnesses for Composable Agentic Intelligence》(2609.33439,2026-09-27 提交)
  • mlllm.io《EverMind Releases Raven: An Open System That Builds and Evolves Agent Harnesses》(2026-10-01)
  • mer.vin《Raven: An Open-Source Harness of Harnesses for Composable AI Agents》(2026-10)
  • Brilliantov, Hernández-Cano & Abbé《How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?》(arXiv,2026-10)
  • CryptoCortex《Google's RRSI framework lets AI agents rebuild their own harnesses》(2026-10-01,论文 arXiv 2609.24972)

评论(0)

暂无评论,来抢沙发~


关于本站 · RSS

浙ICP备2025156991号浙公网安备33010802013816号 浙公网安备33010802013816号 © 2026 智能体工场 - [从善如登] All rights reserved.