「Claude 比 GPT 强 8 分」和「GPT 比 Claude 强 30 分」，这两个结论出自同一批模型、同一批任务——区别只在跑它们的 Agent Harness 不同。10 月初，南洋理工大学安波团队发布论文《Finding the Right Fit: Model-Harness Interactions across Agent Tasks》，用 66 组对照实验和 6,204 条打分轨迹，把「看榜单选模型」这件事的根基摇了一下。
实验怎么设计
研究团队选取四款可配置的开源 Harness——OpenHands、DeepSeek Harness（DSH）、PI、openJiuwen——与五款前沿模型交叉配对：Claude Opus 5、GPT-6 Astra、GLM-5.3、Kimi K3、DeepSeek V4 Pro；再加上两组厂商原生配对（Codex-GPT、Claude Code-Claude），共 66 组配置，在 TUA-Bench、ALE-CLI、Terminal-Bench 4 三大基准上系统评测。全部 6,204 条打分轨迹、Harness 适配器与评测代码均已开源，API 成本按 OpenRouter 统一价格结算。
这个设计的巧妙之处在于：它没有像榜单那样固定 Harness 去比模型，而是把「模型 × Harness」当成一个矩阵摊开来看。
发现一：模型排名会随 Harness 反转
最戏剧性的数字来自 Terminal-Bench 4：同一对模型，放进 OpenHands，Claude Opus 5 领先 GPT-6 Astra 7.94 分；换成 PI，Claude 反而落后 30.16 分。领先者与落后者完全对调，且差距远超统计噪声。
这意味着：任何不注明 Harness 的「模型 X 打败模型 Y」，信息量都趋近于零。
发现二：最佳 Harness 随任务漂移，唯有一组三连冠
五款模型中有四款，「最佳 Harness」在不同基准之间来回切换：GLM-5.3 与 DeepSeek V4 Pro 的最高分分别来自 openJiuwen、OpenHands、DSH 的不同组合；GPT-6 Astra 在 TUA-Bench 上配 openJiuwen 最优、另外两项更适合 PI；Claude Opus 5 在 TUA-Bench 与 ALE-CLI 上靠自家 Claude Code 拿最高分，到 Terminal-Bench 4 却换成 OpenHands。
唯一的例外是 Kimi K3：它与 openJiuwen 的组合在三项基准上全部拿到该模型最高分，分别领先其他配置 5.61、6.91、11.11 分，且优势分布在 22、25、8 个任务上——不是靠少数任务撑起来的。
顺带一个反直觉结论：模型自家的原生 Harness 并不可靠地最好。Claude Code 只在三项基准中的两项上是 Claude 的最优解；Codex 配 GPT 的原生组合，得分也压不过 openJiuwen-GPT 或 PI-GPT。
发现三：贵不等于好，成本能差出数倍
按统一 API 价格核算，Terminal-Bench 4 上的 GPT-6 Astra：配 PI 总成本约 293 美元、得分 60.32%；配 DSH 总成本约 1,256 美元（约 4.3 倍），得分反而只有 52.38%。成本差异来自 Harness 组织模型调用与上下文的方式——PI 靠更少的调用次数取胜，openJiuwen 则靠激进的缓存策略（94%~99% 的输入 token 命中缓存，其他 Harness 为 49%~77%），在重复场景下单位任务成本天然更低。
机理：失败信息怎么「递回」给模型
论文的轨迹分析给出了一个很实在的解释：几乎所有修复动作都是模型自己发起的，所以真正决定成败的，是 Harness 能否把失败信息以模型可用的形式回传。GPT 系模型适配 PI 的极简脚手架；Kimi K3 常常发出格式错误的工具调用，在容错更强的 openJiuwen 里反而如鱼得水。
换句话说，「适配」不是玄学，而是「模型的坏习惯」与「Harness 的容错设计」之间的匹配问题。
给选型者的三条建议
第一，把榜单当参考、不当结论。同期的另一篇论文《Agent Evaluation Reliability》用贝叶斯方差分解算出：「模型 + 脚手架」固定组合的排名可靠度高达 0.935~0.994，而剥离脚手架只看底层模型，可靠度会跌到 0.148~0.841。你看到的模型排名，很可能量的是别人的 Harness。
第二，评测要「结对」上报。报模型必报 Harness，否则结果无法复现、无法比较——这也是这篇论文把 6,204 条轨迹全部开源的意义。
第三，最贵不等于最优。与其按单价挑模型，不如先在自己的 Harness 里跑小规模对照实验，让数据说话。
对做 Agent 工程的人来说，这篇论文的价值不在「谁第一」，而在于它把行业的默认假设——「换个更强的模型就能涨分」——替换成了正确的问题：你的模型和你的 Harness，合不合。
评论（0）
暂无评论，来抢沙发～
请 登录 后发表评论