IBM Research 宣布与 Kaggle 合作，把自家的 ScarfBench（Self-Contained Application Refactoring Benchmark）变成一个持续更新的公开排行榜：204 道真实的企业 Java 迁移任务，覆盖 Jakarta EE、Quarkus 和 Spring 三大框架生态，34 个应用家族。Kaggle 参与了评测设计、在平台上独立复现了运行结果并赞助算力，后续会持续加入新模型。

这个基准不一样在哪

企业级「现代化改造」agent 的演示视频都很漂亮，但真实失败往往不在「代码长得像不像目标框架」，而在下一步：编译通过了，起不来；或者起来了，路由丢了、业务行为变了。ScarfBench 的判定标准因此很硬——候选代码必须编译、部署进目标运行时，并通过行为测试。光编译通过不得分。

首发排位

十组「模型+Harness」组合里：

• Gemini 4 Argon + Antigravity：smoke 指标约 75.2% 领先
• Claude Opus 5.5 + Claude Code：smoke 约 70.5%
• Claude Opus 5 + Claude Code：smoke 约 69.8%

但有个重要细节：smoke 指标给部分分、且权重偏向大测试套件，天然利好 Argon；在更严格的全测试通过率上，Opus 5.5 以约 72.1% 反超 Argon 的 71.1%。也就是说，两个头部组合各有各的强项，排名取决于你怎么定义「成功」。

真正的分水岭不在编译成功率（普遍很高），而在运行时保真度：丢失的路由、HTTP 行为漂移、残留的源框架接线——这些才是把冠军和陪跑区分开的地方。

为什么值得企业架构师关注

企业存量 Java 系统的现代化是 agent 落地里最「真实」的场景之一：有明确验收标准（能跑、行为一致）、有海量存量代码、有真实的工程痛点。ScarfBench 把这类 agent 从 demo 视频拉进了可复现的验收测试。头部组合约 75% 的 smoke 分说明前沿模型已经能啃下相当一部分迁移工作，但仍有约四分之一的硬骨头——这 25% 恰恰是企业决定「哪些迁移敢交给 agent、哪些必须人工」的分界线。目前公测提交尚未完全开放，但已在路线图上；仅凭 Kaggle 现有榜单，下一份「agent 迁移企业 Java」的技术方案至少得拿数据说话了。

来源：IBM Research、Kaggle（2026-10-30）