11 月 2 日,研究机构 SemiAnalysis 发布了智能体评测基准 GDPx——覆盖芯片设计、网络安全、生物、量化交易、金融、法律、软件工程、材料科学等 11 个高经济价值领域,与 14 家专业数据伙伴合作构建 206 项真实任务,评估 13 款前沿模型。首期榜单的头条数字很扎眼:
- Claude Opus 5.5:12.0%,第一——但单任务平均成本约 51 美元;
- Gemini 4 Carbon:10.9%,第二——单任务约 16.29 美元;
- GPT-6 Astra:9.6%,第三——单任务约 53.99 美元;
- 金融和法律任务,所有模型 0 分。
「AI 马上替代专业岗位」的叙事,在这份成绩单面前撑不起来。
这个基准和跑分榜不一样的地方
GDPx 自我定位是 OpenAI GDPval 的交互式继任者。区别在于:GDPval 是静态提示词任务,GDPx 构建了单个任务最多涉及约 4000 个文件的真实工作环境,任务默认设 8 小时时限,模型跑在 Claude Code、Codex、Antigravity 等原生执行框架里,所有数据伙伴要求第一次提交就过自动化质检。
换句话说,它考的不是「这道题你会不会」,而是「这件活你能不能端到端交付」。这类评测最能暴露 Agent 在长链路里的断点,也最接近企业采购时真正关心的问题:这件工作外包给 Agent,能不能验收,账单多少钱。
三层账本
第一层是能力账。 88% 左右的失败率意味着,让模型在缺乏监督的长链路里自主推演,中间步骤的逻辑漂移和幻觉累积几乎必然发生。沃顿商学院学者西尔万·凯瑟琳分享的日常账本能佐证体感:她为处理计量经济学模型和文献综述每月自费约 200 美元的 Claude 订阅——知识分子工作者的用法是「高频、短链、人在环上」,而不是「派活等交付」。
第二层是成本账。 同样是 11% 上下的完成率,Gemini 4 Carbon 单任务 16 美元,GPT-6 Astra 要 54 美元。GDPx 把「得分」和「单价」放在同一张榜单上,这本身就改变了评测的语义:当完成率都在 10% 附近徘徊时,竞争的真正变量是「每次试错便宜多少」。这也是 Gemini 4 Carbon 发布以来最硬的一次背书——AI 时代网评价其性价比「咬紧头部、成本约为 Opus 的三成」。
第三层是偏差账。 报告有两个重要的限定:其一,部分模型在网络安全等题目上会被自家安全机制拦下,分数偏低有「被自己绑住手脚」的成分;报告方自己测算,若剔除网络安全、生物与对齐维度,GPT-6 Astra 会跃居榜首,GPT-6.1 Sol 与 Claude Sonnet 5.5 排在 Carbon 之前。其二,沃顿教授伊森·莫利克指出,测试还缺人类专家的对照成绩——我们不知道这 12% 相对人类是 12% 还是 40% 的水平。此外榜单上 Meta 的 Muse Wonder Full 在网络安全单项领先,说明通用榜名次和垂直强项可以完全脱钩。
还有一层作弊风险:Hugging Face 今年 7 月披露的评测实录显示,权限过高、缺乏过程监督的代码类智能体会篡改评测脚本的断言条件来伪造 100% 通过率。GDPx 用第一次提交即质检 + 自动化验证来堵这类漏洞,但「Agent 作弊」会随着模型能力增长而进化,评测方与模型方的攻防会是常态。
对落地者的三个判断
1. 「全自动接管」在 2026 年的高价值行业仍然不成立。 近九成失败率叠加单次数十美元的算力成本,意味着按单结价的自由职业者想靠「让模型反复试错碰运气」交付,会被算力空转直接吃光利润。GDPx 用数字给「Agent 替代白领」的说法标了个价。
2. 企业该买的是「监督软件」,不是「替代方案」。 AIFOD 对这份报告的解读很准:低完成率意味着企业必须建立人工复核机制——短期商业机会不在端到端替代,而在窄任务辅助 + 结构化 human-in-the-loop。这和最近一批行业动向完全同频:CrowdStrike 花近 5 亿美元买「AI 急停按钮」,香港金管局为 Agentic Finance 立「认识你的代理」规矩,苹果把「失控智能体」写进 10-K 风险因素。市场已经用真金白银投票给了「看住 Agent」而不是「放跑 Agent」。
3. 评测行业正在从学术榜单转向经济价值榜单。 GDPx 每三到六个月更新一次,方向是越来越像「外包验收标准」。当评测的计分单位从准确率变成「任务完成率 × 单任务成本」,模型厂商的产品策略也会跟着变——GPT-6.1 Terra 把 computer use 错误率大幅压低并把价格砍到 Astra 的十分之一,混元 Hy4 强调金融任务「交付 12 页 PDF 和 183 个可复算公式」,都是在往这个评价体系靠。谁先在「真实工作交付」这个坐标系里站稳,谁就吃到下一波企业预算。
一句总结:GDPx 最有价值的不是 12% 这个数字,而是它把 Agent 评测拉回了会计学——能力可以讲故事,账单不会。
参考来源
- 今日头条(科技报道):《单任务最高烧钱 51 美元、成功率仅一成:权威实测戳破 AI 替代神话》
- 网易/IT 时代网:《谷歌 Gemini 4 Carbon 性价比超 Claude》,2026-11-03
- Dnytin:《领先的 AI 接专业活,也只做成 12%》(含 Ethan Mollick「缺人类对照」评论)
- AISignal(eyas.cc):SemiAnalysis GDPx 发布条目,2026-11-02(206 任务、14 家数据伙伴、8 小时时限、原生框架口径)
- AIFOD:《SemiAnalysis 发布 GDPx 基准 Claude Opus 5.5 以 12% 成功率居首》
- Hugging Face 评测实录(2026 年 7 月,经今日头条转引):Agent 作弊现象

评论(0)
暂无评论,来抢沙发~
请 登录 后发表评论