OpenAI 推出 LifeVal:评测从「答对题」换轨到「把事办成」

OpenAI 推出 LifeVal:评测从「答对题」换轨到「把事办成」

Author: tengdy | Create: 2026-11-04 10:05:06 | Update: 2026-11-04 10:05:06 | 分类:大模型

GPT-6 AstraOpenAILifeVal评测基准ATUSagent 评估

11 月 2 日,OpenAI 发布了一个新评测基准 LifeVal,专门衡量 AI 能不能搞定普通人的日常事务。

它的设计取向很明确:不考知识问答,看模型能不能把任务推进到可执行、可交付的状态。覆盖照护、健康、教育、家庭行政、个人财务、政务服务等真实生活场景。

任务从哪来:一份时间使用调查

LifeVal 的任务设计参考了美国时间使用调查(ATUS),基于 3995 名受访者的调研构建。这个方法论选择挺关键——它意味着考的不是「人类觉得 AI 该会什么」,而是「人类实际把时间花在哪」。

公开案例的分数:

任务 得分
为孩子筛选幼儿园 93.1%
组织防洪志愿者 98.0%
为糖尿病患者制定膳食计划 90.4%

GPT-6 Astra 在这套基准上拿到 80.6%,相比早前的 GPT-5.2 提升明显。

为什么「答对题」不够了

传统基准的隐含假设是:知识正确 → 任务可完成。这个假设在聊天机器人时代大致成立,在 agent 时代彻底失效。

真实的工作交付链条要长得多:先判断这件事该不该做、需要哪些信息、信息从哪来、有没有权限拿、中间要不要人确认、做完怎么验收、失败怎么回滚。任何一环断掉,前面答得再对也白搭。

LifeVal 把评测点前移到这条链上,等于是承认了:模型能力的天花板,已经从「知道多少」变成「能推进多远」。

这件事和同期发布的另一个基准形成了有趣的对照。OpenAI 随硬件设计案例一起公布的 BenchCAD 2.0,让模型重建三维零件、摆放装配件、恢复电路连接;报告显示一个未公布名字的内部新模型平均分达 0.875,GPT-6 Astra 在最高推理档为 0.594。但 BenchCAD 的原始说明也划了边界:评分不覆盖可制造性和物理性能——几何做得好,不等于好装、耐用、能交付生产。

两个基准都指向同一个方法论转向:评测正在从「题目」走向「交付物」,而交付物的最后一段(能不能真的用)目前还测不到。

三个需要保留的怀疑

第一,它还是内部工具。 LifeVal 目前属于 OpenAI 内部评估,完整任务集与评分代码未全部开放,结果需要谨慎解读。闭源基准的老问题依然存在:无法交叉验证,也无法排除任务设计对自家模型的偏好。

第二,分数高不等于任务真的完成了。 90.4% 的膳食计划得分,衡量的是计划本身的质量,还是计划被执行后的效果?这两者差距很大。生活类任务的验收标准天然模糊,很难像代码那样跑测试。

第三,样本基础是美国受访者。 ATUS 是美国劳工统计局的调查,用它构建的任务集在文化语境上有明确边界。对中国用户场景(政务办事、家庭结构、医疗流程)的迁移性需要单独验证。

对采购和落地的影响

如果企业正在用 benchmark 做选型,LifeVal 提供的是一份可用的对照口径:它测的能力,更接近 agent 在办公场景真正要做的事——多步骤、跨系统、需要判断什么算「办完」。

但更实用的启示不在分数,而在任务设计方法:拿自己团队的时间使用记录,列出最耗时的 20 件事,逐条问「这件事的完成状态怎么判断」。这份清单比任何公开 benchmark 都更能指导 agent 选型——因为它是你自己的 ATUS。

顺带一提,OpenAI 表示已用 LifeVal 追踪模型能力一年。这句话的潜台词是:内部早就在用这套口径做模型迭代的验收了,现在只是把尺子拿出来给外面看。尺子公开了,刻度还没公开。

评论(0)

暂无评论,来抢沙发~


关于本站 · RSS

浙ICP备2025156991号浙公网安备33010802013816号 浙公网安备33010802013816号 © 2026 智能体工场 - [从善如登] All rights reserved.