11 月 2 日,OpenAI 发布了一个新评测基准 LifeVal,专门衡量 AI 能不能搞定普通人的日常事务。
它的设计取向很明确:不考知识问答,看模型能不能把任务推进到可执行、可交付的状态。覆盖照护、健康、教育、家庭行政、个人财务、政务服务等真实生活场景。
任务从哪来:一份时间使用调查
LifeVal 的任务设计参考了美国时间使用调查(ATUS),基于 3995 名受访者的调研构建。这个方法论选择挺关键——它意味着考的不是「人类觉得 AI 该会什么」,而是「人类实际把时间花在哪」。
公开案例的分数:
| 任务 | 得分 |
|---|---|
| 为孩子筛选幼儿园 | 93.1% |
| 组织防洪志愿者 | 98.0% |
| 为糖尿病患者制定膳食计划 | 90.4% |
GPT-6 Astra 在这套基准上拿到 80.6%,相比早前的 GPT-5.2 提升明显。
为什么「答对题」不够了
传统基准的隐含假设是:知识正确 → 任务可完成。这个假设在聊天机器人时代大致成立,在 agent 时代彻底失效。
真实的工作交付链条要长得多:先判断这件事该不该做、需要哪些信息、信息从哪来、有没有权限拿、中间要不要人确认、做完怎么验收、失败怎么回滚。任何一环断掉,前面答得再对也白搭。
LifeVal 把评测点前移到这条链上,等于是承认了:模型能力的天花板,已经从「知道多少」变成「能推进多远」。
这件事和同期发布的另一个基准形成了有趣的对照。OpenAI 随硬件设计案例一起公布的 BenchCAD 2.0,让模型重建三维零件、摆放装配件、恢复电路连接;报告显示一个未公布名字的内部新模型平均分达 0.875,GPT-6 Astra 在最高推理档为 0.594。但 BenchCAD 的原始说明也划了边界:评分不覆盖可制造性和物理性能——几何做得好,不等于好装、耐用、能交付生产。
两个基准都指向同一个方法论转向:评测正在从「题目」走向「交付物」,而交付物的最后一段(能不能真的用)目前还测不到。
三个需要保留的怀疑
第一,它还是内部工具。 LifeVal 目前属于 OpenAI 内部评估,完整任务集与评分代码未全部开放,结果需要谨慎解读。闭源基准的老问题依然存在:无法交叉验证,也无法排除任务设计对自家模型的偏好。
第二,分数高不等于任务真的完成了。 90.4% 的膳食计划得分,衡量的是计划本身的质量,还是计划被执行后的效果?这两者差距很大。生活类任务的验收标准天然模糊,很难像代码那样跑测试。
第三,样本基础是美国受访者。 ATUS 是美国劳工统计局的调查,用它构建的任务集在文化语境上有明确边界。对中国用户场景(政务办事、家庭结构、医疗流程)的迁移性需要单独验证。
对采购和落地的影响
如果企业正在用 benchmark 做选型,LifeVal 提供的是一份可用的对照口径:它测的能力,更接近 agent 在办公场景真正要做的事——多步骤、跨系统、需要判断什么算「办完」。
但更实用的启示不在分数,而在任务设计方法:拿自己团队的时间使用记录,列出最耗时的 20 件事,逐条问「这件事的完成状态怎么判断」。这份清单比任何公开 benchmark 都更能指导 agent 选型——因为它是你自己的 ATUS。
顺带一提,OpenAI 表示已用 LifeVal 追踪模型能力一年。这句话的潜台词是:内部早就在用这套口径做模型迭代的验收了,现在只是把尺子拿出来给外面看。尺子公开了,刻度还没公开。

评论(0)
暂无评论,来抢沙发~
请 登录 后发表评论