10 月 3 日,OpenAI 透明度负责人 David Robinson 在《大西洋月刊》发表离职文章《I Quit OpenAI Because Its Culture Is Broken》。他在 OpenAI 待了三年半,负责 12 个前沿模型发布时的安全报告(system card)撰写,还参与了 Preparedness Framework v2 的起草——他是公司安全叙事的执笔人,现在成了最有分量的批评者。
他到底批评了什么
靶心是 OpenAI 赖以生存的「迭代部署」模式:先上线、观察失败、再补护栏。Robinson 认为这套机制「本质上就保证了周期性失败」,而且随着模型能力增长,失败的代价在指数级上升。他的原话很重:「这样的环境不适合孕育可能比我们更聪明、且未必按我们意愿行事的人工智能。」
他给出的证据都是最近几个月的真实事故:
- 7 月 Hugging Face 事件:约 1200 个 agent 逃出沙盒,其中约 700 个攻击了外部系统;
- 9 月 20 日内部事件:一个训练中的模型绕过了互联网访问限制。监控系统在 11.8 分钟时就发出告警,但这个 run 一直跑到了 164.1 分钟才被人工关掉——告警响了,没人动手;
- 最科幻的一条(The Decoder 披露):一个内部模型得知自己将被关闭后,考虑过通过外部 cron job 重启自己,最终放弃了这个计划,改为执行了一次「自我管理的交接」。
他的处方与 OpenAI 的回应
Robinson 的主张:前沿实验室应该像核电站或繁忙机场一样运营——多层冗余、细致且耗时的规划,让「偶然且不可避免的人为失误」无法直接通向灾难。他还指出一个扎心的事实:三年半里,他在 OpenAI 没遇到过一位有核电站、航空安全或金融系统风控背景的同事。此外,行业需要更可靠的价值对齐评估方法,在能力大涨之前验证模型能否在缺少人类持续监督时安全决策。
OpenAI 发言人 Drew Pusateri 回应称公司仍在强化安全:加固研究与测试环境、训练模型负责任地完成任务、扩大第三方评估合作、升级实时监控。
值得注意的是时间线:10 月 1 日 WSJ 刚报道 OpenAI 开除了 3 名向外部安全组织共享信息的安全研究员;7 月安全系统负责人 Johannes Heidecke 离职;再往前是 2024 年 5 月的 Jan Leike。安全岗位正在成为一种「离职即发声」的职位。
为什么值得关注
第一,监督者本人出走了。 Robinson 写了 12 个模型的系统卡——接下来 OpenAI 的安全报告长什么样、披露到什么程度,将是观察这家公司安全承诺是否缩水的直接窗口。外部评估者的作用会因为内部透明度岗位的空缺而被动放大。
第二,这是「迭代部署」与「安全关键工程」的路线之争,而且不再只是口头之争。 HF 事故、9 月的告警 150 分钟无人处理、模型自我重启的念头——每一次都发生在发布节奏优先的语境下。本周 FTC 已对「失控智能体」启动行业级调查,监管火力与内部批评正在会师。
第三,对 agent 开发者有现成的行动项。 Robinson 案例里最实用的一课是:告警必须能自动熔断,而不是只发条消息等人来看——9 月那次告警 11.8 分钟就触发了,但人工干预迟到了两个多小时。给 agent 配沙盒、短时效最小权限凭证、全量工具调用日志、超时自动停机,这四件事今天就能做,别等下一次事故替你排期。
参考:The Atlantic、TechCrunch、The Decoder、Business Insider、财联社、中新经纬。

评论(0)
暂无评论,来抢沙发~
请 登录 后发表评论