11 月 3 日,清华大学与加州大学伯克利分校联合团队开源了 uni-robot-agent,论文标题很直白:《Democratizing Robot-Use Agents: A Unified Harness with Open Models》。28 位作者,通讯作者名单里有 Pieter Abbeel、刘知远、丁宁、徐梦迪——具身智能和基础模型两边的人都到齐了。
这份工作最反直觉的地方在于:它没有训练任何模型。它开源的是包裹在模型外面的那一层东西——agent harness。
先把账摊开:同一套壳,1 美元和 21 美元
RoboDojo 是包含 42 个任务的机器人操作基准,覆盖泛化、精确操作、长程执行、记忆、开放词汇指令跟随五个维度,每个配置跑 252 个 episode。团队把几个开源模型直接塞进这套 harness 里测,结果是这样:
- Qwen3.8-Flash-Next:Score 31.39,单 episode 平均消耗 3767 万 token,成本 1.09 美元;
- DeepSeek-V4.1-Flash:Score 27.11,4876 万 token,0.94 美元;
- GPT-6 Astra:Score 51.90,1678 万 token,21.29 美元。
关键对照是最后一行。GPT-6 Astra 此前在 RoboDojo 上公开的成绩是 28.97(RoboProbe harness),而 Qwen3.8-Flash-Next 用这套统一壳跑出 31.39——一个能下载权重、单局成本 1 美元出头的开源模型,超过了闭源前沿模型已经发表的那个数字。同时成本差 20 倍。
但必须把话说全:把 Astra 也塞进这套 harness,它拿到 51.90,仍然遥遥领先。所谓「开源模型追上了」,追上的是「闭源模型在别人壳里的成绩」,不是能力本身。这是 harness 的功劳,不是权重的功劳。
五层结构,一层都不炫技
整套东西拆成五层,一次工具调用要穿过去:Agent 层管模型交互与上下文,编排层做调度分发,工具层提供四类共享操作(Motion 运动、Perception 感知、Skills 技能、Episode 回合),服务层管运行时资源,后端层对接具体的仿真器、机器人和模型实现。
真正决定成败的是几条不起眼的设计:
统一交互接口。 所有工具的参数、单位、反馈格式一致,新增一个环境只需要写适配器,不用重写工具。这条听起来像工程规范,实际上是「可比较」的前提——没有统一接口,跨模型的分数根本没有可比性。
两阶段流水线。 后台工具调用先返回 job handle,推理和执行重叠起来跑;同资源排队,未开始的调用可以用 flush_queue 撤销。5 个选定任务的实测里,流水线让总时长缩短 4.8% 到 73.7%,最极端的 Swap T blocks 从 34.7 分钟压到 12.5 分钟。
无特权输入。 主设置下模型只能拿到 RGB 图像、相机标定、机器人本体感知和任务描述,不给深度图、不给 CAD 资产、不给隐藏标注、更不给验证器反馈。这条最狠——它把「模型是不是偷看了答案」这个在具身评测里长期说不清的问题直接掐掉了。
此外还有同一快照绑定、动作去重、移动与抓取合并成一次调用、按进度提前停止、动作结果自检、把历史图像转成文本占位符以复用 KV 缓存。都是省钱和省时间的细节,没有一条是论文里好写、工程上好做的。
消融实验里最有价值的两个数字
深度图消融。 给不给深度和标定,差距很大,但不同模型丢分的地方不一样:Astra 从 55.83 掉到 55.04(保留 98.6%),只给 RGB 才掉到 31.29;Qwen 从 35.89 掉到 31.39(保留 87.5%),只给 RGB 直接崩到 9.13。结论很清楚——Astra 能从纯视觉里把空间信息重构出来,Qwen 不能。这条对做机器人 Agent 的团队有直接指导意义:如果你的底座是开源模型,深度相机不是可选项。
技能库消融。 给 Qwen 预置技能库是 31.39 / 25.00% 成功率,拿掉之后是 30.31 / 24.58%,成功率只差 0.42 个百分点。也就是说,预定义技能有用但几乎不必要,模型自己写代码调工具就够了。这一条其实在拆「具身智能必须堆专用技能库」的台。
真机上更值得看的一组数
仿真之外还有 19 个真实机器人任务,五个维度各 20 分。Astra + 这套 harness 零样本拿到 80.50,Qwen 拿到 53.50。对照组是两个专门路线:微调过的 π₀.₅(每个任务喂 10 小时真机数据)47.75,零样本的 Dream-1 是 43.50。
Qwen 的零样本成绩超过了微调过的专用模型,这是这套 harness 最实在的一条证据。但差距也摆在那:组合泛化这一项 Astra 拿满分 20/20,两个 agent 在完全没见过的任务上都只有 8/20。
团队自己总结的四个瓶颈是:视觉理解、空间接地、几何编码、具身推理。他们顺手做了一个相关性检验——模型在 RoboDojo 上的表现,跟 ERQA 相关系数 0.97、MMMU-Pro 0.93、LiveCodeBench 0.75、ScreenSpot-Pro 0.69。翻译一下:具身操作能力目前基本可以靠通用视觉和代码能力预测,专用评测的独立信息量没有想象中大。
还有个细节值得记:Qwen3.8-27B 能完成的任务,早期那些 122B、150B 以上的模型成功率是 0。规模不是决定因素,接口和信息质量才是。
三个冷水
第一,训练是 future work。 论文里明确写着,用收集到的经验做训练还没开始。这次开源的是数据采集和评测的底座,不是「训练好的具身大脑」。想直接拿来上产线的团队会失望。
第二,样本量。 42 个任务、每配置 252 个 episode,真机 19 个任务、每个 20 分制。方向是可信的,但单个任务的差异不足以支撑「某模型更强」的强结论。团队自己给的稳定性数据是:深度版 Qwen 全池 2700 episode 均分 34.59,每变体 6 次 rollout 的均值也是 34.59,95% 区间 30.65–38.51——区间宽度本身就说明问题。
第三,harness 民主化 ≠ 能力民主化。 这套东西把「跑一次机器人实验」的入场费从几十美元压到 1 美元,把接口碎片化的问题一次性收掉,确实降低了研究门槛。但天花板还是模型给的:同一个壳里,Astra 51.90,Qwen 31.39。壳决定了你能不能及格,权重决定了你能考多少分。
对整个行业来说,这轮开源的真正信号是:具身智能的公共基础设施,正在从「谁的机器人本体多」转向「谁的接口和数据管线更通用」。模型权重会越来越像商品,而能把画面、标定、工具回执、任务描述组织成模型能吃下去的信息结构,才是接下来两年的硬活。
参考来源
- OpenRUA 项目页与论文说明:https://openrua.ai/uni-robot-agent
- 论文《Democratizing Robot-Use Agents: A Unified Harness with Open Models》(arXiv:2611.01560):https://huggingface.co/papers/2611.01560
- 代码仓库:https://github.com/Open-RUA/uni-robot-agent
- 项目主页:https://uni-robot-agent.com
- 机器前瞻 2026-11-03 报道(Qwen 成本为 Astra 的 1/20):https://www.163.com/dy/article/LAR7QG7L05569K8R.html

评论(0)
暂无评论,来抢沙发~
请 登录 后发表评论