AI 前沿观察:人物、突破与证据|解读日期:2026 年 11 月 7 日|资料截止:11 月 7 日 20:33(北京时间)

机械臂把最后一块积木放上去,塔没倒,字却横着。只看最后一帧,很难知道模型是没认出字的朝向,还是认对了、夹爪却没放正。11 月 6 日,艾伦人工智能研究所(Ai2)公布 ToyBlocks,把这些可能性放进同一张模拟桌面:保留一个模型的决定,换掉执行动作的部件,再看积木落在哪里。理解这个设计,比单看机器人搭成了几座塔,更能看出一张小桌子为什么值得做成研究平台。

机械臂夹着木块靠近积木塔,淡蓝轮廓标示预期落点

原创概念示意图:目标姿态与实际动作可以分别检查。非实验照片或结果图。

看得见正确答案的,是谁?

假设目标是用三块积木从下到上拼出指定的字符。对一个只看到相机画面的机器人来说,找不到字母有两种解释:桌上确实没有,或者那一面正贴着桌面。后者需要先翻块才能决定要不要抓取。就算所有字面都朝前,字是否正立、哪块先放、怎样松开夹爪,也分别可能出错。一座塔看起来像是搭完了,距任务完成却还差一个朝向。

模拟器有一个真实相机没有的优势:它知道每块积木的准确位置和姿态。ToyBlocks 用这些信息生成示范,由规划器把翻转、抓放等技能排成可执行的动作序列;训练后的模型再根据传感器观测做决定。两者之间的区别很关键:老师知道积木朝哪边,不等于学生从像素里也认得出。同样,项目页列出的首批 85,336 条长程示范,是自动生成的模拟经历,并非这么多次真实机械臂试验,也不是这么多种不同任务。对研究者而言,能决定下一批示范里哪些字面被遮住,比单纯增加录像时长更有用。

同一座塔,换谁来搭?

在团队测试的一套系统里,视觉语言模型 Molmo 2 看着图像选技能、指目标;动作模型 ManiFlow 接到指令,把它变成机械臂的运动。要判断动作模型是否学会了放置,可以先让符号规划器指对积木,再观察夹爪的表现。反过来,保留 Molmo 2 的指令,改用生成示范时的参考技能执行,就能查看它选的那一步能否让任务前进。评测文档给出了这两种替换,也允许从记录过的初始状态重新开始。

系统还会记下阶段进展。一座三层塔,即便最后一块放歪,前两块的上下关系仍然成立。把已经满足的条件一项项保留下来,就能区分开局便选错的回合,和只差最后一次放置的回合。

这比回看一次失败录像多给了一条证据。例如,两个执行器都忠实地拿起了错误的块,检查上层收到的画面和它指向的位置,就比继续调夹爪更有针对性。不过,换一个执行器也可能改变积木的落点,下一帧上层看到的画面就变了。因此,两套系统的成功率之差不能直接记作某个部件独自造成的失败比例。更有解释力的比较,是找到两条轨迹第一次分开的那一步:当时的指令相同吗,物体是否如预期移动?

真机的十五次成功,分母是什么?

团队的真机对照使用 Franka FR3 机械臂和 Robotiq 夹爪,每个场景有四至十块训练时见过的积木。三字符拼字选择了最容易的起始条件:目标字符可见,而且正立。Molmo 2 与 ManiFlow 合用,在模拟中完成了 200 个回合里的 111 个,在真机上完成了 30 个里的 15 个。这里一次成功指整道任务达到要求;操作员因不安全动作叫停,也算失败。它回答的是这套系统能否把一连串动作做完,不能拿来估计寻找隐藏字面的成功率。

两边的比例分别是 55.5% 和 50%。在三十次真机试验里,多成功一次就会让比例移动约 3.3 个百分点。仅凭这两个点估计,很难区分环境差异和抽样波动,更不能判定两种环境等效。还有一个容易漏掉的条件:策略虽然只用模拟数据训练,团队却先用真机轨迹校准了模拟机械臂的参数。“没用真机示范训练策略”有清楚的技术含义;它不意味着面对一台从未测量过的新机械臂也会得到相同结果。

下一组试验,值得留下哪些记录?

一个有用的后续试验,可以保留原有积木、指令和机械臂,先改变一件事:把部分目标字符转到背面。对每个起始布局,除了记录整塔有没有拼对,还记下模型何时首次看见目标字符、是否选对块、抓放后朝向是否正确。这样,即使最后的成功率都下降,也能分辨模型是花光了动作预算仍在找字,还是已经找对却在最后一次放置时失手。开放仓库支持把失败状态送回示范生成流程;若据此补充训练,就该另留一批从未用于补课的布局来检验收益。

这仍是待做的检验。Ai2 的公告、项目页、代码和文档来自同一团队,本次检索未找到独立团队重做这组真机对照,本文也没有运行实验。ToyBlocks 已经给出的,是一种让失败留下可比较记录的办法。下一项更有分量的证据,会是别人能否根据这些记录找出同一个薄弱环节,并且在没见过的桌面布局上,只改这一步就让更多整塔拼对。

参考资料

  1. Ai2 研究公告:ToyBlocks 的设计、拼字设置与真机结果
  2. ToyBlocks 项目页:公开示范的规模与组成
  3. ToyBlocks 评测文档:替换规划或执行模块、回合判定与回放
  4. Ai2 官方代码仓库:数据生成、失败状态和策略评测

作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。