AI 前沿觀察:人物、突破與證據|解讀日期:2026 年 11 月 7 日|資料截止:11 月 7 日 20:33(北京時間)
機械臂把最後一塊積木放上去,塔沒倒,字卻橫著。只看最後一幀,很難知道模型是沒認出字的朝向,還是認對了、夾爪卻沒放正。11 月 6 日,艾倫人工智能研究所(Ai2)公佈 ToyBlocks,把這些可能性放進同一張模擬桌面:保留一個模型的決定,換掉執行動作的部件,再看積木落在哪裡。理解這個設計,比單看機器人搭成了幾座塔,更能看出一張小桌子為什麼值得做成研究平臺。

原創概念示意圖:目標姿態與實際動作可以分別檢查。非實驗照片或結果圖。
看得見正確答案的,是誰?
假設目標是用三塊積木從下到上拼出指定的字符。對一個只看到相機畫面的機器人來說,找不到字母有兩種解釋:桌上確實沒有,或者那一面正貼著桌面。後者需要先翻塊才能決定要不要抓取。就算所有字面都朝前,字是否正立、哪塊先放、怎樣鬆開夾爪,也分別可能出錯。一座塔看起來像是搭完了,距任務完成卻還差一個朝向。
模擬器有一個真實相機沒有的優勢:它知道每塊積木的準確位置和姿態。ToyBlocks 用這些信息生成示範,由規劃器把翻轉、抓放等技能排成可執行的動作序列;訓練後的模型再根據傳感器觀測做決定。兩者之間的區別很關鍵:老師知道積木朝哪邊,不等於學生從像素裡也認得出。同樣,項目頁列出的首批 85,336 條長程示範,是自動生成的模擬經歷,並非這麼多次真實機械臂試驗,也不是這麼多種不同任務。對研究者而言,能決定下一批示範裡哪些字面被遮住,比單純增加錄像時長更有用。
同一座塔,換誰來搭?
在團隊測試的一套系統裡,視覺語言模型 Molmo 2 看著圖像選技能、指目標;動作模型 ManiFlow 接到指令,把它變成機械臂的運動。要判斷動作模型是否學會了放置,可以先讓符號規劃器指對積木,再觀察夾爪的表現。反過來,保留 Molmo 2 的指令,改用生成示範時的參考技能執行,就能查看它選的那一步能否讓任務前進。評測文檔給出了這兩種替換,也允許從記錄過的初始狀態重新開始。
系統還會記下階段進展。一座三層塔,即便最後一塊放歪,前兩塊的上下關係仍然成立。把已經滿足的條件一項項保留下來,就能區分開局便選錯的回合,和只差最後一次放置的回合。
這比回看一次失敗錄像多給了一條證據。例如,兩個執行器都忠實地拿起了錯誤的塊,檢查上層收到的畫面和它指向的位置,就比繼續調夾爪更有針對性。不過,換一個執行器也可能改變積木的落點,下一幀上層看到的畫面就變了。因此,兩套系統的成功率之差不能直接記作某個部件獨自造成的失敗比例。更有解釋力的比較,是找到兩條軌跡第一次分開的那一步:當時的指令相同嗎,物體是否如預期移動?
真機的十五次成功,分母是什麼?
團隊的真機對照使用 Franka FR3 機械臂和 Robotiq 夾爪,每個場景有四至十塊訓練時見過的積木。三字符拼字選擇了最容易的起始條件:目標字符可見,而且正立。Molmo 2 與 ManiFlow 合用,在模擬中完成了 200 個回合裡的 111 個,在真機上完成了 30 個裡的 15 個。這裡一次成功指整道任務達到要求;操作員因不安全動作叫停,也算失敗。它回答的是這套系統能否把一連串動作做完,不能拿來估計尋找隱藏字面的成功率。
兩邊的比例分別是 55.5% 和 50%。在三十次真機試驗裡,多成功一次就會讓比例移動約 3.3 個百分點。僅憑這兩個點估計,很難區分環境差異和抽樣波動,更不能判定兩種環境等效。還有一個容易漏掉的條件:策略雖然只用模擬數據訓練,團隊卻先用真機軌跡校準了模擬機械臂的參數。“沒用真機示範訓練策略”有清楚的技術含義;它不意味著面對一臺從未測量過的新機械臂也會得到相同結果。
下一組試驗,值得留下哪些記錄?
一個有用的後續試驗,可以保留原有積木、指令和機械臂,先改變一件事:把部分目標字符轉到背面。對每個起始佈局,除了記錄整塔有沒有拼對,還記下模型何時首次看見目標字符、是否選對塊、抓放後朝向是否正確。這樣,即使最後的成功率都下降,也能分辨模型是花光了動作預算仍在找字,還是已經找對卻在最後一次放置時失手。開放倉庫支持把失敗狀態送回示範生成流程;若據此補充訓練,就該另留一批從未用於補課的佈局來檢驗收益。
這仍是待做的檢驗。Ai2 的公告、項目頁、代碼和文檔來自同一團隊,本次檢索未找到獨立團隊重做這組真機對照,本文也沒有運行實驗。ToyBlocks 已經給出的,是一種讓失敗留下可比較記錄的辦法。下一項更有分量的證據,會是別人能否根據這些記錄找出同一個薄弱環節,並且在沒見過的桌面佈局上,只改這一步就讓更多整塔拼對。
參考資料
- Ai2 研究公告:ToyBlocks 的設計、拼字設置與真機結果
- ToyBlocks 項目頁:公開示範的規模與組成
- ToyBlocks 評測文檔:替換規劃或執行模塊、回合判定與回放
- Ai2 官方代碼倉庫:數據生成、失敗狀態和策略評測
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。