封面

  • 日期:2026-11-03
  • 讀者:研究生、科研新人和工程型研究者
  • 資料截止:2026-11-03;檢索近12個月工作,並保留必要的早期研究

摘要

看見人把杯子提起來,與讓機械手提起杯子,中間隔著什麼?視頻可以展示目標、順序和物體變化,卻不直接給出另一種身體應執行的控制指令。本文對照VPT、LAPA和HuRo,檢查動作信息在訓練流程的哪個環節進入。三篇研究支持視頻作為有用的學習資源,但沒有共同證明“只靠觀看即可獲得通用控制能力”。更值得研究的問題是:視頻收益有多少來自視覺表徵,有多少來自可遷移的動作結構,又有多少依賴後續適配與反饋?

看見結果,不等於拿到控制指令

設想一段拿杯視頻。我們能看到手靠近、杯子離桌,卻可能看不到手指接觸處,也不知道杯子的重量。這個例子僅用於解釋問題:同樣的可見運動,可以對應不同的握力、關節運動和接觸狀態。換成兩指夾爪,連可行的抓握方式都可能改變。因此,不能把像素中的位移直接當作執行器命令。

這裡需要區分三個術語。觀察學習在本文指利用沒有目標機器人動作標籤的視頻學習;它不保證訓練全程沒有其他監督。逆動力學模型根據變化前後的觀察反推動作;潛動作則是壓縮視覺變化的內部編碼,未必具有“某關節轉多少度”的含義。視覺—語言—動作模型(VLA)把圖像、指令與動作預測連接起來,但名字本身不說明動作能力從何而來。VPT方法§3、LAPA§3

於是至少有三種可區分的解釋:視頻主要教會模型識別場景;視頻提供了跨身體共享的動作結構;視頻讓後續動作監督更容易利用。它們可以同時成立。最終成功率上升只能說明整套流程有效,不能自動分配三者的貢獻。要分配貢獻,必須檢查信息來源、替換實驗和測試時的行為變化。

三種方法,動作信息從哪裡進入?

VPT:先用真實動作教會標註器

VPT發表於NeurIPS 2022。它先用記錄鍵鼠操作的承包者數據訓練逆動力學模型,再給網絡Minecraft視頻補上偽動作標籤,最後進行行為克隆,也就是學習復現示範中的動作選擇。標註器可以看未來幀,實際執行的策略只能看當前和過去:事後解釋一次操作,與事前決定下一步,是不同任務。VPT§2–3

原文報告了預訓練策略的零樣本行為,但鑽石鎬結果來自進一步的早期遊戲行為克隆和強化學習微調,不能把這一終點全部歸功於觀看視頻。強化學習使用環境獎勵,額外引入了行為後果的信息。這裡“無標籤”描述的是網絡視頻,不是整個系統。VPT§4.2–4.4、圖7

本篇據此作出的判斷是:VPT展示了動作監督可被放大的路徑,尚未回答人手到機械手的映射。遊戲中的示範者與策略共享鍵鼠接口,這與跨機器人身體遷移不是同一道題。

LAPA:先學習變化編碼,再適配機器人

ICLR 2025的LAPA用前後幀訓練離散潛動作,再讓已有視覺語言模型根據當前圖像和任務描述預測編碼。到機器人微調階段,它丟棄潛動作輸出頭,換上實際動作輸出頭,並使用帶動作標籤的機器人軌跡。因而,流程中的“映射”不是把一個天然可執行的通用動作字典直接裝到機器人上。LAPA§3.1–3.3

論文的人類視頻實驗報告了相對不做該階段預訓練的收益;這裡的Scratch仍從已有視覺語言模型出發,並非所有參數隨機初始化。同時,作者明確列出精細抓取的不足,潛編碼還可能包含相機運動。LAPA§4.2、§4.5、§5.2、§6

這支持潛動作預訓練具有遷移價值,卻不足以證明編碼只表示可控動作。本篇認為,判斷其內容需要進一步把視角變化與物體操作分離;跨身體的定性重建圖可以提出假設,不能替代真實控制中的干預測試。

HuRo:把人類視頻加工成機器人監督

2026年的HuRo把手部運動重定向為機器人軌跡,並在視頻中移除人體、疊加機器人。其訓練信號包含重建、運動學和視覺轉換的先驗,並非原始視頻自行提供了所有答案。本次核驗採用9月25日的arXiv v5,未確認正式錄用。HuRo§3、版本記錄

更有信息量的是消融的含義。去掉機器人視覺疊加時,重定向動作監督仍保留;而名為Visual Only的設置,是保留預訓練視覺路徑、在下游微調前重置動作頭。它不是一次完全沒有動作監督的視覺預訓練。因此,該實驗能檢驗保留動作模塊的價值,不能獨自隔離“預訓練期間是否使用動作標籤”的因果效應。HuRo§4.3–4.4

論文還指出,轉換流程缺少力和觸覺信號,運動學重定向不建模自碰撞或物理接觸。因此,生成的監督軌跡不能直接等同於可執行示範。這是“動作數據看起來完整”之後仍存在的邊界。HuRo§6

別把不同終點放進同一個排行榜

研究 條件與信息入口 觀察支持什麼 不能證明什麼
VPT 同一遊戲接口;真實動作訓練標註器 偽標註視頻可支持策略學習 無動作監督的跨身體控制
LAPA 潛編碼預訓練;目標機器人動作微調 視頻表徵可改善下游學習 潛編碼天然可執行
HuRo 重定向與視覺轉換;機器人示範微調 加工後監督具有遷移價值 重建軌跡滿足全部物理約束

表格歸納的是上述原文的證據範圍,不是三個系統的優劣排名。VPT的任務是遊戲資源獲取,LAPA包含仿真與真實桌面操作,HuRo主要實驗使用雙臂靈巧機器人。起點模型、動作接口、數據劃分、交互預算和評價對象均不同;即使百分數相同,分母也不是同一種任務。

一個容易漏掉的細節是得分定義。HuRo主要任務中,有的按最終成功計分,有的按完成子目標計分;總體分又彙總分佈內、分佈外結果。其分佈外測試主要改變空間位置和視覺條件,不等於任意新技能或新身體。LAPA真實桌面實驗也採用任務相關的部分成功標準。不能把這些分數寫成“所有任務完整成功的概率”。HuRo附錄A、LAPA§4.1

預算同樣需要拆開。HuRo非零數據子集之間保持預訓練步數與批量一致,但零預訓練組省去了整個階段;它與完整組並不是總訓練計算匹配。對研究者而言,數據規模效應、額外訓練效應和處理流水線成本應分別報告。HuRo§4.1–4.2

怎樣設計真正能區分解釋的實驗?

觀察到控制的證據框架

圖:本篇提出的檢查框架,非論文結果復刻。實線表示信息進入策略和執行的流程;動作信號與身體適配可發生在不同訓練階段,不要求同時輸入。反饋虛線表示可選且待檢驗的交互路徑;獨立測試不迴流訓練。圖中操作與器材均為概念示意,不表示已測得成功。

下面是尚未執行的研究設計。先固定基礎模型、機器人動作數據、優化預算和測試任務,只改變視頻訓練目標:靜態圖像表徵、時間順序打亂的視頻、正確時序的潛動作,以及有對應動作標籤的預訓練。對照組須使用相同視頻來源,避免把場景多樣性誤當成動作結構。

如果正確時序只改善物體識別,卻不改善動作延遲或擾動後的恢復,視覺表徵解釋就更有競爭力。如果它在保持外觀相近的情況下,對動作順序變化特別敏感,並能幫助未見組合操作,則更支持時序結構參與了控制。但這一結果仍不能說明具體內部算法,時序任務也可能帶來其他正則化效果。

再把身體適配單獨作為變量:固定目標機器人示範數量,比較凍結主幹、只訓練動作頭,與更新整個模型。逐漸減少適配數據,畫出真實測得的數據效率曲線。若優勢只在大量適配之後出現,“視頻已提供可直接遷移的動作接口”就應收窄;若少量適配下依然穩定,也還要排除起點模型已見相似機器人數據。

最後引入可控擾動:杯子位置改變、輕微滑動、短暫遮擋。預先規定成功、碰撞、恢復時間和最大重試次數,分別記錄開放循環與持續觀察執行的結果。比較增加視頻、增加帶動作示範和增加交互反饋,究竟哪項資源最能解決當前失敗。不能只挑選成功錄像,也不能用模型自己評價“動作看著合理”替代環境判定。

數據劃分應按原始視頻和任務實例隔離,不能把相鄰幀拆到訓練與測試兩側。評估者對方法身份盲測,涉及人工判定時保存明確規則與實際標註;本文沒有把這些尚未進行的工作寫成已完成實驗。停止規則也應提前確定:若幾組差異落在試次波動範圍內,就報告證據不足,而不是增加選擇性展示來維持結論。

還應報告資源的替代關係,而非只給最高分。假如視頻方案需要額外訓練一個昂貴的標註器,就應分別統計原始數據、標註器訓練、策略訓練和機器人試次;固定其中一種成本,不能宣稱所有成本都相等。反過來,存在處理成本也不否定視頻的價值,它可能把稀缺的實體採集換成較易擴展的離線計算。研究結論應明確自己檢驗的是哪一種交換。

更強的反證也值得預先寫下:如果打亂時序後收益基本保留,原本關於動作結構的解釋就需要退讓;如果只有更換相機後失敗,問題可能在觀察映射,而非任務順序。把這些相反結果納入計劃,才能使實驗具有區分解釋的能力。

當前結論與總結

現有證據足以支持一種有限而有用的結論:視頻可以降低學習控制的部分成本,但“沒有原始動作標籤”與“沒有動作信息”不是同義詞。真實標籤訓練的標註器、潛動作後的機器人微調、重定向中的運動學先驗,都可能是關鍵橋梁。三篇論文並沒有在完全相同條件下爭論觀看是否足夠;它們分別展示了不同的橋怎麼搭。

對準備選題的研究者,下一步應把“看懂了”變成明確的可測變化:少用多少目標示範、在哪類擾動下恢復、換身體後保留什麼、增加反饋後修復了哪類失敗。只有這些問題得到回答,我們才能判斷觀察學習究竟補上了什麼,以及哪些控制能力仍由身體約束和實際交互提供。

參考資料

  1. Bowen Baker等,Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos,NeurIPS 2022。正式全文。
  2. Seonghyeon Ye等,Latent Action Pretraining from Videos,ICLR 2025。正式全文。
  3. Jinho Jeong等,HuRo: Robotizing Human Videos for Scalable VLA Pretraining,2026,arXiv v5,預印本。版本記錄、所讀全文。

作者作品推廣

以下是作者自有產品推廣。除了寫技術博客,我也獨立開發一些幫助整理日常的小工具,歡迎按自己的需要了解:

  • 日常收支小記:記錄日常收支,安排預算與儲蓄目標,讓賬目和計劃更有條理。在App Store瞭解。
  • 一事微光:根據當下的時間和精力選擇小行動,記錄完成後的感受,給日常復盤留下線索。在App Store瞭解。

更多技術文章和個人作品,歡迎訪問我的個人網站。