
大模型研究爭議:從論文結論到證據邊界
摘要:屏幕裡的成功,需要哪一種現實證據?
機械臂在屏幕裡穩穩抓住杯子,能否據此相信它在真實桌面上也能完成任務?問題不只在於畫面夠不夠逼真。相同動作指令可能產生不同位移,杯子的摩擦、相機的位置和任務結束條件也可能改變結果。對視覺—語言—動作模型而言,語言理解、視覺識別與控制誤差還會在執行過程中相互影響。
本篇對照三項一手研究,區分三個命題:仿真能否幫助排列策略優劣,能否估計真實成功率,以及仿真訓練能否提高現實表現。**目前證據支持有條件地把仿真當作研究工具,卻不支持憑一個仿真總分宣佈現實可靠。**這裡沒有必須選邊的“仿真有效派”和“仿真無效派”,真正的分歧常藏在測量對象與適用分佈裡。
先分清:訓練遷移與評測遷移
“策略”指根據觀測選擇動作的規則,可以由神經網絡實現。視覺—語言—動作模型,簡稱VLA,把圖像和文字指令映射成機器人動作。本文關注它的行為證據,不討論把機器人包裝成應用產品。
訓練遷移問的是:在仿真裡學到的策略,到現實裡是否仍然有效。評測遷移問的是:拿固定策略分別在仿真和現實運行,仿真測量能否預測真實表現。策略也可能主要由真實數據訓練;這時仿真承擔的是考試場地,而不是能力來源。SIMPLER明確研究後一種問題。SIMPLER §I、§III
再把“預測得好”拆開。排序正確,只表示甲通常勝過乙;絕對誤差小,才表示仿真成功率接近現實成功率。兩者都好,也不能說明低頻嚴重失敗已被覆蓋。比如,一個測量工具可能始終高估所有策略,卻保留它們的順序。這是邏輯上的可能情況,不是本文運行出的實驗結果。
相對上一篇關於觀察視頻與動作監督的討論,本篇新增的問題是:**當策略已固定,誰來驗證測量環境本身?**如果把這一步省掉,仿真表現差可能被誤讀成策略能力差,仿真表現好也可能被誤讀成現實能力強。
SIMPLER:先證明測量工具能辨別優劣
Li等沒有要求仿真完整複製現實,而是分別縮小控制差距和視覺差距。前者要使同一指令產生相近運動,後者儘量讓模型收到相近的圖像。他們還比較視覺匹配與多種視覺變體結果聚合兩條評測路徑;這裡的變體聚合發生在評測時,不能寫成域隨機化訓練的效果。SIMPLER §IV
論文在Google Robot和WidowX設置中,配對檢查多個策略檢查點的真實與仿真表現,觀察到多數所測任務中的較強對應關係。評價包含皮爾遜相關係數,以及平均最大排序違背量MMRV:後者不僅看是否排錯,還考慮被排錯策略之間真實表現的差距。SIMPLER §III-B、§VI-A–B
這項證據的價值是讓“仿真像不像”成為可測問題。但任務偏向現有訓練數據中的操作,並以適合物理仿真的剛體物品為主;論文也觀察到策略對視覺差異的敏感程度不同。因此,舊策略上的相關性不能直接替新模型、新材料或新任務背書。SIMPLER §V、§VI-B
本篇據此推斷,模擬器的可信度應當附著在“策略集合、任務集合、觀測與控制協議”這一組條件上。更換其中任何關鍵部分,都可能需要重新校準。相關性是某個範圍內的測量結果,不是模擬器獲得的一張永久合格證。
REALM:擴大擾動範圍,也要寫清驗證範圍
Sedlacek等把評測推進到更多視覺、語義和行為擾動:改變相機、改寫指令、調整物體屬性,測試的是不同泛化要求。REALM通過真實軌跡調整控制參數,並在DROID平臺上比較仿真與現實。其原文的配對驗證覆蓋三個VLA、七項任務和五類視覺及行為擾動;隨後較大規模的仿真評測使用十五類擾動。後一個範圍不能全部冒充已經逐項通過真實驗證的範圍。REALM §III–V
論文還使用“分階段任務進展”:按順序完成接近、抓取、抬起等階段,各階段等權計分。它比成功或失敗更能顯示卡在哪裡,卻不是完整任務成功率。REALM另報二元成功率,正說明兩種指標承擔不同職責。REALM §III、表III、§V
這裡存在一種容易忽略的解釋競爭:擾動後分數變化很小,可能是策略穩健,也可能是基礎表現已經很低,繼續下降的空間有限。作者在侷限部分明確討論了這種測量不敏感問題。它提醒我們,先確認默認條件下任務是否做得起來,再解釋擾動效應。REALM §VI
本篇沒有把REALM和SIMPLER的分數放在一起排名。兩者的機器人、模型起點、任務與指標不同;REALM中的模型也有各自的DROID適配過程。即使都使用MMRV,也需要檢查底層輸入是成功率還是任務進展,不能只因指標同名便當作同一把尺子。REALM §IV、§V Evaluated models
隨機化越廣,遷移就越好嗎?
域隨機化,是在訓練時改變環境參數,讓策略接觸一組可能環境;系統辨識,則通過觀測估計目標系統參數。前者追求覆蓋,後者減少不確定性。它們可以組合,但“多製造變化”並不自動等於“學會處理現實變化”。
Rizvi與Tomar的近期預印本把辨識數據量和隨機化寬度交叉掃描。必須先說清:目標系統仍是一個單擺仿真器,並非實體機器人;訓練與目標使用相同動力學族,未知量只有質量與杆長。所測設置中,取得目標軌跡後,在估計參數上訓練優於繼續擴大隨機化帶寬;覆蓋真實參數的寬先驗基線也沒有替代測量。預算研究v2 §II–III
這不是“隨機化無效”的證據。論文承認,寬分佈可能需要更多訓練,而比較使用固定訓練步數;目標模型又恰好能夠被訓練模型表示,沒有無法靠調參數消除的結構誤差。作者還指出,真實採樣若使用隨機動作,其代價與風險不能只按軌跡條數計算。預算研究v2 §II-B、§IV
因此,至少有兩種可區分解釋:測量確實消除了主導誤差;或者寬隨機化增加了優化難度,在給定訓練預算下尚未學好。現有結果把前一種解釋限制在可辨識、同模型族的條件內,並沒有徹底排除後一種解釋。把單擺結論外推到有接觸、延遲或柔性材料的機器人,需要額外實驗。
三組證據,回答的是不同問題
| 研究 | 實際檢查的條件 | 觀察支持什麼 | 不能據此證明什麼 |
|---|---|---|---|
| SIMPLER | 固定策略、配對真實與仿真操作 | 所測範圍內可獲得有用的相對錶現信號 | 仿真訓練創造了能力 |
| REALM | 對齊控制、分階段指標、部分擾動真實驗證 | 可系統檢查VLA泛化弱點 | 全部仿真擾動均已在現實驗證 |
| 預算研究 | 兩個單擺仿真器、參數可辨識、固定訓練步數 | 測量在該設置中比加寬隨機化更有效 | 任意實體機器人都應取消隨機化 |
表格不是三個方法的勝負榜。前兩項主要驗證評測代理,第三項研究訓練資源分配;它們沒有共同訓練集,也沒有統一推理或交互預算。強行比較最終分數,會把不同研究目標製造成表面衝突。
為什麼失敗成本必須另記一欄
上述成功率、進展和排序指標都不是損壞成本的定義。抓取失敗後安全停下,與碰倒旁邊物品,可能同樣記為失敗;完成任務但需要頻繁人工復位,也不等於連續運行可靠。這是本文對評測設計的分析,並非三篇論文已測得的事故統計。
因此,真實驗證應分別記錄任務結果、干預次數、復位時間和預先定義的嚴重失敗事件。成本權重取決於研究問題,不應在看到結果後臨時選擇一個有利權重,把所有指標壓成漂亮的綜合分。沒有出現某類失敗,也只能說明本輪觀察沒有遇到,不能把有限次數的觀察寫成不存在該風險。
樣本來源同樣重要。反覆復位到熟悉位置,測到的是這個起點分佈;把難以復位的失敗刪掉,則連分母都變了。研究記錄應保留被中止的軌跡及原因,並說明它進入哪個指標。否則,所謂現實成功率可能只描述那些能順利完成評測流程的試次。
一個能區分解釋的後續實驗

圖示是本文建議的測量流程,箭頭表示記錄流向,並非已經證明的因果關係。排序、絕對誤差與失敗成本分別報告;圖中沒有測量數據,也不代表三篇論文都執行了全部步驟。
第一步,凍結策略檢查點、觀測處理、動作頻率、終止條件與成功判據。把用於校準模擬器的任務和用於最終驗證的任務分開,預留新的物體、起點或場景。只在已反覆調過的場景上比較,無法回答模擬器是否具有評測泛化能力。
第二步,把視覺匹配和控制匹配分開操縱,形成交叉條件。每個條件使用相同任務配對,並保存失敗軌跡。若修正控制後排名明顯改善,而視覺修正作用有限,才有理由把主要差距歸到控制一側;若兩者組合才有效,就要報告交互,不能指定一個唯一原因。
第三步,在相同起點下比較窄、寬隨機化,並同時保留等訓練步數與更充分訓練兩種協議。後者用於檢驗寬分佈是否只是收斂較慢,不能與前者混報成等預算優勢。再加入訓練模型無法表示的延遲等結構差異,觀察測量優先的結論何時改變。
最後,提前寫好什麼結果會推翻解釋:若排序保持但絕對誤差持續偏大,只支持候選篩選用途;若嚴重失敗集中在某個新條件,即使總體成功率上升,也應收窄可靠性主張。以上均為未執行的實驗建議,本篇沒有聲稱運行機器人或復現論文數值。
總結:讓遷移主張帶著條件落地
仿真最有價值的用途之一,是把大量可控比較變得便宜;真實驗證則決定這些比較在什麼範圍內值得相信。讀論文時,應沿著“誰訓練、在哪測試、怎樣計分、失敗如何入賬”逐項追問。只有把評測代理、能力遷移與失敗代價分別說明,仿真中的成功才可能成為有邊界、可檢驗的現實證據。
參考資料
檢索與資料截止:2026-11-04。檢索包含近十二個月工作,保留必要經典論文,不聲稱完整覆蓋。
- Li等,Evaluating Real-World Robot Manipulation Policies in Simulation,CoRL 2024,論文集2025年出版。正式頁面;本文方法與結果定位使用arXiv v1全文(2024)。
- Sedlacek等,REALM: A Real-to-Sim Validated Benchmark for Generalization in Robotic Manipulation,2025。arXiv v1全文。作者項目頁稱已獲RA-L接收、將在IROS 2026展示;本次未獨立核驗期刊記錄,實驗論斷限定於已讀v1,不把更新網站的資產數量混入舊版論文。
- Rizvi與Tomar,How Should a Simulation-to-Reality Transfer Budget Be Spent?,2026。arXiv v2全文。預印本,元數據稱投稿IROS 2026相關工作坊,未確認錄用。
作者作品推廣
以下是作者自有產品推廣。除了寫技術博客,我也獨立開發日常小工具,歡迎按自己的需要了解:
- 日常收支小記:記錄收支,安排預算與儲蓄目標,讓日常賬目更有條理。在 App Store 瞭解。
- 一事微光:按當下的時間和精力選擇小行動,記錄完成後的感受,為日常復盤留下一點線索。在 App Store 瞭解。
更多技術文章和個人作品,歡迎訪問作者個人網站。這些作品與本文論文及研究機構沒有背書關係。