AI 前沿觀察|解讀日期:2026 年 11 月 17 日|資料截至北京時間 20:28:22

原創概念示意圖。房間與足跡用於說明問題,不是評測視頻或模型的實際軌跡。
走進一間書房,看見桌上有隻藍杯。繞過走廊,又看見相同的書桌和檯燈,藍杯卻不見了。是有人拿走了杯子,還是你走進了隔壁?Henry Zheng 等人在北京時間 11 月 17 日凌晨提交的預印本裡,把這類困惑變成了可以判分的視頻問答。新基準叫 ReSpaceBench。它抓住了一個容易漏測的能力:要說清一間屋子裡什麼變了,得先認準這是哪間屋子。
走過門檻,才算一次訪問
以前的測驗已經會問路線。比如在 VSI-Bench 的公開示例中,答題者從門邊面朝床出發,要補出走向窗戶時的轉向。做對這道題需要把不同時刻看見的傢俱擺進同一個空間。那項早期研究還報告,讓模型在答題時顯式畫出空間關係,有助於判斷距離。可是,即使兩間書房的床和窗戶擺法完全相同,主人也不會把它們當成同一個地方。
ReSpaceBench 的做法,是把“進入一個實際房間”設為一次訪問的邊界。鏡頭在屋裡轉身,畫面可能大變,房間卻沒換;從這扇門出去再從隔壁的門進去,畫面可能很像,地點卻換了。作者在受控的室內行走視頻中放進同類房間作為干擾,還安排不同次走訪之間的物體變化。這樣,答題者既不能只靠房間類別認路,也不能認定陳設一變就到了新地方。問題的關鍵從“這幅畫面像什麼”移到了“兩段畫面之間,人走過哪裡”。
人和模型,要在同一份卷子上比
按作者報告,基準覆蓋合成與真實住宅共 590 個場景,含 3,244 道題。九項任務涉及辨認重訪的房間、追蹤前後狀態,以及利用這些信息繼續推理。團隊測試了 32 個模型,零樣本條件下表現最好的模型總體準確率為 50.5%。這裡的零樣本成績與後文用專門數據訓練後的成績分開報告。五成也不能直接讀作“等於猜測”:猜對的概率取決於題目怎麼出、給了哪些選項。
人工標註者沒有做完整份卷子。研究者在其中 450 道題上作比較,同一子集上,表現最好的零樣本模型為 52.2%,人工為 90.1%,相差 37.9 個百分點。這個差值回答的是“面對這批相同的問題,雙方差多少”。若拿全卷的 50.5% 去減人工分數,就把換題的影響也算進去了。另一個容易忽略的分母是房間:一道題答錯不等於走錯一次門,幾道涉及同一房間的題,也可能因為最初的一次誤認而接連答錯。
回看錄像,該找的是哪幾秒?
如果只記得兩張書桌很像,直覺上可以讓模型自己倒回去,多看幾眼。作者還測了三種能主動查找視頻證據的框架。按其報告,與同一底層模型直接作答相比,這些框架總體沒有改善。作者檢查執行記錄時看到兩類失誤:有的漏掉了需要的證據,有的找到了畫面,卻把分屬兩次訪問的房間對應錯了。預印本摘要也提到,藉助標註選擇視頻幀時,保留中間的訪問和轉場很重要。
回到藍杯的例子。若回看策略專挑與“書桌”最相似的畫面,可能找回兩張都很清晰的桌面特寫;然而,兩張特寫恰好繞開了那個決定答案的路口。對這個問題,拍得模糊的出門、轉彎、再進門,可能比另一張高清桌面更有用。這是對錯誤機制的一種解釋,並不意味著作者已經證明三種框架都按相似度找畫面。總體沒有增益,也不意味著沒有一道題因回看而受益。
分數能練上去,接下來該換條路考
團隊另用合成素材製作訓練集 RS-30K,稱其模板、場景、路線和視頻均與評測集不重合。作者報告,用它微調 Qwen3-VL-8B 後,總體準確率從 35.5% 到 60.4%,提高 24.9 個百分點;房間對應任務的增益最大。這是同一個模型訓練前後的比較。它說明這批任務裡有可學的規律,但分數本身分不出模型究竟學會了沿途定位,還是更擅長辨認出題時常用的視覺線索。本文核到該預印本的版本記錄與作者摘要,未核到全文分項表,本次檢索也未找到獨立復現。
還有一層差別在於誰決定往哪走。做視頻題時,拍攝者已經替答題者穿過了走廊;換成自己找杯子的機器人,如果走到門口仍分不清房間,它可以退回路口,再看一次門的位置。反過來,它也可能因為第一次選錯方向,再也看不到答題所需的線索。前一種能力可以用錄像反覆測試,後一種還涉及主動選路,不能用這裡的準確率代替。
下一步,我更想看一組配對錄像:保留起點、終點的房間陳設,只改走廊中段的路線,讓一條路回到原處,另一條路通向隔壁。若模型真的利用了途中證據,它就應該在兩段錄像裡給出相反的判斷,並能指出經過哪道門改變了答案。再做反向對照:路線不變,只挪動屋裡的杯子,此時關於房間身份的回答應當保持不變。能同時通過這兩道關,比單獨再漲幾個百分點更能說明模型記住的是地方,而不只是桌面。
參考資料
- Zheng 等:Lost in the Hallway,arXiv 摘要與提交記錄。本次新研究的數字均來自作者。
- Yang 等:Thinking in Space,早期空間理解研究。
- VSI-Bench 作者項目頁:視頻問答示例。後兩項提供背景,不是對新結果的復現。
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。