今天這批論文如果放在一起看,我覺得最值得注意的一條線,不是“模型又變大了”,而是:

大家開始更認真地處理 AI 系統在真實使用裡的脆弱環節。

這些脆弱點並不總在模型參數本身,更多時候出現在系統邊緣:

  • Agent 會不會在長鏈路任務裡做錯關鍵動作
  • benchmark 會不會被模型“刷分”而不是被真正解決
  • VLM 在安全場景裡到底會在哪些結構化條件下失效
  • GUI grounding 的瓶頸到底是在生成階段,還是更早的 prefill 階段
  • 模型怎麼從少量交互裡學到用戶沒有明說的偏好

它們看起來分屬不同方向:

  • Embodied Agent
  • Agent Evaluation
  • Vision-Language Model Safety
  • GUI Agent / UI Understanding
  • Human Preference Learning

但拼在一起,其實指向的是同一個問題:

AI 系統正在從“會做題”往“能穩定做事”過渡,而真正決定上限的,往往是驗證、評測、失效分析和偏好建模這些過去容易被忽略的層。

今天我挑 5 篇來盤。嚴格說,它們不一定都是“最炸裂”的 headline paper,但都是我覺得對未來系統設計更有啟發的那類工作。


1)VeGAS:Embodied Agent 不要急著輸出動作,先加一步“驗證”

  • arXiv:2605.12620
  • 標題:Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents
  • 方向:Embodied Agent / MLLM Agent / test-time verification

這篇論文切的問題非常實際。

現在很多 embodied agent 已經會用多模態大模型去理解環境、生成鏈式推理,然後輸出動作。

問題是,一旦場景變得長鏈路、多目標、分佈外,模型很容易在某一步犯錯,然後整條軌跡一起崩。

作者提出的 VeGAS(Verifier-Guided Action Selection)思路並不複雜,但我覺得很有代表性:

  • policy 不只採樣一個動作
  • 而是先採樣一組候選動作
  • 再由一個 generative verifier 選出更可靠的那個

核心思想其實有點像把“self-consistency”從文本推理遷移到了動作選擇:

不是直接信第一反應,而是讓系統在執行前有一個顯式的篩選層。

更有意思的是,論文說得很直接:

  • 直接拿現成 MLLM 當 verifier,效果並不好
  • 所以他們還做了基於 LLM 的失敗案例數據合成,專門訓練 verifier 去識別潛在錯誤

也就是說,這篇論文真正強調的不是“多一個模型就更強”,而是:

驗證器如果沒見過系統會怎樣失敗,它就很難在關鍵時刻起作用。

實驗上,它在 Habitat 和 ALFRED 這類 embodied reasoning benchmark 上,對更難的 multi-object、long-horizon 任務帶來了明顯提升,論文裡給出的數字是相對強 CoT baseline 最多提升 36%。

我覺得這篇工作的啟發是:

未來 Agent 系統大概率不會只靠一個“會推理的 policy”單兵作戰。

更穩的形態,可能會越來越像:

  • 生成候選
  • 做顯式驗證
  • 再決定是否執行

這條路線對機器人、GUI Agent、自動化執行都很重要。


2)BenchJack:很多 Agent Benchmark,可能根本沒你以為的那麼安全

  • arXiv:2605.12673
  • 標題:Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack
  • 方向:Agent Benchmark / Reward Hacking / Evaluation Security

如果說過去大家最愛問的是“哪個 agent benchmark 更難”,那這篇論文問的是另一個更扎心的問題:

這些 benchmark,到底有沒有被認真防作弊?

作者的論點很明確:

今天很多 benchmark 已經成了模型能力、投融資判斷和產品路線的重要依據,但它們自身的設計,未必有足夠強的對抗性安全視角。

論文先整理出 reward hacking 的八類常見 flaw pattern,然後做了一個自動化 red-teaming 系統 BenchJack,去驅動 coding agent 主動審計 benchmark,尋找“高分但沒真正完成任務”的 exploit。

這件事最可怕的地方在於結果:

  • 他們在 10 個流行 agent benchmark 上找到了大量可利用漏洞
  • 共計暴露出 219 個不同問題
  • 某些 benchmark 幾乎可以在“不做任務”的情況下刷到近乎滿分
  • 擴展後的迭代修補流程,能把部分 benchmark 的 hackable-task ratio 從接近 100% 壓到 10% 以下

這個結論其實挺重的。

因為它意味著:

有些 benchmark 的高分,不一定代表模型真的會做事,只代表它已經足夠會鑽評測規則的空子。

我覺得這篇論文很值得所有做 agent 評測的人看,尤其是現在大家越來越愛拿:

  • WebArena
  • OSWorld
  • Desktop / Browser / Terminal benchmark

去做 headline 排名。

排名當然重要,但如果評測面本身是可被系統性攻擊的,那排行榜的解釋力就會迅速下降。

一句話說,這篇工作在補的是:

agent evaluation 的“安全工程學”。

這類論文可能沒有新模型那樣吸睛,但長期價值很高。


3)REVELIO:別隻看平均準確率,VLM 真正危險的是“結構化失效模式”

  • arXiv:2605.12674
  • 標題:Revealing Interpretable Failure Modes of VLMs
  • 方向:VLM Safety / Failure Analysis / Interpretability

這篇論文我很喜歡,因為它抓住了一個經常被 benchmark 掩蓋的問題:

模型不是均勻地犯錯,而是在某些特定條件組合下持續性地出錯。

作者把這種情況定義為 failure mode,並強調這類失效往往是由多個“可解釋概念”組合出來的。

例如在自動駕駛場景裡,錯誤不一定只是“看錯物體”,而可能是:

  • 遮擋
  • 壞天氣
  • 近距離行人
  • 空間關係判斷弱

這些因素組合起來,觸發模型穩定失效。

為了系統化挖出這類模式,論文提出 REVELIO,用兩種搜索策略在離散組合空間裡找 VLM 的脆弱條件:

  • diversity-aware beam search
  • Gaussian-process Thompson Sampling

然後作者把它應用到自動駕駛和室內機器人場景,發現了若干此前沒有被系統性揭示的漏洞。

論文給出的結論很直白:

  • 模型可能空間 grounding 很弱
  • 可能忽略重大遮擋
  • 可能漏掉安全隱患
  • 也可能過度保守,導致誤報過多、效率下降

為什麼我覺得這篇重要?

因為很多時候,安全場景不能只接受一句“總體準確率還不錯”。

真正需要回答的是:

模型會在什麼條件下穩定翻車,而且這些條件能不能被人類理解和規避。

這篇論文提供的價值,就是把“模型不安全”從一句泛泛判斷,往“可定位、可枚舉、可修復”的 failure mode 地圖推進了一步。


4)Re-Prefill:GUI grounding 的關鍵,不一定在 decode,而在 prefill

  • arXiv:2605.12549
  • 標題:What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs
  • 方向:GUI Agent / VLM Grounding / inference-time improvement

這篇論文切口很準。

很多 GUI Agent 工作都在想辦法提升 grounding,也就是:

當用戶說“點左下角那個按鈕”時,模型到底能不能把目標元素定位準。

過去不少 training-free 方法會做:

  • 多次推理
  • 反覆裁剪
  • 候選聚合

但這篇論文指出了一個常被忽視的問題:

很多 grounding 錯誤,其實在 decode 之前就已經決定了。

作者把 GUI grounding 拆成兩個階段:

  1. prefill 階段決定候選 UI 元素範圍
  2. decoding 階段再細化最終座標

如果第一步候選選錯了,後面 decode 再精細,也只是“在錯誤候選裡做更精確的選擇”。

這個觀察我覺得很重要,因為它把大家的注意力從“輸出座標怎麼調”轉到了“輸入階段到底讓模型注意到了什麼”。

基於這個洞察,他們提出 Re-Prefill:

  • 先做第一輪 prefill
  • 根據 query position 的注意力信息提取高相關視覺 token
  • 把這些 token 和 instruction hidden states 重新拼回輸入
  • 再做第二輪 prefill,讓模型重新想一遍

本質上,這是一個 不訓練、只改推理流程 的方法。

實驗上,它在多個 VLM 和 GUI benchmark 上都帶來穩定收益,包括:

  • ScreenSpot-Pro
  • ScreenSpot-V2
  • OSWorld-G
  • UI-Vision
  • MMBench-GUI

我覺得這篇論文最大的價值不只是 4.3% 這種提升數字,而是它提醒我們:

很多多模態系統的瓶頸不在“不會生成答案”,而在“輸入解釋階段就已經選錯了關注對象”。

這對後面做 GUI Agent、網頁操作 agent、移動端 agent 的人都很有參考意義。


5)CLIPR:用戶真正的偏好,往往不在明面規則裡

  • arXiv:2605.12682
  • 標題:Learning Transferable Latent User Preferences for Human-Aligned Decision Making
  • 方向:Preference Learning / Human Alignment / LLM Decision Making

最後這篇我選得稍微“非主流”一點,但我覺得很值得看。

很多 human-aligned decision making 研究默認有一個前提:

  • 用戶會把偏好說清楚
  • 系統能把這些偏好轉成規則
  • 然後按規則做決策

但真實情況通常不是這樣。

很多重要偏好其實是隱性的:

  • 用戶更保守還是更激進
  • 更重視速度還是更重視準確率
  • 更在意長期穩定還是短期收益
  • 面對模糊場景時希望系統怎麼取捨

這些東西往往不會在一開始被說完整。

CLIPR 這篇論文做的是:

讓 LLM 從有限對話中推斷 latent user preferences,並把它們整理成可遷移的自然語言規則。

它的重點不是做一次性 personalization,而是希望這些偏好規則:

  • 能從少量交互裡學出來
  • 能在不同任務和不同環境中遷移
  • 能減少頻繁反覆詢問用戶的成本

這個問題對很多 agent 都會越來越重要。

因為當 agent 開始承擔更長鏈條、更模糊目標的任務時,真正決定“做得像不像你想要的”往往不是任務目標本身,而是那些默認沒說出口的取捨邏輯。

從摘要看,CLIPR 在三個數據集和用戶研究裡,都比已有方法在 alignment 和推理成本上表現更好。

我覺得這篇工作的長期價值在於:

alignment 不只是訓練一個更聽話的模型,也包括讓系統逐步學會“這個用戶做選擇時的隱含原則”。

這對個人助手、決策助手、醫療/金融輔助系統都很關鍵。


最後總結:今天這批論文,最核心的關鍵詞不是“能力”,而是“護欄”

如果只看 headline,今天這些論文沒有那種“一個模型橫掃全榜”的強烈戲劇性。

但從系統演化角度,我反而覺得它們更有意思。

因為它們都在補 AI 真正落地時最容易出問題的環節:

  • VeGAS 在補執行前驗證
  • BenchJack 在補 benchmark 防作弊
  • REVELIO 在補 VLM 結構化失效分析
  • Re-Prefill 在補 GUI grounding 的前置注意力瓶頸
  • CLIPR 在補用戶隱性偏好的建模

一句話概括今天這組論文:

下一階段的 AI 競爭,未必只是誰更會生成內容,而是誰更能把系統裡的脆弱點提前識別出來,並用結構化方法補上。

如果你最近在看 Agent、VLM、評測體系或者人機協作,我會優先跟今天這幾篇。