昨天這批論文如果放在一起看,我覺得有一條很清晰的共線:

AI 研究正在越來越少地只比“能力上限”,而是在更認真地處理系統真正進入現實環境後會遇到的硬約束。

這些約束是什麼?

  • 訓練預算不是無限的,scaling law 本身也得講成本
  • Agent 不只是會生成文本,還得能預測環境、理解反饋、修正世界模型
  • 多圖視覺理解不是把幾張圖一起喂進去就算完成,真正難的是跨圖一致性和對象恆常性
  • 真實世界的 3D 重建不是每個場景都像熱門地標一樣有海量高質量圖片,更多是稀疏、噪聲、長尾
  • 模型生成內容進入真實分發鏈路之後,出處追蹤和版權歸屬問題也開始越來越繞不過去

所以昨天我挑的這 5 篇,不是單純挑“headline 最大”的,而是儘量挑那些能反映系統瓶頸正在怎麼變化的工作。

分別來自:

  • Agent / 世界模型綜述
  • scaling law 與實驗預算
  • 多圖 MLLM 訓練
  • 長尾 3D reconstruction
  • LLM watermarking

它們方向看起來挺散,但拼起來恰好能看到一個趨勢:

下一階段 AI 的競爭,不只是模型更強,而是誰更懂得把預算、環境、證據、一致性和可追蹤性這些現實因素一起納入系統設計。


1)Agentic World Modeling:Agent 真正缺的,可能不是更多工具,而是更像樣的世界模型

  • arXiv:2604.22748
  • 標題:Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond
  • 方向:Agent / world model / environment modeling / survey

這篇論文首先值得注意的地方,是它沒有把 world model 繼續講成一個模糊大詞,而是試圖把不同社區對“世界模型”的理解重新整理到一個統一框架裡。

作者的判斷很明確:

當 AI 系統從“生成一句文本”走向“持續完成目標”時,環境動力學建模會變成核心瓶頸。

這件事在很多場景裡都成立:

  • 操作 GUI 的 agent
  • 瀏覽網頁和調用工具的 agent
  • 多智能體協作系統
  • 科學發現與實驗設計系統
  • 需要長期交互和反饋修正的任務型助手

論文提出了一個很有用的 “levels × laws” taxonomy。

它把能力分成三層:

  • L1 Predictor:學一步局部轉移
  • L2 Simulator:做多步、動作條件下的 rollout
  • L3 Evolver:預測失敗後還能根據新證據修正自己的模型

同時又把約束來源分成四類“law”:

  • physical
  • digital
  • social
  • scientific

這個框架的價值不只是分類漂亮,而是它在提醒一個現實問題:

不同 agent 場景失敗的原因並不一樣,因為它們所處環境的“規律類型”就不一樣。

比如:

  • 機器人要服從物理規律
  • GUI agent 要服從軟件界面狀態轉移
  • 社交模擬要面對社會規範和多主體行為
  • 科研 agent 要符合科學約束與實驗反饋

論文還系統整理了 400 多篇相關工作和 100 多個代表性系統,這讓它更像一篇路線圖,而不只是普通 survey。

我覺得這篇最重要的啟發是:

Agent 能不能做好,不只是“會不會調用工具”,而是它有沒有足夠好的環境預測結構,能在行動前形成有效預期,並在行動後修正預期。

如果你最近在看 browser agent、GUI agent、多智能體 simulation,這篇會很值得放進閱讀清單。


2)Spend Less, Fit Better:scaling law 不是隻能靠“先燒很多錢再擬合”

  • arXiv:2604.22753
  • 標題:Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection
  • 方向:scaling law / experimental design / budget-aware training

這篇論文抓住的是一個常被忽略但其實很貴的問題:

大家都喜歡用 scaling law 規劃大模型訓練,但為了把 scaling law 擬合出來,本身就要先做一堆昂貴實驗。

也就是說,scaling law 看起來是在幫你省錢,但它自己的“學費”可能就已經很高了。

作者把這個問題重新表述成:

  • 有一堆候選實驗
  • 每個實驗成本不同
  • 預算有限
  • 目標不是把所有點都跑了,而是讓你在高成本目標區間的外推最準確

這個重構很重要。

因為它把 scaling law 擬合從“數據分析問題”改成了一個更現實的:

預算約束下的序貫實驗設計問題。

他們提出的方法是 uncertainty-aware 的主動選擇策略,核心想法是把預算優先花在那些對目標區間外推最有幫助的實驗上。

結果也很有意思:

  • 在一組多樣化 scaling-law 任務上
  • 它通常只用大約 10% 總訓練預算
  • 就能逼近用全量實驗擬合時的效果

我覺得這篇論文最大的價值,不只是“又一個更好的擬合算法”,而是它在提醒大模型工程裡一個越來越關鍵的事實:

隨著訓練成本越來越高,連“為了做判斷而做的小實驗”都必須開始講 ROI。

未來很多訓練決策可能都要這麼看:

  • 不是先做完再分析
  • 而是邊做邊決定下一筆預算最該花在哪裡

這類思路對配方搜索、蒸餾設計、後訓練實驗,其實都很有遷移價值。


3)CGC:多圖理解真正難的,不是看到多張圖,而是別把對象關係看串了

  • arXiv:2604.22498
  • 標題:Compositional Grounded Contrast for Fine-Grained Multi-Image Understanding
  • 方向:MLLM / multi-image understanding / grounding / RL-based reward

這篇論文切的是我一直覺得很關鍵、但還沒被充分解決的問題:

MLLM 在單圖上看起來已經挺強,但一到多圖細粒度理解,還是很容易出錯。

典型問題包括:

  • spatial hallucination
  • attention leakage
  • object constancy 失敗

也就是:

  • 圖 A 的屬性跑到圖 B 身上
  • 模型注意力被相似背景帶偏
  • 同一個對象換個視角後,模型就認不出來是不是同一個

論文提出的 CGC(Compositional Grounded Contrast)有兩個值得關注的點。

第一,它儘量避免昂貴人工標註和大規模 CoT 合成

作者不是重新大規模造多圖標註數據,而是建立在已有單圖 grounding 標註之上,去構造組合式多圖訓練樣本。

這點很務實。

因為多圖數據如果完全手工標註,成本會非常高,而 MLLM 訓練現在本來就已經很燒資源。

第二,它把“跨圖對比”和“圖內對比”都顯式做了

CGC 用了兩類構造:

  • Inter-Image Contrast:加強跨圖辨別,避免不同圖裡的語義混淆
  • Intra-Image Contrast:增強跨視角或相關樣本下的對象恆常性

此外,它還在 GRPO 框架里加入了一個 Rule-Based Spatial Reward,去強化:

  • source-image attribution
  • spatial alignment
  • structured output validity

這點很重要。

因為很多 MLLM 的問題不是“完全沒看見”,而是:

它輸出時沒有足夠強的結構約束,所以容易把看到的東西組織錯。

實驗上,CGC 在多圖 benchmark 上拿到不錯結果,還對更廣泛的多模態任務有遷移增益。

我覺得這篇論文最值得帶走的判斷是:

多圖理解不是簡單地把上下文長度拉長,而是必須顯式解決跨圖歸因、空間一致性和對象恆常性。

如果這幾點不單獨建模,模型很容易“每張圖單看都像懂了,合起來反而開始亂”。


4)MegaDepth-X:3D 重建下一個難點,不是熱門地標,而是互聯網圖像分佈的長尾部分

  • arXiv:2604.22714
  • 標題:Long-tail Internet photo reconstruction
  • 方向:3D vision / reconstruction / sparse-view / foundation model finetuning

這篇論文討論的是一個特別現實的 3D 問題。

我們過去看到很多 3D reconstruction 系統效果很好,往往默認數據條件是:

  • 某個著名地標
  • 有大量照片
  • 拍攝角度豐富
  • 圖像質量相對穩定

但現實世界大部分場景並不滿足這些條件。

真正更普遍的情況其實是:

  • 圖像稀疏
  • 質量參差不齊
  • 拍攝視角很不均勻
  • 紋理重複、對稱結構多
  • 沒什麼可用的可靠幾何監督

作者認為,這個“long-tail regime”才是 3D foundation model 接下來必須認真處理的區域。

他們的核心思路是:

雖然長尾稀疏場景本身很難拿到乾淨監督,但可以從那些已經重建得很好的熱門場景裡,主動採樣出“像長尾一樣稀疏”的訓練子集。

基於這個想法,論文做了兩件事:

  • 提出 MegaDepth-X 數據集
  • 設計一種採樣策略,讓訓練圖像集更接近長尾場景中的相機分佈

然後再用這些數據去微調 3D foundation models。

結果是:

  • 在極端稀疏條件下重建更穩
  • 在對稱和重複結構場景下也更可靠
  • 同時還能保持對標準 dense benchmark 的泛化

這篇論文真正吸引我的地方,是它非常典型地體現了一個趨勢:

很多“模型不夠強”的問題,最後發現不是 backbone 不夠大,而是訓練分佈沒有覆蓋真實世界最難、最常見的尾部情況。

這對 3D 方向是這樣,對自動駕駛、機器人、文檔理解、長尾 OCR,其實也都類似。

換句話說:

不是 benchmark 上最亮眼的部分最值得擔心,而是那些過去被默認忽略的長尾條件,才最可能決定系統能不能落地。


5)SSG:LLM 水印在低熵生成裡為什麼容易失效?問題可能出在詞表劃分方式

  • arXiv:2604.22438
  • 標題:Logit-Balanced Vocabulary Partitioning for LLM Watermarking
  • 方向:LLM watermarking / code generation / math reasoning / security

LLM watermarking 這條線最近越來越值得關注。

因為只要模型生成內容開始真正進入:

  • 內容平臺
  • 教育場景
  • 代碼生成鏈路
  • 企業寫作與審計系統

“這段內容是不是模型生成的、來自哪個模型體系”這類問題就會越來越現實。

這篇論文討論的是經典 KGW watermarking 方案在低熵場景下失效的問題。

所謂低熵場景,最典型的就是:

  • 代碼生成
  • 數學推理

這類任務的 token 分佈通常更尖銳,模型在每一步可選空間沒那麼大。

於是 watermark 能插手改動 token 選擇的餘地就會變小,導致可檢測性下降。

作者把這個現象提煉成一個挺關鍵的概念:

watermark strength 與 next-token probability distribution 強相關。

這意味著,問題不只是“有沒有打水印”,而是:

  • 當前 token 分佈下,水印到底有沒有足夠操作空間

他們提出的 SSG(Sort-then-Split by Groups)做法,本質上是在重新設計詞表劃分方式,讓兩個候選子集在 logit 上更平衡。

這樣做的目標是:

抬高每次 token 預測時 watermark strength 的下界。

直白說,就是儘量保證:

  • 即使在低熵生成裡
  • 也還能留出一點可控空間給水印信號

實驗顯示,它在代碼生成和數學推理任務上能提升水印可檢測性。

這篇工作讓我覺得很有意思的一點是:

它不是在做特別宏大的“AI 安全敘事”,而是很具體地盯住了一個工程事實:

你能不能打上穩定水印,取決於採樣空間有沒有被任務本身壓得太窄。

這類工作以後可能會越來越重要,因為水印技術如果只在開放式聊天裡有效、但一到代碼和推理場景就失效,那實際可用性會非常有限。


最後總結

昨天這 5 篇論文如果放在一起看,我覺得最值得注意的不是它們各自所在的小方向,而是它們共同指向的一種系統化傾向:

  • Agent 不再只是“會不會調工具”,而是要不要有環境模型
  • scaling law 不再只是“擬合一條漂亮曲線”,而是預算怎樣更值錢
  • MLLM 不再只是“能不能看多張圖”,而是跨圖歸因是否穩定
  • 3D 重建不再只是“頭部 benchmark 多高”,而是長尾場景能不能扛住
  • LLM watermarking 不再只是“理論上可行”,而是低熵任務裡還是否有效

這些問題有個共同點:

它們都在把 AI 研究從“能力展示”推向“系統條件下的真實可用性”。

這也是我最近越來越在意的一條觀察:

未來真正拉開差距的,可能不只是哪個模型 headline 更大,而是誰更能把成本、環境、一致性、可解釋性和可追蹤性一起做紮實。

如果你最近更關注工程落地,而不是隻看榜單,我覺得昨天這一批論文挺值得細看。