昨天這批論文如果放在一起看,我覺得有一條很清晰的共線:
AI 研究正在越來越少地只比“能力上限”,而是在更認真地處理系統真正進入現實環境後會遇到的硬約束。
這些約束是什麼?
- 訓練預算不是無限的,scaling law 本身也得講成本
- Agent 不只是會生成文本,還得能預測環境、理解反饋、修正世界模型
- 多圖視覺理解不是把幾張圖一起喂進去就算完成,真正難的是跨圖一致性和對象恆常性
- 真實世界的 3D 重建不是每個場景都像熱門地標一樣有海量高質量圖片,更多是稀疏、噪聲、長尾
- 模型生成內容進入真實分發鏈路之後,出處追蹤和版權歸屬問題也開始越來越繞不過去
所以昨天我挑的這 5 篇,不是單純挑“headline 最大”的,而是儘量挑那些能反映系統瓶頸正在怎麼變化的工作。
分別來自:
- Agent / 世界模型綜述
- scaling law 與實驗預算
- 多圖 MLLM 訓練
- 長尾 3D reconstruction
- LLM watermarking
它們方向看起來挺散,但拼起來恰好能看到一個趨勢:
下一階段 AI 的競爭,不只是模型更強,而是誰更懂得把預算、環境、證據、一致性和可追蹤性這些現實因素一起納入系統設計。
1)Agentic World Modeling:Agent 真正缺的,可能不是更多工具,而是更像樣的世界模型
- arXiv:2604.22748
- 標題:Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond
- 方向:Agent / world model / environment modeling / survey
這篇論文首先值得注意的地方,是它沒有把 world model 繼續講成一個模糊大詞,而是試圖把不同社區對“世界模型”的理解重新整理到一個統一框架裡。
作者的判斷很明確:
當 AI 系統從“生成一句文本”走向“持續完成目標”時,環境動力學建模會變成核心瓶頸。
這件事在很多場景裡都成立:
- 操作 GUI 的 agent
- 瀏覽網頁和調用工具的 agent
- 多智能體協作系統
- 科學發現與實驗設計系統
- 需要長期交互和反饋修正的任務型助手
論文提出了一個很有用的 “levels × laws” taxonomy。
它把能力分成三層:
- L1 Predictor:學一步局部轉移
- L2 Simulator:做多步、動作條件下的 rollout
- L3 Evolver:預測失敗後還能根據新證據修正自己的模型
同時又把約束來源分成四類“law”:
- physical
- digital
- social
- scientific
這個框架的價值不只是分類漂亮,而是它在提醒一個現實問題:
不同 agent 場景失敗的原因並不一樣,因為它們所處環境的“規律類型”就不一樣。
比如:
- 機器人要服從物理規律
- GUI agent 要服從軟件界面狀態轉移
- 社交模擬要面對社會規範和多主體行為
- 科研 agent 要符合科學約束與實驗反饋
論文還系統整理了 400 多篇相關工作和 100 多個代表性系統,這讓它更像一篇路線圖,而不只是普通 survey。
我覺得這篇最重要的啟發是:
Agent 能不能做好,不只是“會不會調用工具”,而是它有沒有足夠好的環境預測結構,能在行動前形成有效預期,並在行動後修正預期。
如果你最近在看 browser agent、GUI agent、多智能體 simulation,這篇會很值得放進閱讀清單。
2)Spend Less, Fit Better:scaling law 不是隻能靠“先燒很多錢再擬合”
- arXiv:2604.22753
- 標題:Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection
- 方向:scaling law / experimental design / budget-aware training
這篇論文抓住的是一個常被忽略但其實很貴的問題:
大家都喜歡用 scaling law 規劃大模型訓練,但為了把 scaling law 擬合出來,本身就要先做一堆昂貴實驗。
也就是說,scaling law 看起來是在幫你省錢,但它自己的“學費”可能就已經很高了。
作者把這個問題重新表述成:
- 有一堆候選實驗
- 每個實驗成本不同
- 預算有限
- 目標不是把所有點都跑了,而是讓你在高成本目標區間的外推最準確
這個重構很重要。
因為它把 scaling law 擬合從“數據分析問題”改成了一個更現實的:
預算約束下的序貫實驗設計問題。
他們提出的方法是 uncertainty-aware 的主動選擇策略,核心想法是把預算優先花在那些對目標區間外推最有幫助的實驗上。
結果也很有意思:
- 在一組多樣化 scaling-law 任務上
- 它通常只用大約 10% 總訓練預算
- 就能逼近用全量實驗擬合時的效果
我覺得這篇論文最大的價值,不只是“又一個更好的擬合算法”,而是它在提醒大模型工程裡一個越來越關鍵的事實:
隨著訓練成本越來越高,連“為了做判斷而做的小實驗”都必須開始講 ROI。
未來很多訓練決策可能都要這麼看:
- 不是先做完再分析
- 而是邊做邊決定下一筆預算最該花在哪裡
這類思路對配方搜索、蒸餾設計、後訓練實驗,其實都很有遷移價值。
3)CGC:多圖理解真正難的,不是看到多張圖,而是別把對象關係看串了
- arXiv:2604.22498
- 標題:Compositional Grounded Contrast for Fine-Grained Multi-Image Understanding
- 方向:MLLM / multi-image understanding / grounding / RL-based reward
這篇論文切的是我一直覺得很關鍵、但還沒被充分解決的問題:
MLLM 在單圖上看起來已經挺強,但一到多圖細粒度理解,還是很容易出錯。
典型問題包括:
- spatial hallucination
- attention leakage
- object constancy 失敗
也就是:
- 圖 A 的屬性跑到圖 B 身上
- 模型注意力被相似背景帶偏
- 同一個對象換個視角後,模型就認不出來是不是同一個
論文提出的 CGC(Compositional Grounded Contrast)有兩個值得關注的點。
第一,它儘量避免昂貴人工標註和大規模 CoT 合成
作者不是重新大規模造多圖標註數據,而是建立在已有單圖 grounding 標註之上,去構造組合式多圖訓練樣本。
這點很務實。
因為多圖數據如果完全手工標註,成本會非常高,而 MLLM 訓練現在本來就已經很燒資源。
第二,它把“跨圖對比”和“圖內對比”都顯式做了
CGC 用了兩類構造:
- Inter-Image Contrast:加強跨圖辨別,避免不同圖裡的語義混淆
- Intra-Image Contrast:增強跨視角或相關樣本下的對象恆常性
此外,它還在 GRPO 框架里加入了一個 Rule-Based Spatial Reward,去強化:
- source-image attribution
- spatial alignment
- structured output validity
這點很重要。
因為很多 MLLM 的問題不是“完全沒看見”,而是:
它輸出時沒有足夠強的結構約束,所以容易把看到的東西組織錯。
實驗上,CGC 在多圖 benchmark 上拿到不錯結果,還對更廣泛的多模態任務有遷移增益。
我覺得這篇論文最值得帶走的判斷是:
多圖理解不是簡單地把上下文長度拉長,而是必須顯式解決跨圖歸因、空間一致性和對象恆常性。
如果這幾點不單獨建模,模型很容易“每張圖單看都像懂了,合起來反而開始亂”。
4)MegaDepth-X:3D 重建下一個難點,不是熱門地標,而是互聯網圖像分佈的長尾部分
- arXiv:2604.22714
- 標題:Long-tail Internet photo reconstruction
- 方向:3D vision / reconstruction / sparse-view / foundation model finetuning
這篇論文討論的是一個特別現實的 3D 問題。
我們過去看到很多 3D reconstruction 系統效果很好,往往默認數據條件是:
- 某個著名地標
- 有大量照片
- 拍攝角度豐富
- 圖像質量相對穩定
但現實世界大部分場景並不滿足這些條件。
真正更普遍的情況其實是:
- 圖像稀疏
- 質量參差不齊
- 拍攝視角很不均勻
- 紋理重複、對稱結構多
- 沒什麼可用的可靠幾何監督
作者認為,這個“long-tail regime”才是 3D foundation model 接下來必須認真處理的區域。
他們的核心思路是:
雖然長尾稀疏場景本身很難拿到乾淨監督,但可以從那些已經重建得很好的熱門場景裡,主動採樣出“像長尾一樣稀疏”的訓練子集。
基於這個想法,論文做了兩件事:
- 提出 MegaDepth-X 數據集
- 設計一種採樣策略,讓訓練圖像集更接近長尾場景中的相機分佈
然後再用這些數據去微調 3D foundation models。
結果是:
- 在極端稀疏條件下重建更穩
- 在對稱和重複結構場景下也更可靠
- 同時還能保持對標準 dense benchmark 的泛化
這篇論文真正吸引我的地方,是它非常典型地體現了一個趨勢:
很多“模型不夠強”的問題,最後發現不是 backbone 不夠大,而是訓練分佈沒有覆蓋真實世界最難、最常見的尾部情況。
這對 3D 方向是這樣,對自動駕駛、機器人、文檔理解、長尾 OCR,其實也都類似。
換句話說:
不是 benchmark 上最亮眼的部分最值得擔心,而是那些過去被默認忽略的長尾條件,才最可能決定系統能不能落地。
5)SSG:LLM 水印在低熵生成裡為什麼容易失效?問題可能出在詞表劃分方式
- arXiv:2604.22438
- 標題:Logit-Balanced Vocabulary Partitioning for LLM Watermarking
- 方向:LLM watermarking / code generation / math reasoning / security
LLM watermarking 這條線最近越來越值得關注。
因為只要模型生成內容開始真正進入:
- 內容平臺
- 教育場景
- 代碼生成鏈路
- 企業寫作與審計系統
“這段內容是不是模型生成的、來自哪個模型體系”這類問題就會越來越現實。
這篇論文討論的是經典 KGW watermarking 方案在低熵場景下失效的問題。
所謂低熵場景,最典型的就是:
- 代碼生成
- 數學推理
這類任務的 token 分佈通常更尖銳,模型在每一步可選空間沒那麼大。
於是 watermark 能插手改動 token 選擇的餘地就會變小,導致可檢測性下降。
作者把這個現象提煉成一個挺關鍵的概念:
watermark strength 與 next-token probability distribution 強相關。
這意味著,問題不只是“有沒有打水印”,而是:
- 當前 token 分佈下,水印到底有沒有足夠操作空間
他們提出的 SSG(Sort-then-Split by Groups)做法,本質上是在重新設計詞表劃分方式,讓兩個候選子集在 logit 上更平衡。
這樣做的目標是:
抬高每次 token 預測時 watermark strength 的下界。
直白說,就是儘量保證:
- 即使在低熵生成裡
- 也還能留出一點可控空間給水印信號
實驗顯示,它在代碼生成和數學推理任務上能提升水印可檢測性。
這篇工作讓我覺得很有意思的一點是:
它不是在做特別宏大的“AI 安全敘事”,而是很具體地盯住了一個工程事實:
你能不能打上穩定水印,取決於採樣空間有沒有被任務本身壓得太窄。
這類工作以後可能會越來越重要,因為水印技術如果只在開放式聊天裡有效、但一到代碼和推理場景就失效,那實際可用性會非常有限。
最後總結
昨天這 5 篇論文如果放在一起看,我覺得最值得注意的不是它們各自所在的小方向,而是它們共同指向的一種系統化傾向:
- Agent 不再只是“會不會調工具”,而是要不要有環境模型
- scaling law 不再只是“擬合一條漂亮曲線”,而是預算怎樣更值錢
- MLLM 不再只是“能不能看多張圖”,而是跨圖歸因是否穩定
- 3D 重建不再只是“頭部 benchmark 多高”,而是長尾場景能不能扛住
- LLM watermarking 不再只是“理論上可行”,而是低熵任務裡還是否有效
這些問題有個共同點:
它們都在把 AI 研究從“能力展示”推向“系統條件下的真實可用性”。
這也是我最近越來越在意的一條觀察:
未來真正拉開差距的,可能不只是哪個模型 headline 更大,而是誰更能把成本、環境、一致性、可解釋性和可追蹤性一起做紮實。
如果你最近更關注工程落地,而不是隻看榜單,我覺得昨天這一批論文挺值得細看。