今天這批論文如果放在一起看,我覺得最明顯的一條線不是“模型又變大了”,而是:
大家越來越在認真處理 AI 系統裡的“中間層問題”。
什麼叫中間層問題?
不是最底層的 backbone,也不是最表層的 benchmark 分數,而是那些決定系統到底能不能穩定工作的連接層:
- 測試時擴展策略,到底該靠人手工調,還是讓 agent 自己發現
- 自動駕駛這麼多異構數據,究竟有沒有可能先統一成一套可複用基礎設施
- 視覺語言模型想要真正理解 3D 世界,視覺 token 表示該怎麼壓縮、對齊和注入
- 圖像生成後訓練,怎麼避免多目標獎勵一上來就互相打架
- 知識圖譜問答要想可信,怎麼把“有解釋路徑”和“有統計校準”真正接起來
它們看起來分屬不同方向:
- LLM 推理
- 自動駕駛數據工程
- 3D 視覺語言模型
- 文生圖後訓練
- 可信問答
但拼在一起,你會看到一個越來越清晰的趨勢:
AI 研究正在從“把能力做出來”轉向“把能力接穩、接省、接可信”。
今天我挑 5 篇來盤,分別代表測試時策略搜索、數據基礎設施、3D 表示、多目標圖像對齊和可信路徑推理這五條線。
如果你最近更關心“哪些方向更可能直接影響真實系統”,今天這組論文我覺得挺值得看。
1)AutoTTS:測試時擴展,不一定非得靠人拍腦袋設計策略
- arXiv:2605.08083
- 標題:LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
- 方向:test-time scaling / agentic discovery / reasoning control
過去一年,test-time scaling 已經變成推理模型裡最常見的關鍵詞之一。
大家默認接受的一種做法是:
- 多采樣幾條推理路徑
- 適當分支、回看、剪枝
- 再加一些 probe、打分、投票、選擇策略
問題在於,這些策略大多還是人工設計的。
也就是說,雖然我們在說“讓模型多想一會兒”,但“怎麼想、什麼時候停、什麼時候分叉、什麼時候回退”,往往還是研究者自己憑經驗湊出來的。
AutoTTS 這篇論文想改的,正是這裡。
它的核心主張是:
與其手工設計一套 test-time scaling 規則,不如把規則搜索本身變成 agent 可以自動完成的任務。
這篇論文最有意思的地方有兩個
第一,它不是直接暴力搜索,而是先把“可搜索環境”搭出來
論文很強調 environment construction。
這是關鍵點。
因為測試時擴展策略的動作空間如果不先整理清楚,所謂“自動發現”很容易直接變成:
- 搜索空間太大
- LLM 調用成本太高
- 每次驗證一個策略都太貴
- 最後方法本身比收益還貴
所以作者做了一個很工程化的折中:
- 基於預先收集好的 reasoning trajectories 和 probe signals
- 讓 controller 去決定何時 branch、continue、probe、prune、stop
- 在不重複大量調用底模的前提下,便宜地評估策略
這就把問題從“在線昂貴搜索”變成了“離線環境內的可控策略發現”。
第二,它代表了一個值得長期關注的方向:把研究者手寫 heuristics 變成可學習控制器
我覺得這件事的重要性,不只是 test-time scaling。
它更像是在說:
很多今天還靠人手調的推理流程,未來都可能被重新表述成“控制器學習問題”。
包括:
- 何時檢索
- 何時多采樣
- 何時停機
- 何時調用 critic
- 何時回滾到更保守策略
論文裡給出的結果也挺亮眼:
- 數學推理 benchmark 上能改善 accuracy-cost tradeoff
- 發現成本不高,報告裡甚至強調整個 discovery 過程只花了幾十美元量級
這篇論文最值得帶走的不是“又一個 test-time scaling 技巧”,而是它在認真推進一個更大的方向:
推理策略本身,也可以被 agent 化。
2)123D:自動駕駛研究一個長期痛點,終於有人先從“數據統一層”下手了
- arXiv:2605.08084
- 標題:123D: Unifying Multi-Modal Autonomous Driving Data at Scale
- 方向:autonomous driving / multimodal data infrastructure / dataset unification
自動駕駛這麼多年,數據其實一直特別豐富。
但一個尷尬事實是:
“豐富”不等於“能一起用”。
不同數據集之間經常有這些問題:
- 模態不一樣:camera、lidar、ego state、traffic light、HD map 各自組織方式不同
- 採樣率不同,時序對齊很麻煩
- 標註體系不一致
- 文件格式、工具鏈、依賴棧割裂
- 你能在一個數據集上覆現實驗,不代表能順手遷到另一個
123D 這篇論文做的事情看起來沒那麼 flashy,但我覺得特別重要:
它試圖把自動駕駛多模態數據先變成一套統一 API 下的“事件流基礎設施”。
為什麼這個思路很對?
因為很多人談自動駕駛 foundation model,默認都在看:
- 模型結構
- policy learning
- world model
- planning
但現實裡,大量時間其實耗在更底層的事情上:
- 數據怎麼讀
- 模態怎麼對齊
- 不同數據集的語義怎麼統一
- 訓練和評測到底能不能跨集遷移
如果這層不解決,上層很多“統一模型”都會被基礎設施拖住。
123D 的一個關鍵設計:每種模態都被看作獨立 timestamped event stream
這個設計非常實用。
因為現實中的駕駛傳感器本來就不是整齊同步的。
如果系統強行要求:
- 所有模態同頻
- 所有數據硬對齊
- 所有數據按一種剛性格式組織
那麼一到跨數據集整合,就會非常痛苦。
123D 反過來做:
- 每個模態是自己的事件流
- 同步或異步訪問都能支持
- 跨數據集的數據接入邏輯更統一
從系統設計上,這其實比“造一個新 benchmark”更有長遠價值。
我為什麼覺得這篇值得關注?
因為它代表的是一種成熟信號:
自動駕駛研究開始把“數據統一層”當成第一等問題,而不是默認前置條件。
而只要數據層真正被統一,後面很多事情都會更順:
- cross-dataset transfer
- 規劃與強化學習複用
- world model 預訓練
- 數據質量與標註偏差分析
這類工作短期可能沒有最強模型 headline 那麼吸睛,但從長期看,它往往更能決定一個方向能不能真正擴展起來。
3)Proxy3D:VLM 想要真正理解 3D 世界,關鍵可能不是更多像素,而是更好的代理表示
- arXiv:2605.08064
- 標題:Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
- 方向:VLM / 3D spatial intelligence / representation alignment
這篇論文切的是一個很值得繼續盯的方向:
視覺語言模型怎樣才能真正獲得穩定的 3D 空間理解能力。
現在很多 VLM 還是典型的 2D pipeline:
- 圖像進來
- 變成視覺 token
- 再接入語言模型
這套方法在通用看圖問答上沒問題,但一旦任務變成:
- 3D grounding
- 跨視角空間一致性
- 視頻中的空間關係推理
- 真實環境裡的對象佈局理解
2D token 表示就容易開始露出短板。
Proxy3D 的核心想法很清楚:
不要把所有視覺信息都保持在像素對齊層面,而是先提煉出更緊湊、更有幾何語義的 3D proxies。
論文裡的做法是:
- 從視頻幀中提取語義和幾何特徵
- 在 3D 空間裡做語義感知聚類
- 得到一組 compact 的 proxy 表示
- 再通過多階段訓練把這套表示和 VLM 對齊
這篇論文的價值,不只是“更省 token”
更關鍵的是,它在回答一個系統問題:
VLM 該用什麼樣的表示進入語言側,才既保住空間一致性,又不會讓視覺序列長度爆炸。
這是多模態系統裡特別現實的矛盾:
- 保留更多像素細節,token 很快爆
- 壓得太狠,3D 關係又不穩
Proxy3D 這種 proxy-based 表示,正是在試圖找一箇中間點。
為什麼我覺得這條線很重要?
因為未來很多多模態任務都不是“看一張圖說一句話”這麼簡單,而是更偏:
- spatial intelligence
- embodied reasoning
- video-grounded QA
- GUI / environment interaction
到了這些任務裡,2D token 直灌 LLM 的路線,很可能越來越不夠。
所以我會把這篇論文看作一個明確的信號:
多模態系統下一步競爭的關鍵,不只是底模大小,而是誰先把視覺世界壓成一種更適合推理的結構化表示。
4)Flow-OPD:圖像生成後訓練,越來越像“多教師知識整合”而不只是單一獎勵強化
- arXiv:2605.08063
- 標題:Flow-OPD: On-Policy Distillation for Flow Matching Models
- 方向:text-to-image / post-training / reward alignment / distillation
圖像生成後訓練最近也越來越像 LLM 社區了。
大家都開始談:
- RL 對齊
- reward hacking
- 多目標權衡
- on-policy 採樣
- 冷啟動與蒸餾
這篇論文的切入點我覺得非常準。
它指出,Flow Matching 文生圖模型在做多任務對齊時,常見有兩個大坑:
- 標量 reward 太稀疏
- 多個異質目標一起訓時,梯度互相干擾
最後就會出現很典型的 seesaw effect:
- 提高一個指標
- 另一個指標掉下去
- 模型開始學會投機拿分,而不是真的整體變好
Flow-OPD 的核心做法:先把不同目標訓成各自擅長的 teacher,再慢慢蒸餾回一個 student
這個思路非常像“先分科,再統考”。
論文裡的兩階段設計大致是:
- 先用單一 reward 把不同 teacher 分別推到各自 ceiling
- 再通過 on-policy distillation,把多種專長合回一個 student
此外還加了:
- Flow-based cold start
- task routing labeling
- trajectory-level dense supervision
- Manifold Anchor Regularization 作為通用質量錨點
這件事為什麼重要?
因為它反映出一個越來越清楚的現實:
生成模型後訓練的難點,不只是“有沒有獎勵”,而是“如何在不互相拉扯的情況下整合多種獎勵”。
這和 LLM 的後訓練越來越像。
模型不是隻追一個指標,而是同時要顧:
- 指令跟隨
- 審美質量
- OCR 正確率
- 結構一致性
- 人偏好
如果全都糊成一個 reward 去硬訓,通常很快就會亂。
我對這篇論文的判斷
它最值得關注的地方,不一定是具體提升了多少分,而是它代表了一條會越來越常見的方法論:
通用生成模型的後訓練,未來更像多專家蒸餾與策略整合,而不只是單模型上直接做 RL。
這條線如果繼續成熟,後面不只是文生圖,視頻、多模態生成、甚至 agent policy alignment 都可能借鑑這種“teacher specialization → student consolidation”的套路。
5)CPR:KGQA 要想真正可信,光有解釋路徑還不夠,還得把覆蓋率校準補上
- arXiv:2605.08077
- 標題:Conformal Path Reasoning: Trustworthy Knowledge Graph Question Answering via Path-Level Calibration
- 方向:KGQA / conformal prediction / trustworthy reasoning
知識圖譜問答一直有個很吸引人的點:
它天然比純文本生成更像“有證據可查”的推理。
因為模型往往會沿著圖中的關係路徑去找答案。
但問題是,“有路徑”不等於“可信”。
現實裡依然會出現:
- 覆蓋率不穩定
- prediction set 太大
- calibration 失效
- 模型看起來給了推理路徑,但統計意義上並不可靠
這篇論文要補的,正是這一層。
CPR 的核心想法:
把 conformal prediction 真正做進 path-level reasoning,而不是隻在答案層面做一個鬆散外殼。
它做了兩件關鍵事:
第一,做 query-level conformal calibration,但校準對象是 path-level score
這點很重要。
因為 KGQA 的本體不是單個答案 token,而是通往答案的候選路徑結構。
如果只在最後答案層做 conformal,很多中間信息其實已經丟掉了。
CPR 把 path score 直接納入校準對象,等於更貼近 KGQA 本身的推理單元。
第二,它加了一個 Residual Conformal Value Network 去學更有區分度的非一致性分數
這也是很關鍵的工程補丁。
因為 conformal 方法很多時候理論漂亮,但真進複雜任務後常見問題就是:
- score 太粗
- set 變得很大
- 雖然覆蓋率上去了,但可用性下降
所以作者專門設計輕量模塊去提升 path-level score 的可分性。
這篇論文最值得關注的地方是什麼?
我覺得不是 KGQA 這個具體任務,而是它背後那種更普遍的趨勢:
AI 系統正在嘗試把“結構化推理”和“統計校準保證”真正接在一起。
這在未來會越來越重要。
因為只要系統進入高風險或高價值場景,大家就會追問:
- 不只是答案是什麼
- 還要知道這條答案的可信邊界是什麼
- 在多大概率上會覆蓋正確答案
- prediction set 大小是否還能用
這種“有結構解釋 + 有統計保證”的組合,很可能會比單純更強的生成能力更有長遠價值。
最後總結
今天這 5 篇論文如果放在一起看,我覺得它們共同指向的是一件事:
AI 研究正在認真補“系統中間層”。
具體來說:
- AutoTTS 在補推理階段的策略發現層
- 123D 在補自動駕駛的數據統一層
- Proxy3D 在補 VLM 的 3D 表示層
- Flow-OPD 在補圖像生成的多目標後訓練層
- CPR 在補結構化問答的可信校準層
它們都不是那種“把模型再大一圈”的工作。
但恰恰是這類工作,往往更能決定系統最後是不是:
- 真的能擴展
- 真的能遷移
- 真的能對齊
- 真的能被信任
如果用一句話概括今天這批論文,我會寫成:
下一階段 AI 的差距,越來越不只是主模型能力差距,而是誰先把連接能力、表示能力、訓練能力和可信能力這些中間層做紮實。
如果你最近追論文不只是為了看 headline,而是想找那些更可能影響真實系統設計的方向,今天這組我覺得很值得留檔。