今天這批論文如果放在一起看,我覺得最明顯的一條線,不是“誰又把模型做得更大了”,而是:

大家越來越在認真處理 AI 系統裡的“結構問題”。

這裡的結構,不只是模型層數或參數量,而是更廣義的那種結構:

  • 多模態模型到底該不該繼續依賴獨立視覺編碼器
  • 視頻生成是不是必須顯式服從 3D 幾何一致性
  • 臨床 AI 評測能不能從“找專家逐條打分”進化到更可擴展的 rubric 體系
  • RoPE 這類看似已經固定的基礎組件,是否其實還藏著一整塊可學習空間
  • 多分類學習裡懸了很多年的 sample complexity 問題,到底能不能被真正補完

它們看起來橫跨很不同的方向:

  • 多模態
  • 視頻生成
  • 醫療 AI 評測
  • Transformer 結構
  • 理論機器學習

但拼在一起,反而能看出一個越來越清晰的趨勢:

AI 研究正在從“把能力堆出來”轉向“把系統裡的關鍵結構重新設計清楚”。

今天我挑 5 篇來盤,分別來自統一多模態、世界模擬視頻生成、醫療 AI 評測、RoPE 改造和學習理論。

如果你最近更關心“下一步真正值得長期跟的方向是什麼”,今天這組論文我覺得挺有代表性。


1)Tuna-2:多模態模型,真的還需要獨立視覺編碼器嗎?

  • arXiv:2604.24763
  • 標題:Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation
  • 方向:統一多模態模型 / 原生像素建模 / understanding + generation

這篇論文很適合接在最近那條多模態主線上看。

過去主流統一多模態模型通常有一個默認前提:

  • 理解任務用一個預訓練視覺編碼器
  • 生成任務可能再走另一個 latent 表示路徑
  • 模型最終在不同視覺表示之間做折中

問題是,這套做法雖然工程上實用,但一直存在一個繞不過去的矛盾:

理解和生成吃的不是同一套視覺表示。

於是就會有:

  • 任務間表徵錯位
  • 訓練目標不完全一致
  • 很難從原始像素端到端統一優化

Tuna-2 的核心主張很激進也很直接:

把獨立 vision encoder 幹掉,直接用 pixel embeddings 做統一多模態建模。

也就是說,它不再把視覺輸入先交給一個模塊化的預訓練視覺主幹,而是更像把視覺 patch embedding 當作原生輸入入口。

作者認為這樣有兩個關鍵收益:

第一,理解和生成終於共享了一套更統一的視覺表示

這意味著模型不需要在“看圖”和“生成圖”之間來回切換不同語義空間。

對於統一多模態系統來說,這非常重要。

因為一個系統如果既要看、又要說、又要生成,表示空間越碎,長期越容易形成能力割裂。

第二,端到端像素學習可能比很多人想像得更能擴展

論文的實驗結論很有意思:

  • 帶 encoder 的變體在訓練早期收斂更快
  • 但 encoder-free 的 Tuna-2 在規模上來之後,多模態理解尤其是細粒度視覺感知更強

這其實很像很多深度學習方向反覆出現的一種現象:

模塊化 inductive bias 在前期更省力,但端到端路線在足夠規模和數據下,未必沒有後勁。

我覺得這篇論文最值得關注的地方,不是“以後所有視覺編碼器都會被替代”,而是它在認真挑戰一個過去太容易被當成默認選項的設計:

統一多模態模型,到底該不該繼續把視覺理解和視覺生成綁在兩個不同前端上。

如果後續這條線繼續跑通,它對多模態系統結構可能會有很大影響。


2)World-R1:視頻生成要想更像世界模擬,3D 約束遲早得補上

  • arXiv:2604.24764
  • 標題:Reinforcing 3D Constraints for Text-to-Video Generation
  • 方向:text-to-video / world simulation / reinforcement learning / 3D consistency

這篇論文切的點我覺得非常關鍵。

現在視頻生成模型看起來已經很強了,很多 demo 第一眼也足夠驚豔。

但只要你認真多看幾秒,問題就經常暴露出來:

  • 幾何關係前後不一致
  • 視角變化不穩定
  • 物體結構會飄
  • 場景雖然“像動起來了”,卻並不真的像一個穩定世界

這說明一個越來越明確的事實:

高質量視頻生成,不只是時間連續性問題,還是隱式世界建模問題。

World-R1 提出的思路是,不去大改底層架構,而是通過強化學習把 3D 約束“壓”回視頻模型裡。

它的做法裡有兩個點很值得注意:

第一,它把 3D 一致性問題交給外部 foundation model 反饋來監督

作者用預訓練 3D foundation models 和 vision-language models 提供反饋信號,去約束生成視頻在結構上更一致。

也就是說,它不是隻靠像素重建式目標,而是引入了更偏“世界合理性”的外部判斷。

第二,它強調不改架構、而是靠 RL 對齊幾何一致性

這點很工程化。

因為現在很多方法一提 3D priors,就容易把系統做得非常重:

  • 改 backbone
  • 加複雜結構分支
  • 訓練成本上升
  • 可擴展性下降

World-R1 的價值在於,它試圖證明:

幾何一致性未必要靠架構大手術,也可以靠後訓練階段的獎勵建模與優化策略補回來。

論文裡還提到一個 periodic decoupled training 策略,用來平衡:

  • 剛性幾何一致性
  • 動態場景流動性

這很重要。

因為視頻生成裡一個常見問題是:

  • 幾何太強,畫面容易僵
  • 動態太自由,結構又會散

所以真正難的不是單純“加 3D”,而是怎麼讓視頻既像一個有結構的世界,又保留自然動態。

我覺得這篇論文代表的是一個越來越清晰的趨勢:

視頻模型如果想往 world simulator 方向走,遲早要顯式面對結構一致性,而不是隻做更會動的像素生成。


3)Clinical Rubrics:臨床 AI 評測,可能真的要從“模型評模型”走向“病例級 rubric 體系”

  • arXiv:2604.24710
  • 標題:Case-Specific Rubrics for Clinical AI Evaluation: Methodology, Validation, and LLM-Clinician Agreement Across 823 Encounters
  • 方向:clinical AI evaluation / rubric-based assessment / LLM-clinician agreement

這篇論文我覺得特別有現實感。

現在大家都知道,臨床 AI 真正上線時最難的不只是模型效果本身,而是:

你到底怎麼評它,而且這個評測還得能跟上模型快速迭代。

傳統方案的問題非常明顯:

  • 每個 case 都找專家人工打分,太貴
  • 速度慢,難以支持頻繁迭代
  • 小樣本專家審核很難覆蓋複雜場景
  • 如果沒有穩定評測框架,系統改一版就像重新摸黑

這篇論文的思路是做 case-specific rubrics。

核心不是搞一個泛泛的總分,而是:

  • 讓臨床醫生針對具體病例寫 rubric
  • 再用 rubric 去穩定比較模型輸出優劣
  • 同時檢驗 LLM 生成的 rubric 是否能逼近醫生判斷

數據規模其實不小:

  • 20 位 clinician
  • 1,646 份 rubric
  • 823 個病例
  • 覆蓋 primary care、psychiatry、oncology、behavioral health

我覺得這篇最值得注意的,是它把“臨床專家判斷”拆成了一種更可複用的結構化資產。

也就是說,評測不再只是一次性人工勞動,而是逐漸變成:

病例級、規則化、可自動化複用的評測基礎設施。

結果也很有意思:

  • clinician-authored rubrics 能有效拉開高低質量輸出
  • 後期實驗中,LLM 與 clinician 的 ranking agreement,已經接近甚至超過 clinician-clinician agreement
  • 而且成本大約低了三個數量級

這裡當然不能輕易得出“以後不用醫生了”的結論。

這篇論文真正穩的說法其實是:

臨床專家應該繼續定義基準,而 LLM rubric 可以在這個基準之上,把評測覆蓋率和速度大幅拉高。

這對醫療 AI 特別關鍵。

因為高風險領域最缺的,從來不是“再多一個 benchmark 分數”,而是:

  • 臨床有效
  • 能持續更新
  • 能支持安全迭代
  • 成本還能承受

如果你最近在看 AI 醫療、EHR assistant、臨床文檔自動化,這篇論文挺值得細讀。


4)SIREN-RoPE:RoPE 這塊看似固定的地基,可能還遠沒挖完

  • arXiv:2604.24717
  • 標題:Learning to Rotate: Temporal and Semantic Rotary Encoding for Sequential Modeling
  • 方向:Transformer / RoPE / sequential modeling / recommender systems

這篇論文切的角度我挺喜歡,因為它盯的是一個大家太容易“默認接受”的組件:RoPE。

現在很多 Transformer 系統裡,RoPE 已經幾乎變成基礎設施。

大家討論更多的是:

  • context length 能拉多長
  • 插值怎麼做
  • 外推穩不穩

但這篇論文反過來問了一個更根本的問題:

我們是不是把 RoPE 的“旋轉空間”想得太死了?

傳統 RoPE 的做法,本質上是:

  • 根據離散位置 index
  • 用一個手工設計好的旋轉結構
  • 給 attention 引入相對位置信息

作者認為,這個 rotation manifold 本身其實也是一個可建模空間,而不是隻能由固定位置編號來填充。

於是他們提出 SIREN-RoPE,用雙分支 SIREN 去把多種異質信號注入旋轉維度,比如:

  • 連續時間戳
  • 週期性時間模式
  • 類別元數據

這個想法很有意思。

因為它相當於在說:

attention 裡的旋轉不一定只編碼“第幾個 token”,也可以編碼“這個 token 在什麼時間、什麼上下文類型、什麼動態關係裡出現”。

作者把這個空間看成一種與語義 embedding 正交的“動態維度”,這個表述雖然有點理論味,但直覺上是成立的。

尤其在:

  • feed ranking
  • recommendation
  • time-aware sequence modeling
  • 帶 metadata 的序列建模

這類場景裡,離散位置本來就不是全部。

論文在生產級新聞流推薦數據上驗證,能在 calibration 和 ranking 目標上帶來持續改進,而且額外計算開銷不大。

我覺得這篇論文最值得帶走的不是它具體用了 SIREN,而是它提醒了一件很容易被忽略的事:

Transformer 裡那些“看起來已經固定”的組件,未必真的已經被開發到頭。

很多時候,模型主幹能力已經很強,但基礎編碼機制裡仍然可能藏著新的可學習維度。


5)多分類學習 sample complexity:一個老問題,終於又被往前推進了一大步

  • arXiv:2604.24749
  • 標題:The Optimal Sample Complexity of Multiclass and List Learning
  • 方向:learning theory / multiclass classification / sample complexity

最後這篇偏理論,但我覺得非常值得放進今天這組裡。

原因是:

很多人會把現在的 AI 研究理解成只剩工程堆棧和算力競賽,但底層學習理論裡,一些老問題其實還在穩步推進。

這篇論文討論的是多分類學習的最優 sample complexity。

二分類裡,VC dimension 對 sample complexity 的刻畫已經非常成熟。

但多分類問題長期更麻煩,核心複雜度參數是 DS dimension,而相關 upper/lower bound 之間一直卡著一個 sqrt(DS) 的 gap。

這篇工作的意義在於,它基於 2026 年前人的一個代數刻畫結果,進一步證明了一個長期 conjecture,並據此給出了 multiclass 以及 list learning 在 DS dimension 上的最優依賴關係。

對很多偏應用的人來說,這聽起來可能有點遠。

但我覺得它的重要性其實很實在。

因為 sample complexity 問題本質上是在回答:

  • 這類學習問題到底需要多少數據才夠
  • 複雜度應該由什麼結構量刻畫
  • 上界和下界之間到底還有沒有真空

這種問題雖然不直接產出一個更能跑 benchmark 的模型,但它決定了我們怎樣更準確地理解:

某類學習任務的難,到底難在什麼維度上。

尤其今天很多大模型工作越來越經驗主義,理論上這種把長期懸而未決的問題再往前推一步的工作,反而更顯得珍貴。


最後總結

今天這 5 篇論文如果放在一起看,我覺得它們共同指向的是一件事:

AI 系統正在從“先把能力做出來”轉向“把關鍵結構重新定義清楚”。

具體體現在:

  • Tuna-2 在重問統一多模態系統到底要不要依賴獨立視覺編碼器
  • World-R1 在重問視頻生成要不要顯式服從世界幾何結構
  • Clinical Rubrics 在重問高風險領域評測到底該怎樣規模化
  • SIREN-RoPE 在重問 Transformer 裡的旋轉編碼空間是否還能繼續學習
  • 多分類 sample complexity 工作則在重問一個老理論問題的最優刻畫到底是什麼

這類論文有一個共同特徵:

它們並不是簡單把已有路線“再放大一點”,而是試圖把一塊默認存在的結構重新拆開、重建、再驗證。

而這往往才是長期最有價值的進展。

如果你最近不只是想追新模型 headline,而是想判斷未來哪些方向更可能形成持續影響,我覺得今天這組論文挺值得留檔。