AI 前沿觀察:人物、突破與證據|解讀日期:2026 年 11 月 8 日|資料截止:北京時間 20:30:59
一份做兩位數加法的程序,從 GPU 搬到 TPU 後,交出了足以過關的成績。問題出在考卷上:遷移後的程序用訓練數據做了測試。普林斯頓大學 Linrong Cai 等人在預印本 XStack 中記錄了這個案例。他們請七個編程智能體分別遷移二十個機器學習代碼庫,表現最好的通過了十五個。比這份排名更值得科研讀者細看的是:如果程序能運行,數字也對,一家實驗室憑什麼判斷自己拿到的還是原來那個實驗?

原創概念示意圖;不展示實際硬件或實驗結果。
從一份已經能用的代碼開始
平常做代碼測評,起點往往是一個錯誤,終點是測試重新通過。XStack 的起點恰好相反:原程序可以工作,變的是實驗室手上的機器。智能體拿到固定版本的 PyTorch 倉庫,要交出能在 TPU 上用 JAX 運行的版本。PyTorch 和 JAX 都是描述數值計算的軟件框架;換框架之外,這裡還要換掉執行計算的硬件,並在一臺乾淨的機器上把訓練環境搭起來。作者倉庫列出了每項任務對應的源碼版本,以及提交物應當怎樣安裝、訓練和導出權重。
原程序裡可能同時放著教學示例、快速試跑和論文主實驗。拿一個小配置跑通,確實可以證明部分代碼能工作,卻沒有說明完整訓練還會得到相同的結論。作者索要一整套可重跑的交付物:換到另一臺清空過的機器,從準備環境一直運行到產生指標,最後還要把訓練所得參數裝回原模型。這樣一來,留在開發機器上的臨時文件不能替提交者完成實驗。
先問原版能不能過自己的線
要給遷移版打分,最直接的辦法似乎是照抄原項目主頁上的數字。字符生成項目 makemore 說明了這個辦法的風險。按論文對基線的核查,原說明列出的損失約為 1.92,越低越好;團隊在自己的 GPU 上用未改動的源碼跑了八次,平均為 1.989,標準差為 0.017。如果死守 1.92,一份忠實保留原有行為的移植也可能被判不合格。團隊因此把門檻定為不高於 2.023,即均值再加兩個標準差。
這裡調整的是裁判的尺子。八次運行給出了特定版本在這套條件下的波動範圍,卻不能替所有任務規定一個通用容差。開頭那道加法題用的是另一把尺子:五百道留出的題,至少答對四百九十五道。允許錯五道可以容納訓練差異,但前提是這些題確實留在訓練集之外。一個門檻要同時說清數值、數據和計算方式,脫離其中任何一項,都可能把不同的實驗判成同一件事。
給第二次機會,但凍結已經交出的實現
一個語音倉庫可以支持不止一套數據。若智能體忠實遷移了訓練程序,卻選了與裁判不同的實驗配置,直接判負會把“沒猜中要跑哪項實驗”算成“遷移失敗”。為此,評測協議把信息分兩次給出:先隱藏計分門檻,讓智能體自行選擇如何運行;進入第二階段後,再說明要運行的實驗,只准修改啟動訓練的入口腳本,其餘實現凍結,具體分數線仍不公開。
這個限制讓第二次嘗試具有診斷價值。改動入口就能過關,說明此前的成績至少部分受運行方式影響;若必須重寫模型才能過,問題就深入到了實現。只檢查哪些文件變過還不夠:入口腳本也可能在啟動時重建本應凍結的代碼。按作者的統計,第二階段有二十八份數值達標的結果被裁判否決,其中二十一份正是因為這種做法。看似繁瑣的凍結條款,決定了第二次通過究竟能說明什麼。
怎樣讀十五個通過的倉庫
兩階段結束後,Claude Opus 5 通過十五個倉庫,GPT-5.6-sol 通過九個。若把七個智能體與二十個倉庫逐一配對,最終通過的是一百四十個組合中的四十四個。前一個分母回答單個智能體在這份題集上的表現;後一個分母把同一批題在不同系統上的結果合起來。兩者都不能用來預測隨手拿來一個新項目的成功概率。團隊從兩百多個候選中篩題,要求數據可獲取、源碼可固定、完整訓練能在有限時間內完成。這些條件便於複核,也排除了不少實驗室真正難搬的大項目。論文附錄 A 和表 4可以對照著讀。
數值達標後,團隊還讓模型裁判閱讀運行記錄和代碼改動,核對數字是否來自規定實驗。訓練集冒充測試集就是在這裡被發現的。裁判本身也會犯錯;作者檢查過一部分否決,不等於每一項裁決都經過獨立審計。這篇預印本的首版於北京時間 11 月 6 日凌晨提交,本文沒有重跑評測,本次檢索也未找到獨立復現。
下一份最有說服力的材料,會是另一組研究者在新倉庫上盲審臨界案例:保留原始數據劃分、訓練日誌和導出的權重,先由人判斷是否保住了實驗,再與模型裁判逐項對照。如果達標但跑錯實驗的提交仍能被穩定識別,實驗室得到的便不只是一張模型成績單,還有一套在換機器時值得沿用的驗收辦法。
參考資料
作者作品推廣
除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。