封面:光學測量臺近端的小芯片與遠端的大芯片

日期:2026-11-07

摘要:看擬合圖之前,先找沒有參加擬合的那個點

假設你要為下一次語言模型訓練選預算。桌上有兩份報告:一份用全部訓練結果畫出一條貼合得很好的曲線;另一份先遮住最貴的幾次訓練,只用便宜的實驗做預測,再揭開答案。你要決定的是下一筆算力怎麼花,第二份報告更接近你的問題。可如果下一次還要換語料,第二份報告也只回答了一半:它檢驗了跨預算,卻未必檢驗過跨語料。

擴展定律(Scaling Law)把訓練資源和某個可觀測結果之間的關係寫成經驗公式。**“能預測多遠”沒有脫離指標和訓練條件的統一倍數。證據的邊界,是擬合時沒有用過、後來確實拿來檢驗過的配置,以及這些配置上實際出現的誤差。**下面三篇研究各揭開一張不同的底牌:哪種模型大小最划算,同樣數量的數據是否等價,以及較小模型能否預測較大模型的答題分數。本文只核對原論文,不報告新的訓練實驗。

先認清曲線兩端的量

預訓練損失衡量模型給真實下一個詞元的概率分配得好不好。詞元是分詞器切出的文本單位;即使模型沒有把正確詞元排到第一,給它更多概率也能降低損失。答題準確率的記賬方式不同:一道題從猶豫地答錯變成幾乎答對,只要最後仍選錯,分數就不動。還有第三種量:給定算力,哪個參數規模的模型損失最低?它問的是谷底在哪裡,並非谷底有多深。同一句“我們預測了表現”,在這三種情況下需要三份不同的驗收答案。

在已有最大和最小預算之間估一箇中間點,叫插值;越過已見預算去預測更大的訓練,才是沿預算軸外推。測試文本沒有出現在訓練語料裡,並不意味著模型規模也沒有參加過曲線擬合。反過來,留出了最大規模,也不代表測試了新領域。讀論文時不妨在頁邊寫下兩行:模型訓練時沒見過什麼?研究者選擇公式、估計係數時沒見過什麼?兩行寫的是不同對象,不能只憑一個“留出”就互相代替。

第一張底牌:小模型真的花了同樣多的算力嗎?

Porian 等,圖 1 和第 2 節把問題還原為一個選擇:在同一筆訓練算力下,做大一些、少讀一些,還是做小一些、多讀一些?他們訓練一組從小到大的解碼式語言模型,沿相同計算預算比較損失,在每一檔預算估計谷底的位置,最後才把這些位置連成規律。這裡的起點是同一類訓練配方下不同大小的模型,並不是給一個現成模型不斷加參數。

關鍵藏在賬本里。把最後一層表示變成整個詞表上的分數,也需要計算。在小模型上,這筆費用相對其他層更顯眼。漏記它,看似相同的橫座標就未必代表相同花費。另一個容易忽略的設置是預熱,即訓練開頭把學習率逐漸提高。給所有模型安排同樣長的預熱,某些低預算實驗在達到比較點時還沒走出這個階段。此時把小模型的損失當作它正常訓練後的水平,會把訓練日程的差異寫進規模規律。圖 1a–c、圖 2

作者逐項改變這些設置,再按規模調整優化器,在其訓練條件下得到的最優規模趨勢更接近 Hoffmann 等的結論。一個很有分量的細節是:針對每檔預算安排學習率衰減,並沒有同樣明顯地改變最優規模的趨勢;這與衰減能降低損失並不矛盾。整排候選模型的損失可以一起下降,而最省算力的選擇仍在附近。圖 1c–e 及第 1 節的補充分析 因此,這項工作支持的是一種可檢驗的差異解釋。它沒有證明今後換架構、詞表或優化器,都該照抄同一條參數分配曲線。

第二張底牌:相同的詞元數,餵給模型的是什麼?

Subramanyam 等,第 5 節把數據質量變成可以撥動的旋鈕。他們從平行語料抽取英德翻譯樣本,從英文網頁語料抽取下一詞元預測樣本,分別改變數據量和受擾動樣本的比例。翻譯任務用填充符遮去被選中樣本的一部分詞元;語言建模則從詞表取其他詞元替換。實驗者知道哪些樣本被動過手腳,因而可以在規模相同時比較不同汙染程度。這裡的“質量”有一個可重複的操作定義,無需讓人憑印象給文章打分。

在所測範圍內,增加數據量、提高未被擾動的樣本比例,都伴隨測試損失下降。作者用帶質量項的公式描述這種變化,並列出在未見數據上估得的係數。請留意圖 1 與表 3的分工:圖畫的是控制條件下的損失,表比較的是不同數據上估計的參數。係數呈相近規律,與“把舊係數鎖死就能報準新語料的絕對損失”,不是同一強度的主張。後者需要交出未經重新校準的預測和誤差。

為什麼這個區別對讀者有用?如果一份訓練計劃把“新增一批專業文檔”按“多讀一些同分布文本”計入預算,它已經做了研究設計之外的假設。隨機替換詞元會破壞局部語言線索;引入另一領域的乾淨文章則可能保留語法,卻改變術語與主題的分佈。原論文的操縱不足以給這兩件事標上同一個折扣率。對一批新語料,先說清相對於哪種測試文本、哪種任務所謂“質量更高”,比給它套一個看似精確的係數更有用。

第三張底牌:把較貴的訓練遮住,能猜中答題分數嗎?

Krajewski 等,第 3 節、式 2–3提供了較貼近這道題的證據。在每個參數對應二十個訓練詞元的設置中,他們直接用訓練算力預測各任務的分數:擬合的是準確率取負對數後的量,每項基準有自己的係數。對於選擇題,瞎猜本來就可能得分,作者還估計隨機基線並據此歸一化。這個處理決定了曲線底端的含義;不能拿一個接近猜測水平的小模型原始分數,直接塞進針對校正後分數擬合的公式。

作者用低於 6×10216\times10^{21} 次浮點運算的訓練來估係數,把其餘訓練留作驗證。表 1給出跨指標平均的絕對誤差:擬合部分為 0.0086,留出部分為 0.0195。這裡比較的是同一預測方法在兩組訓練配置上的誤差;後一個數不是每個任務的誤差上限,也不是模型答錯題目的比例。它的價值在於預測經受了比隨機混分大小模型更接近真實用法的考驗,而不是小數點後有幾位。

若把每個參數讀多少詞元也放開,作者改用同時包含參數量和數據量的公式,並另外劃出高預算或高詞元參數比的配置。第 3.3 節、表 2 對研究者而言,這處改動比照抄某個平均數有用:原先沿固定配比走得再遠,也沒有走出那條配比線。要預測線外的點,必須說明多出來的方向如何進入模型,並拿那個方向上的觀測檢驗它。兩張表的留出條件和擬合式都變了,不宜把它們的誤差差值解讀成改公式帶來的淨收益。

看殘差:是規律延續,還是小範圍內恰好長得像?

殘差是實際值減預測值,保留正負號。兩條曲線可以在便宜的幾個點上幾乎重合,到更大預算時,一條開始變平,另一條繼續上升。如果只看全部點的平均絕對誤差,既看不出高預算端是否總被低估,也看不出哪項任務拖了後腿。檢查時最好把最大的幾檔按預算順序排開,對每項任務分別問:誤差是否一直同號,誤差大小是否已經大到會改變資源選擇?一次偏差既可能來自模型形式,也可能來自有限題目的抽樣波動,別急著把一個點命名為“轉折”。

小規模擬合、凍結預測、在更大規模檢驗的三步流程

圖:為後續研究建議的檢驗順序。箭頭表示先後,不表示論文發現了因果機制;圖中沒有測量數據。

可以用一個不必從頭訓練大模型的設計區分兩種解釋:一是同一訓練配方確實允許小預算預測大預算;二是不同趨勢在已見區間內難以分辨。選用公開、配方可追溯的同一家族訓練記錄,先定一個目標任務、一種判分方式和最大的若干預算檔。將這些檔位下的整次訓練及其檢查點一起隔離,不能把大模型訓練早期的成績留在擬合表裡又稱沒見過這次訓練。同一批題、同樣的推理採樣預算用於所有模型,免得訓練規模變了,考試機會也跟著變。

只用其餘記錄比較兩個事先寫定的方案:照搬最後一個小預算的實測成績,或者用小預算擬合一條規模曲線。凍結數據篩選規則、函數和預測之後,再揭開保留記錄,逐檔公佈帶符號誤差和絕對誤差。事先用任務能夠接受的分數偏差設容差;若曲線在最大檔超出容差,或整體不比照搬成績更準,就停止向更大預算推薦該公式。兩種預測若在測量誤差內分不開,結論是現有預算無法分辨,不必硬選贏家。若公開數據早已被用來挑公式,應把這一步稱為回顧性檢驗,把真正的盲預測留給下一批訓練。

還可以再留一批預算相當但語料配比不同的記錄,作為另一次檢驗:同配方預測準確、換語料後偏差持續同向,說明原來可用的規則需要重新校準,但尚不能指定究竟是哪類文本所致。若規模和語料總是一起變,現有記錄就不能拆開這兩個解釋;誠實的停止點是報告缺少交叉配置。這個設計沒有在本文執行,也沒有借用其他實驗的未公開測試集。

總結:給預測寫上有效條件

三篇論文可以連起來讀,但不能排成一張成績榜。第一篇估最優模型大小,提醒我們算力怎麼記會改變最優解;第二篇在可控汙染中解釋損失,提醒我們一個詞元並不天然代表等量信息;第三篇才直接以較大預算下的答題分數檢驗預測。下次看到一條漂亮的擴展曲線,可以要求作者補完一句話:我用哪些小訓練,預測了哪個未參與擬合的大訓練,在什麼指標上偏了多少? 能補完,就有一段可引用的外推距離;超出那段,仍是一個值得下注、也可能猜錯的假設。

參考資料

  1. Porian 等(NeurIPS 2024),Resolving Discrepancies in Compute-Optimal Scaling of Language Models。
  2. Subramanyam、Chen、Grossman(ICLR 2026),Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining。
  3. Krajewski 等(ICLR 2026),Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training。

作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。