不同尺寸的透明層狀結構,通過光學校準裝置傳遞局部變化的概念插畫

封面為 AI 生成的概念示意,光學裝置僅作比喻,不是論文架構、真實設備或實驗數據。

  • 解讀日期:2026-10-26
  • 資料截止:2026-10-26 20:29:35(北京時間)

北京時間 10 月 23 日 21:08,意大利摩德納和雷焦艾米利亞大學、佛羅倫薩大學的 Filippo Rinaldi 等研究者提交了 Ariadne 預印本,探索在不同尺寸的 Transformer 之間複用微調效果。本文解讀這項近三天的研究,不將其寫成今天剛發佈的突破。它提出的問題值得關注:換一個模型,先前學到的任務行為能否少走一些重新訓練的彎路?論文與提交記錄

搬走的究竟是參數,還是變化?

先看一個已有概念:任務向量。Task Arithmetic 研究把微調後的模型參數減去微調前的參數,用這份差值表示任務帶來的更新,並探索通過加減這些更新來改變行為。原始研究摘要

這個想法像給同一本書保存修訂記錄:改了哪一頁、哪一行,都有對應位置。但如果換成排版、章節數都不同的另一本書,直接貼上修訂記錄就不再自然。模型的層數和內部表示寬度發生變化時,也需要回答“這裡的修改,對應那裡的什麼”。這個比喻用於說明問題,不意味著神經網絡真的按章節儲存知識。

同一團隊較早的 Theseus 已經研究跨寬度遷移,並藉助內部表示的對應關係處理更新。因此,不能把 Ariadne 描述為首次想到複用微調成果。Theseus 摘要與版本記錄

Ariadne 的具體做法是觀察源模型微調前後的激活差異,先對齊源、目標模型的表示,再用嶺迴歸求出目標模型自身的參數更新。激活是模型處理輸入時的內部數值;嶺迴歸則是在擬合變化時加入約束,避免解過度放大。方法部分

“免訓練”,仍然需要付出什麼?

作者稱它為免訓練方法,但流程仍需校準輸入、提取內部表示並求解更新。其意義應理解為繞開重複的迭代微調,而不是不需要數據或計算。方法與限制

這也讓它與知識蒸餾形成一個有趣的比較。Hinton 等人的經典工作研究怎樣把模型集成的知識壓縮進單個模型;兩條路線都關心已學成果的複用,但獲得監督信號和構造目標模型的方式不同。蒸餾原始論文摘要

本文認為,後續比較應該先列清楚可用資源:能否訪問源模型權重,能否讀取內部狀態,有沒有原任務樣本,以及允許多少目標端計算。如果一種方法擁有額外的內部訪問權限,另一種只能看到輸出,單看最終分數就難以解釋差異。研究者需要比較同等條件下的選擇,也需要承認某些方法適用於不同條件。

成本還應區分一次性構造開銷和長期使用開銷。一次遷移較慢但能重複使用,與每次回答都要附加計算,是不同的取捨。把校準和擬合排除在計時之外,會讓“節省了多少”失去完整含義。本文沒有實測這些成本,也不引用一個脫離實驗口徑的加速倍數。

數學遷移的一行結果,提醒了什麼?

作者表 3 報告,將 Qwen2.5-Math 1.5B 的更新遷往 0.5B 目標時,GSM8K 的 Strict 與 Flex 兩種評分均值由 33.22 升至 34.15;同表 Theseus 為 32.20,BiCo 為 34.01。這是特定設置下的作者結果,不能泛稱小模型已經獲得大模型的數學能力。實驗表 3

這行數字最值得保留的是尺度感。平均分有所增加,與完整繼承源模型能力之間,仍有很大距離。科研讀者可以繼續追問:增加的是哪些題,原本答對的題是否有退步,不同抽樣和校準集合下差異是否穩定?這些是本文提出的核驗問題,不是聲稱論文已經完成了相應檢驗。

還要避免把評分均值誤讀成新增答對題目的比例。兩種答案抽取規則可能對同一輸出作出不同判斷;若要討論具體錯誤類型,就需要逐題預測及評分記錄。一個平均數適合概括趨勢,卻不能替代對變化來源的解釋。

局部對應,不等於通用能力接口

論文明確將實驗範圍限定在相關視覺與語言骨幹,要求有代表性的成對校準輸入和模型塊對應關係,沒有證明任意架構或模態之間都能遷移。結論與限制

從研究設計看,校準集尤其值得單獨檢查。假設兩個模型在常見短句上的內部變化可以對齊,仍需驗證這種對應在長文本、罕見表達或另一種語言上是否保持。這個假設例子說明,校準時擬合得好與新輸入上表現可靠,是兩項需要分別測量的性質。

我也更希望看到“遷移了什麼”的證據。只觀察目標任務上升,可能漏掉其他能力下降;只觀察內部表示更相似,又不足以說明輸出行為改善。行為測試、逐題差異和保留能力檢查應當相互補充。這樣才能判斷得到的是可複用的任務更新,還是恰好適合某組樣本的調整。

下一步,看可遷移性的邊界能否被畫清

本次檢索未找到 Ariadne 的明確作者代碼入口或獨立復現,本文也沒有運行實驗。當前材料按預印本介紹;Theseus 的會議接收狀態不能轉移到這篇新工作上。多個論文入口更不能算多次獨立驗證。

值得等待的,是公開實現、固定版本與校準數據說明,以及跨模型家族、跨任務的重複檢查。若優勢在這些條件下仍然保持,微調成果就可能成為更容易複用的研究資產。若收益只出現在親緣很近的模型之間,清楚測出這條邊界也有價值:它能幫助研究者決定什麼時候值得遷移,什麼時候仍應重新學習。

參考資料與閱讀範圍

  1. Rinaldi 等:From Parameter Rebasin to Functional Transfer Across Heterogeneous Transformers。v1 提交於 2026-10-23 13:08:33 UTC,即北京時間 21:08:33;已讀摘要與版本記錄。實驗發生日期未知,未核實同行評審接收。
  2. Ariadne v1 HTML 正文。已讀引言、方法關鍵段落、表 2—4 和結論限制;核對表 3 數字,未逐項審閱附錄或複核推導。與上一入口屬於同一研究。
  3. Ilharco 等:Editing Models with Task Arithmetic。2022-12-08 首發,所讀 v3 修訂於 2023-03-31,頁面標註 ICLR 2023;已讀摘要與版本信息,用於概念背景。
  4. Rinaldi 等:Transporting Task Vectors across Different Architectures without Training。2026-02-13 首發,所讀 v3 修訂於 07-30,頁面標註 ICML 2026 接收;已讀摘要與版本信息,不作 Ariadne 的獨立驗證。
  5. Hinton、Vinyals、Dean:Distilling the Knowledge in a Neural Network。2015-03-09 提交,頁面標註 NIPS 2014 Deep Learning Workshop;已讀摘要與版本信息,僅用於知識複用路線背景。

作者作品推廣

以下是作者自有產品推廣。除了寫技術博客,我也獨立開發了兩款幫助整理日常生活的 App,歡迎瞭解:

  • 日常收支小記:記錄日常收支,安排預算與儲蓄目標,讓每筆賬目和計劃更清楚。在 App Store 瞭解。
  • 一事微光:根據當下的時間、精力選擇小行動,記錄完成後的感受,給日常復盤留下一點線索。在 App Store 瞭解。

更多技術文章與個人作品,歡迎訪問我的網站:zffjzz.top。也歡迎分享使用感受,幫助這些小工具逐步改進。