
- 日期:2026-10-23
- 讀者:研究生、科研新人和工程型研究者
- 資料截止:2026-10-23。檢索近十二個月相關工作,並保留必要的經典研究。本文為論文深讀,未執行模型實驗,不聲稱全面覆蓋。
摘要:先問保住了什麼
模型學習新任務以後,舊題仍然答得對,是不是就完成了持續學習?如果答案來自隨時可查的筆記,我們該如何描述進步?反過來,舊題突然答錯,是否一定意味著原有知識已經被抹掉?
本文的判斷是:**減少遺忘是重要結果,但要和新任務學習、跨任務遷移、記憶訪問條件一起報告,才能判斷系統究竟學會了什麼。**參數中的可調用能力與整個系統的有效能力都值得研究,只是兩者不能互相代替。以下五項研究分別提供回放、行為恢復、隱狀態記憶、充足樣本存儲和外部經驗複用的證據。
上一篇關注知識存在哪裡更容易糾錯,本篇轉向連續任務之後的能力變化:舊分數保住時,新規則是否也學會了,撤去特定歷史支持後又會怎樣?
“不忘”與“會學”是兩個問題
持續學習指系統依次接收數據或任務,並利用過去經驗適應後續任務。這裡需要區分穩定性與可塑性:前者是舊任務表現能否保持,後者是新任務能否繼續學好。把參數全部凍結,確實能阻止參數被新梯度改寫,卻不能單靠這一點證明系統會吸收新經驗。
“記憶”也有不同位置。回放是在訓練時重新使用舊樣本,或使用模型生成的舊任務偽樣本;檢索是在回答時把存儲內容送回模型;隱狀態記憶則把歷史壓縮成向量,而非原樣保存文字。它們可以組合,不能僅憑方法名稱判斷學習發生在何處。LAMOL與M+分別展示了前兩種訓練、存儲關係。
一個假設例子可以說明問題:系統先學一種分類規則,再學另一種規則。舊題分數不變,可能因為舊規則被保留,也可能因為系統一直沒學好舊規則,或者檢索器逐題找到了現成示例。只有第一種解釋接近我們想證明的保持;後兩種仍需單獨檢查。這個例子不是論文測量結果。
因此,本文不把“真正學會”當成不可觀察的心理狀態,而把它拆成可檢驗要求:相同支持條件下能保持舊能力,能利用新增經驗改善新任務,還能在預先規定的變化下遷移。允許查記憶時,要明確結論屬於帶記憶的系統。
回放能保住表現,但舊經驗並非沒有代價
LAMOL讓同一個語言模型兼任解題者和樣本生成器:進入新任務前生成舊任務偽樣本,再與新數據混合訓練。其GPT-2實驗在多種語言任務及任務順序上顯示,生成回放優於直接順序微調;任務專屬生成標記用於緩解早期任務樣本逐漸稀少的問題。原文§3、§4.2、表3
這裡的“無需額外記憶”不應理解成“不再支付舊經驗的成本”:生成和重訓都需要計算,回放質量還依賴模型能否產生有用樣本。它證明的是特定任務協議下的保持改善,不能據此保證無限長任務流。舊題表現穩定,也不能自動推出新組合能力出現。
ICLR 2026的《Forget Forgetting》把假設換成能保存較多舊樣本、卻無力反覆全量重訓。作者提出結合參數重置與權重平均的方法,並在TRACE連續指令任務等設置中評估;論文強調,舊數據充足後,新任務適應仍是問題。正式論文§4–5
這項工作裡的記憶主要是供訓練回放的樣本庫,不是作答時的檢索工具。語言實驗使用Llama-3.2-1B,成本指標包含按顯存使用縮放的訓練時間;它不能直接代表大型模型的牆鍾時間或完整服務成本。作者也把可訪問代表性舊數據、較清楚的任務邊界列為適用前提。附錄A.4、A.5、A.7
兩篇並不互相否定:舊樣本難保存時,生成回放有意義;舊樣本可以保存時,就應把更強的真實回放納入基線。資源前提變化,本來就會改變值得比較的方法。
答錯了,也未必是知識完全消失
《Spurious Forgetting》研究“表面遺忘”:性能下降可能涉及任務對齊受損,即模型不再順利調用已有知識。作者構造人物屬性數據,在預訓練知識與後續問答任務之間建立可控關係;模型學習新人物後,舊任務表現下降,但額外恢復訓練可重新喚起相當多舊知識。正式論文§3.1–3.2
關鍵邊界是:恢復並非無條件發生。該實驗用一半舊任務問答數據訓練,在另一半評測;圖2還區分普通任務曲線的首詞準確率與恢復曲線的完整答案匹配率。因此,不宜直接把兩條曲線的差當作“隱藏知識百分比”,也不能寫成“原封不動的模型其實一直會答”。
本篇據此推斷,觀察到失敗後,應該區分當前可調用性與經干預後的可恢復性。恢復證據削弱“知識徹底消失”的解釋,卻不是對所有遺忘的一次性證明。論文也承認凍結底層的策略仍有侷限,凍結過多可能妨礙新任務適應。原文圖2、附錄J.1
記憶留在外面,干擾還會發生嗎?
M+把從短期池移出的隱狀態放入長期存儲,在生成時檢索回來。其知識保持實驗先寫入含答案的材料,再插入干擾文本,最後問答;數據經過短答案和可回答性篩選。這是對歷史信息訪問的檢驗,不是學習一串新技能後再測試舊技能。原文§3.2、§4.3
作者報告保持能力改善,但跨代MemoryLLM比較還改變了模型起點和訓練數據;階段消融也包含追加訓練。因此,相近GPU顯存並不等於相同總存儲、訓練預算或訪問代價,更不能把全部收益都歸因於“加了一個記憶庫”。原文§4.2、§4.5
更直接的反例來自2026年預印本《When Continual Learning Moves to Memory》。作者固定Qwen-Plus骨幹,用BM25檢索經歷,在ALFWorld和BabyAI各研究一對順序任務。即使權重不變,加入後續經驗後,部分舊任務表現仍會下降;抽象經驗與完整軌跡的效果也隨任務方向變化。原文§2–4、附錄A
作者把這種現象解釋為檢索與上下文中的干擾。證據支持“外部存儲不保證行為永不退化”,但其範圍只有兩類環境、每類一對任務和每條件兩次運行。每次取回約相同數量的經驗,也不等於整回合等token或等調用預算;頻繁檢索尤其需要另算成本。這篇仍是預印本,不能把局部現象推廣成所有記憶系統的必然規律。
五組證據不能排成一張總榜
| 證據 | 關鍵觀察條件 | 可以支持 | 尚不能證明 |
|---|---|---|---|
| LAMOL | 偽樣本參與後續訓練 | 回放改善任務保持 | 無成本、無限期學習 |
| 表面遺忘研究 | 額外恢復訓練後再測 | 部分知識可重新調用 | 未乾預時能力完整可用 |
| M+ | 干擾文本後的材料問答 | 歷史信息訪問改善 | 新技能持續獲得 |
| 充足記憶研究 | 舊樣本保留並用於回放 | 存儲假設改變方法比較 | 無舊數據時同樣有效 |
| 外部經驗研究 | 凍結骨幹、順序更新記憶 | 系統也會出現行為干擾 | 所有檢索器都如此 |
表中概括的是上述各篇已核驗設置。它們的起點、信息來源、任務長度和計分方式不同,保持率也不指向同一個對象。目前沒有理由依據這五篇給出“參數更新或外部記憶誰全面更好”的排名。
尤其要警惕最終平均分:某項舊能力下降,可能被另一項新能力上升抵消;起點很低的任務幾乎不下降,也可能只是缺少可丟失的能力。閱讀論文時,最好同時看每個階段、每個任務的結果,以及對應的單任務參考,而不是把“不下降”直接當作學得好。
怎樣做一個能區分解釋的後續實驗

圖中實線表示向不同實驗分支提供相同歷史,括號表示分別進入評測;點線只連接待比較的條件與測試項目,不表示因果提升。右側應對每個分支分別測試。圖不是論文數據,下面的方案也尚未執行。
可從相同檢查點和一段固定經驗流開始,設置純順序更新、帶回放更新、凍結模型加外部記憶,以及更新與記憶並用的條件。新舊任務應包含需要規則應用的題,避免只要求找回原句。把近似重複與測試答案從經驗庫排除,並在開發階段確定截斷、檢索和計分規則。
**第一步,拆開保持與新增收益。**每完成一個階段,都評估舊任務、新任務和未訓練的新組合。保存逐題結果,以初始模型、僅學當前任務的模型作為參考。若一個方案保留舊分數卻沒有新任務收益,它解決的是保持問題,不能被描述成完整的持續適應。
**第二步,干預支持來源。**對同一個訓練後狀態,分別開放記憶、屏蔽記憶、提供等長無關記憶;若結構允許,再只移除與當前題相關的記錄。開放時改善、屏蔽後消失,說明收益依賴訪問條件。可是關閉記憶可能本身就是分佈變化,所以這種差異不能單獨證明“沒有學到任何東西”。
**第三步,檢查遷移與恢復。**替換題目實體、表達和規則組合,並保持答案不可直接檢索。如果規則遷移仍改善,證據比原題復答更強。若做短程恢復訓練,要給所有對照同樣的數據和預算,並確保恢復集與評測集隔離,防止把重新教答案誤稱為舊知識恢復。
最後把訓練token、回放生成量、記憶字節數、檢索次數和回答預算分別記賬。無法全部匹配時,報告各自的成本與收益,避免用“同模型”掩蓋資源差異。這些對照的目的,是讓競爭解釋給出不同預測,而不是預先選定某個機制獲勝。
總結:讓學習結論帶上條件
少忘一點,可能來自參數保持、重新對齊、回放練習或檢索補償;這些進步都可能有用。研究結論應說明:什麼狀態改變了,在什麼訪問條件下,哪些舊任務保持了、哪些新任務改善了。
真正值得追問的不是記憶放在模型裡面還是外面才算學習,而是經驗是否帶來可重複、可遷移、成本可說明的行為改善,以及改善在哪些條件下失效。把這個問題寫清楚,才能從一個漂亮的保持分數走向可檢驗的持續學習主張。
參考資料
- Fan-Keng Sun、Cheng-Hao Ho、Hung-Yi Lee. LAMOL: LAnguage MOdeling for Lifelong Language Learning. ICLR 2020;本文核驗arXiv v2(2019-12-23)全文,PDF標註ICLR 2020發表。全文
- Junhao Zheng、Xidi Cai、Shengjie Qiu、Qianli Ma. Spurious Forgetting in Continual Learning of Language Models. ICLR 2025,正式會議版。論文
- Yu Wang等. M+: Extending MemoryLLM with Scalable Long-Term Memory. ICML 2025;發表信息由PMLR核驗,方法與實驗依據arXiv v2(2025-05-30)。正式頁面|已讀全文
- Dongkyu Cho、Taesup Moon、Rumi Chunara、Kyunghyun Cho、Sungmin Cha. Forget Forgetting: Continual Learning in a World of Abundant Memory. ICLR 2026,正式會議版。論文
- Qisheng Hu、Quanyu Long、Wenya Wang. When Continual Learning Moves to Memory: A Study of Experience Reuse in LLM Agents. 2026,arXiv v1(2026-04-29)預印本;未確認正式錄用。全文
作者作品推廣
以下是作者自有產品推廣。除了寫技術博客,我也獨立開發了一些讓日常更有條理的小工具,歡迎瞭解:
- 日常收支小記:記錄日常收支,安排預算與儲蓄目標,讓每一筆錢的去向更清楚。在 App Store 瞭解。
- 一事微光:按當下的時間和精力選擇小行動,記錄完成後的感受與發現,給日常行動和復盤留一個位置。在 App Store 瞭解。
更多技術文章與個人作品,歡迎訪問我的網站:zffjzz.top。也歡迎分享使用感受,幫助我繼續改進這些工具。