封面

  • 日期:2026-10-21
  • 讀者:研究生、科研新人和工程型研究者
  • 資料截止:2026-10-21。檢索近12個月工作,並保留必要經典研究;本文為論文深讀,未運行模型實驗,不聲稱全面覆蓋。

摘要:裝得下歷史,為什麼還會“記錯”?

假設你在聊天中說,論文組會改到週四;幾次會話後,又明確改回週二。助手回答“週四或週二都可以”,看起來記住了兩條信息,卻沒有弄清哪條仍然有效。若你把全部記錄重新貼給它,它終於答對,也不能據此判斷此前是否保存過這些信息。這是一個說明性例子,不是論文數據。

**長上下文擴大一次作答時可訪問的信息範圍;長期記憶還要求信息跨會話可用,並能按時間和條件維護有效狀態。**三者可以相互支持,卻不能用一個輸入長度或總準確率相互代替。本文對照四項研究,討論證據分別測到了哪一步,而不預設“擴大窗口無用”或“外部記憶必勝”。

先把“記得”拆開

上下文窗口是一次模型調用允許處理的輸入與相關序列範圍,通常以token計量;token是模型切分文本的單位,不等於漢字數。讀取問的是:證據已經進入當前輸入,模型能否找到並正確使用?資料在窗口內,屬於可訪問條件,不是成功保證。

保持問的是:前一會話結束後,哪些信息仍被系統保存,並能在後來重新訪問?保存位置可以是原始歷史、摘要、外部數據庫或其他持久狀態。若系統每次都從保存的日誌重新拼接全文,它也能提供跨會話記憶服務;因此,長上下文與外部保存並非互斥路線。問題是必須說明是誰保存、保存了什麼,以及新會話究竟重新獲得了哪些輸入。

更新問的是:新信息到來後,系統是否區分當前狀態、過去狀態和被否定的說法?“以前在甲校,現在在乙校”不要求刪除歷史;回答現任單位應選乙校,回答過去經歷仍可能需要甲校。本文所說的更新不等於改寫模型權重,也不把“答案不再提舊信息”當作底層數據已被徹底刪除。

讀取、保持與更新的診斷框架

圖:本文提出的三組診斷任務。箭頭表示待測試的信息流,虛線表示會話邊界;綠色卡片表示當前有效狀態,舊卡片可保留為歷史。圖中沒有測量結果,也不宣稱某一種內部機制已獲證明。論文的已觀察結果見下文。

這一區分帶來三種可競爭的解釋:答錯可能因為關鍵句根本沒進入輸入;也可能輸入齊全,但檢索或閱讀沒有選中;還可能新舊句子都找到了,卻採用了錯誤的有效性規則。僅看最終答案,三種情況都像“忘了”。修復方案卻可能分別是增加可訪問容量、改善選擇、維護狀態版本。

信息就在眼前,也可能沒有用上

Liu等的《Lost in the Middle》控制多文檔問答中答案文檔的位置,並改變干擾文檔數量;另一項任務測試鍵值檢索。論文在所測模型中觀察到明顯位置效應,多文檔問答常出現兩端優於中間的表現。部分模型能做好簡單鍵值檢索,不能據此推出複雜問答同樣穩健。正式全文,§2–3

這項設計的價值,在於把“證據沒給到”與“給到了卻沒用好”部分分開。固定問題和文檔集合,只移動答案文檔,就能檢查位置敏感性;增加干擾文檔,則同時改變長度與篩選壓力。兩種干預不能混稱為同一個長度效應。

但它沒有測試關閉會話後保留什麼,也沒有要求撤銷過時偏好。論文使用的是當時的模型、提示與貪心解碼。**本篇推斷是:窗口規格不能替代任務評測;不是所有後續模型都必然呈現相同曲線。**把歷史結果寫成今日模型不可突破的規律,超出了證據。

把整段歷史交給模型,與逐次記住它,是不同協議

LongMemEval覆蓋跨會話問答、時間推理、知識更新等任務。其正式版圖3b中,不使用先記筆記再回答策略時,GPT-4o只讀取相關證據會話的準確率為0.870,讀取約115k token完整歷史時為0.606;圖中報告相對下降30.3%。這裡的Oracle是由評測提供相關會話,不是可部署檢索器。§3.3–3.4、圖3b

這個對照首先測閱讀與干擾壓力,不能把差距全算成“寫入失敗”。同一論文的商業系統實驗則讓人逐會話交互,在新會話提問;它使用97題和更短歷史,並非上述完整基準。兩組數字對應不同輸入與流程,不能拼成統一排行榜。商業系統測試發生於2024年8月,也不能當成今天的產品評測。§3.4及腳註2

對研究設計而言,Oracle的作用是診斷:如果給對證據仍答錯,單獨改善檢索不夠;如果只給相關會話能答對,也僅說明縮小了問題範圍。它同時減少干擾、輸入成本與選擇難度,不能直接證明某種記憶架構會獲得同樣收益。

版本也屬於實驗條件。官方倉庫記錄了2025年9月的歷史會話清理;今天運行清理版,不能默認復現論文原表。本文引用的是正式論文結果,沒有下載數據或重跑模型。作者倉庫

更新任務的關鍵:什麼才算答對?

LongMemEval附錄A.4的知識更新評分提示允許回答包含先前信息,只要所需的新答案正確。這適合檢查能否提供更新答案,卻不是嚴格的“舊信息誤用率”。附錄A.4

Memora把有效信息是否出現、失效信息是否被排除分開評分,再用遺忘感知記憶準確率FAMA合併;它以模擬狀態軌跡生成問題,並在更頻繁的更新條件下發現舊信息複用等問題。正文模型組直接讀取歷史,記憶系統組逐次攝取歷史,後者統一使用GPT-4o-mini生成答案。§3–5

這裡並不存在必須選邊的論文衝突。一個回答可能滿足“給出新答案”,卻不滿足“沒有把失效事實當作當前依據”。同樣,提到舊單位作為履歷,和把舊單位作為現任單位,是不同語義行為。評測若只檢測舊字符串出現,會把合理的歷史解釋也誤判;逐項語義準則因此比簡單關鍵詞禁用更貼近問題。

Memora的限制同樣關鍵:對話是模擬生成的,周、月、季度設置同時改變歷史規模和更新壓力;兩類系統還採用不同生成模型與流程。**本篇不把組間分數解釋成外部存儲的純因果效應,也不把更長時間條件下的下降歸因於日曆時間本身。**其LLM裁判有人工一致性驗證,但仍是有誤差的測量工具。§4.1–4.2、Limitations

讀別人的聊天,與經歷自己的聊天,也可能不同

AMemGym讓模擬用戶與被測助手實際互動,並用預先生成的狀態變化約束對話。它比較這種on-policy評測與off-policy評測:後者重放GPT-4.1生成的既有交互。表2中,同一生成後端的記憶配置排序會變化。§3.1–3.3、§4.1–4.2

作者解釋,記憶操作與助手自己的交互行為相聯繫。本篇認可這是一種合理解釋,但排序變化本身不能唯一確定機制:提問方式、重複信息、生成長度和實際費用都可能隨交互改變。在線協議更接近“這個系統如何經歷對話”,卻失去了所有系統逐字讀取同一歷史的條件。

論文的歸一化記憶分數,以隨機基線和直接提供真實用戶狀態時的得分作參照。這個“上界”是特定模型在理想信息輸入下的經驗參照,不是數學上界,也不是已隔離所有推理差異的內部記憶量。模擬用戶的狀態可控,使錯誤更容易定位;真實用戶的含糊、更正和沉默仍需另外驗證。§3.2–3.4

四項證據應該怎樣放在一起?

研究與待檢驗主張 關鍵條件與觀察 不能單獨證明
Lost in the Middle:窗口內能否穩定讀取 調整位置與干擾,表現受影響 跨會話保持失敗
LongMemEval:歷史訪問與問答 相關會話與完整歷史有差距 真實檢索能達到Oracle
Memora:更新後能否正確用信息 有效與失效信息分開評分 外部記憶必然優於長上下文
AMemGym:交互協議是否影響判斷 實際互動與重放的排序不同 靜態評測沒有價值

這些論文沒有共享全部任務、模型起點、數據劃分與預算。它們主要評測既有模型和系統,不能按同起點訓練實驗解讀;輸入、記憶寫入、檢索、推理與裁判調用也不是統一費用口徑。它們支持的是診斷維度的擴展,而不是一條跨論文性能曲線。尤其要分清:召回了相關材料、答對問題、正確排除失效依據,是不同指標。

一個能區分解釋的小研究

下面是尚未執行的研究方案。先固定同一生成模型、提示與一批新構造的人物狀態軌跡,把調參人物與最終測試人物隔離。狀態由確定規則生成,分別包含不變事實、明確更新、撤銷和歷史追問;不調用本工作區其他系列的數據。語義含糊的樣本必須預先說明裁決規則,不能把模型自評偽裝成人類金標。

第一步,在證據完整可見時,只改變它的位置和無關文本長度。第二步,重置會話,僅允許系統訪問自己事先寫入的狀態,同時保留“重新提供全部日誌”的對照。第三步,在總長度近似固定時改變更新次數,並分別問當前狀態與歷史狀態。這樣才有機會把干擾、持久化和有效性判斷拆開。

每條軌跡保留寫入結果、檢索結果和最終實際輸入。針對失敗樣本,再分別補入正確證據、提供當前狀態,觀察哪種干預能修復。補入證據要有同長度替換對照,防止改善僅來自縮短輸入;這些是診斷性干預,不能冒充正常運行分數。若正確狀態已明示仍失敗,問題就不只在記憶保存。

同時報告事實覆蓋、當前狀態正確率、失效依據使用率與歷史追問準確率;對於“總選最新一句”的捷徑,加入晚出現但描述舊事件的句子。延遲和總token費用應包含寫入、摘要、檢索及回答,分別比較固定預算與允許額外預算的表現。預先規定採樣數、停止規則和統計不確定性報告方式,避免挑幾個成功案例宣佈“學會長期記憶”。

如果擴大窗口只改善第一步,結論應停在讀取條件;如果跨會話收益依賴保存與檢索,就報告系統級能力;如果當前狀態改善而歷史追問退化,則要檢查是否只是覆蓋了舊值。這些判據讓負結果同樣具有研究價值。

總結

長上下文為記憶提供更大的工作空間,但“可訪問”不是“已正確使用”,“保存過”不是“更新對了”。現有證據足以要求研究者分開測量讀取、保持與更新,卻不足以宣佈某一種架構永遠勝出。

下一次看到“長期記憶準確率提升”,先追問:證據何時進入系統,測試時實際給了什麼,答案是否允許混入失效信息?把這三個條件說清,才知道提升發生在哪一層,也才知道下一項實驗應該改變什麼。

參考資料

  1. Nelson F. Liu、Kevin Lin、John Hewitt、Ashwin Paranjape、Michele Bevilacqua、Fabio Petroni、Percy Liang. Lost in the Middle: How Language Models Use Long Contexts. TACL,2024,12:157–173。正式頁面與全文
  2. Di Wu、Hongwei Wang、Wenhao Yu、Yuwei Zhang、Kai-Wei Chang、Dong Yu. LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory. ICLR,2025;預印本初版2024。正式頁面;代碼與數據版本說明。
  3. Md Nayem Uddin、Kumar Shubham、Eduardo Blanco、Chitta Baral、Gengyu Wang. From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents. Findings of ACL,2026,26814–26841。正式頁面與全文
  4. Cheng Jiayang、Dongyu Ru、Lin Qiu、Yiyang Li、Xuezhi Cao、Yangqiu Song、Xunliang Cai. AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations. ICLR,2026。正式頁面與全文

本文方法與結果均以已打開的正式全文為準;2026年兩篇論文補充了最近12個月的證據。逐條主張、核驗定位和檢索取捨保存在配套evidence.json、sources.json與research_log.json中。