長上下文位置敏感性實驗封面

摘要

“支持 128K 上下文”只說明模型能夠接收這麼長的輸入,不說明它會同等利用每個位置。Liu 等人的 Lost in the Middle 把同一條答案證據依次放到長上下文的開頭、中間和末尾,發現多類模型的表現常呈 U 形:首尾較好,中部較差。本文沿 TACL 論文與官方倉庫,復現的不是某個動態模型分數,而是一套可審計協議:保持問題、答案證據、干擾文檔集合與解碼參數不變,只移動證據位置;同時掃描上下文長度,報告位置曲線、首尾—中部差值和最差位置。附帶的標準庫腳本驗證數據構造與統計代碼。它使用人為設定的命中概率,不是語言模型實驗,不能外推為論文結果。

復現價值與目標:窗口長度不等於有效長度

長上下文評測最容易犯兩個錯誤。第一,只把證據放在最後做一次 needle-in-a-haystack(大海撈針)測試,成功後便宣稱“模型掌握全窗口”;第二,只報告所有樣本的平均分,讓首尾優勢抵消中部失敗。對於論文閱讀、RAG 和代碼倉庫問答,關鍵證據的位置通常由檢索排序、文檔拼接和模板決定。如果移動同一證據就改變答案,系統測到的不只是知識或推理能力,還混入了位置敏感性。

本次目標有四個:讀懂官方數據怎樣保證恰有一個答案文檔;建立長度與相對位置的二維掃描;把平均準確率和最差位置、位置差值一起報告;用平坦對照證明統計程序本身不會憑空畫出 U 形。真正接入模型時,只替換 predict(),其餘樣本身份、排列、解析和聚合應保持凍結。

核心思想:把位置變成受控變量

設每個樣本有問題 (q_i)、一個答案文檔 (d_i^+) 和 (L-1) 個不含答案的干擾文檔 (D_i^-)。在相對位置 (p\in[0,1]) 上,把答案文檔放入索引

j=round⁡(p(L−1)),Ci,L,p=[d1−,…,di+,…,dL−1−].j=\operatorname{round}\bigl(p(L-1)\bigr),\qquad C_{i,L,p}=[d^-_1,\ldots,d_i^+,\ldots,d^-_{L-1}].

(L) 是文檔數,(j) 是從 0 開始的 gold index,(C_{i,L,p}) 是長度為 (L) 的文檔序列。若 token 長度才是主變量,應先把每個文檔裁到固定 token 預算,再記錄 tokenizer、模板和實際輸入長度;“20 篇文檔”並不天然等於相同 token 數。

模型 (M_ heta) 在凍結提示與解碼設置下輸出 (hat y_{i,L,p})。對 (N) 個固定樣本,位置準確率為

A(L,p)=1N∑i=1N1[norm⁡(y^i,L,p)∈Yi],A(L,p)=\frac{1}{N}\sum_{i=1}^{N}\mathbf 1[\operatorname{norm}(\hat y_{i,L,p})\in Y_i],

其中 (Y_i) 是可接受答案集合,norm 是預註冊的答案歸一化。若一個 batch 同時包含 (B) 個樣本、每個上下文有 (L) 篇文檔,可把輸入理解成文檔張量 (X\in\mathbb{N}^{B\times L\times T}),(T) 是每篇裁剪後的 token 數;位置實驗只改變 (L) 軸上的排列,不改變答案內容。

不要只給宏平均 (ar A_L=|P|^{-1}\sum_{p\in P}A(L,p))。還應報告

GL=A(L,0)+A(L,1)2−A(L,0.5),WL=min⁡pA(L,p),G_L=\frac{A(L,0)+A(L,1)}{2}-A(L,0.5),\qquad W_L=\min_p A(L,p),

(G_L) 是首尾均值相對中點的差,(W_L) 是最差位置。位置穩健模型應有較小 (G_L),而且隨著 (L) 增大,(W_L) 不應突然坍塌。

長上下文位置掃描與分層報告流程

論文與官方代碼閱讀路線

先讀 TACL 2024 論文的任務設計,而不是先看模型排名。作者在多文檔問答和鍵值檢索兩類任務中移動相關信息,觀察開頭、末尾與中間位置的差異。論文結論是其受測模型在位置改變時可能顯著退化,常見模式為首尾高、中間低;這是特定模型、提示和 2023 年實驗設置下的報告,不是所有新模型都必然如此。

再看官方倉庫 README.md。qa_data/ 同時提供 oracle、10/20/30 文檔設置;每條 ctxs 記錄含 hasanswer、original_retrieval_index 和 isgold。生成腳本 make_qa_data_from_retrieval_results.py 先篩選不含標註答案的 distractor,再用 --gold-index 指定答案文檔位置;README 給出的 20 文檔示例掃描 0、4、9、14、19。這裡最值得複用的不是某條命令,而是“同一檢索候選集合只改變 gold index”的控制變量原則。

隨後讀預測與評分路徑。EXPERIMENTS.md 把生成預測和 evaluate_qa_responses.py 分開;後者只取模型回答的第一行,調用 best_subspan_em,避免模型複製整段上下文投機命中。復現時應保存原始輸出、解析後答案和逐樣本分數;若只留下均值,無法區分模型沒找到證據、生成了別名、還是解析器誤判。

最後用 LongBench 和 RULER 擴展邊界。LongBench覆蓋問答、摘要、few-shot、代碼等真實任務;RULER 在單針之外增加多針、變量追蹤與聚合,並讓長度和複雜度可配置。因此 Lost-in-the-Middle 是診斷切片,不是完整的長上下文能力定義:檢索成功不等於跨證據推理成功,位置穩健也不等於事實忠實。

最小實驗:先驗證協議,不假裝復現模型

運行:

python3 code/minimal_position_sweep.py
python3 code/minimal_position_sweep.py --check-only

腳本只用 Python 標準庫,固定種子 62。對 20、40、80 篇文檔和相對位置 0、0.25、0.5、0.75、1.0,各生成 800 個受控樣本;每個上下文恰有一個 TARGET= 文檔。u-shaped 模擬器以 SHA-256 派生確定性隨機數,並人為令首尾命中率高、中間低、長度越長略降;flat-control 則令各位置概率近似相同。

本次 CPU smoke test 中,U 形模擬器在 20 文檔的五個位置準確率為 0.955、0.675、0.574、0.680、0.931,宏平均 0.763,位置差 0.369;到 80 文檔時分別為 0.887、0.630、0.465、0.630、0.856,宏平均 0.694,位置差 0.407。平坦對照在三種長度上的位置差絕對值均小於 0.02。斷言同時檢查唯一答案文檔、索引映射、數值範圍、U 形差值和長度退化。

這些結果只說明構造和聚合能檢出“被寫進模擬器”的位置效應。它們不是某個 LLM、NaturalQuestions、LongBench 或 RULER 的成績。真正復現需鎖定模型權重或 API 快照、tokenizer、chat template、精度、推理引擎、解碼參數與樣本文件哈希,並將真實輸出接入同一評測表。

評測協議:二維掃描、配對比較、分層報告

第一步凍結樣本。每個問題固定一組干擾文檔,所有位置條件共享同一 example_id,這樣可以做配對比較;不要為中間位置另抽一批更難的文檔。答案字符串可能意外出現在干擾文檔中,必須做規範化後的洩漏掃描。若真實檢索結果本身含多個合理答案,應單列 ambiguous 子集,而不是把它偽裝成單 gold。

第二步同時掃描位置與長度。位置至少覆蓋首、四分之一、中點、四分之三、尾;長度應按實際 token 數分桶。每個單元格報告樣本數、準確率或任務指標及置信區間,並給出配對 bootstrap 的 (G_L) 區間。若不同長度因截斷丟失問題、指令或答案,這屬於模板失敗,不是位置效應。

第三步加入對照。oracle 僅給答案文檔,closed-book 不給上下文,用來區分知識與檢索;隨機打亂干擾文檔但保持 gold 相對位置,檢查檢索排序語義;把問題放在上下文前後各跑一次,測 instruction recency;保留答案內容不變但改寫文檔標題,測格式線索。所有對照必須在看結果前確定。

第四步分任務報告。精確鍵值檢索適合 exact match,多文檔問答需別名集合或 subspan 指標,摘要和跨文檔推理應採用不同 rubric。總體均分不能證明每類任務穩健。成本也要記錄:實際輸入 token、輸出 token、峰值顯存、吞吐和失敗重試次數;聲明窗口長度時同時給出達到預設質量閾值的“有效長度”。

從協議模擬到真實模型:最小替換清單

接入開源模型時,先為每個條件導出 JSONL,而不是在推理循環裡臨時重排。每行至少保存 example_id、問題、答案集合、文檔 ID 順序、gold 文檔 ID、gold 的文檔索引、gold 的起止 token、總 token、模板版本和樣本哈希。推理輸出另存 raw_response、解析答案、終止原因、延遲與隨機種子。這樣同一個樣本在五個位置的輸出能一一配對,數據層、模型層和評分層也能獨立重跑。

若使用 Hugging Face 模型,先打印 tokenizer 產生的最終張量形狀,例如 input_ids.shape=[B,S];這裡 (B) 是 batch 大小,(S) 是包含系統指令、文檔和問題後的真實序列長度。檢查 S 是否超過模型配置或推理引擎上限,並明確截斷方向。對量化模型還要固定量化配置,因為精度變化可能與長度或位置交互。若使用 API,應記錄可見模型快照、請求參數和響應元數據;無法凍結的服務只能標為“該日期的觀測”。

最小真實實驗不必一開始就追求 128K。可以先選一個本地可運行模型,在 4K、8K、16K 三檔各取 100 個樣本,五個位置一次性配對跑完;先人工審查每檔十條,再擴大規模。預註冊主要指標為 (G_L) 與 (W_L),宏平均作為輔助;若中點失敗,抽取同一 example_id 的首、中、尾三份完整輸入與輸出做案例分析。只有重跑一致、解析無誤且置信區間穩定後,才討論模型機制或緩解方法。

結果目錄也應可回放:保存配置文件、代碼 commit、環境版本、輸入哈希、逐樣本預測和聚合腳本。不要只截圖一條 U 形曲線。曲線必須能追溯到每個樣本,失敗案例必須能還原當時的完整 prompt;涉及私有文檔時則保存脫敏後的結構等價樣本和哈希,而不是洩露原文。

失敗分析:先排協議錯誤,再談注意力機制

若曲線異常鋸齒,先查索引:相對位置映射是否取整一致,chat template 是否在某些長度觸發截斷,答案文檔是否真的位於記錄的 token 區間。文檔序號不是 token 位置;前幾篇更長時,“第 10 篇”可能並不在中點。應記錄 gold 起止 token 和總 token,按相對 token 深度復畫曲線。

若末尾特別強,可能來自 recency,也可能因為問題緊鄰末尾文檔;交換問題位置即可區分。若開頭強而末尾弱,檢查最大長度裁剪是否從尾部刪除內容。若模型返回了正確長答案卻 exact match 為零,抽查歸一化、換行截斷與別名集合。若中部退化只在真實問答出現、鍵值檢索不出現,瓶頸可能是證據辨識或多步推理,而不是單純“看不見中間”。

注意力熱力圖可以提出機制假設,但不能單獨證明因果。Google Research 的 Found in the Middle 將位置偏差與注意力校準聯繫起來,是後續機制路線;對自己的模型仍需用位置干預、注意力或激活幹預和下游指標共同驗證。不要從一條 U 形性能曲線直接斷言某層、某個位置編碼就是原因。

後續科研問題

一是相對 token 深度、文檔序號和語義檢索排名,哪一個更能預測失敗;二是多條相互支持或衝突的證據分佈在不同位置時,位置效應如何交互;三是位置隨機化訓練能否改善最差位置而不損害首尾;四是 RAG 重排應優化相關性均值,還是優化長上下文模型的實際可用性;五是位置差 (G_L) 能否與校準、拒答和引用忠實度聯合建模;六是“有效上下文長度”應按最差切片、平均切片還是任務風險定義。一個小而可靠的課題,是固定開源模型和多任務樣本,對 gold token 深度、問題位置、證據數量做全因子實驗,並公開逐樣本輸出。

總結

Lost-in-the-Middle 的核心不是“長上下文沒用”,而是把“能接收”拆成“能穩定利用”。可靠復現要在同一批樣本上只移動答案證據,掃描位置與長度,記錄真實 token 深度,同時報告宏平均、最差位置和首尾—中部差。先用本文腳本檢查數據與統計,再接真實模型;只有當位置、任務和複雜度切片都透明時,所謂長上下文能力才是可比較、可診斷的科研結論。

參考資料

檢索日期:2026-09-04。以下均為論文、會議頁面、研究機構頁面或官方代碼;動態模型、API 行為和榜單待人工核驗。