封面

  • 日期:2026-10-22
  • 讀者:研究生、科研新人和工程型研究者
  • 實驗範圍:真實 SciFact 語料產生的凍結候選,100 條已觀察開發查詢,每條 50 個候選;不評測 300 條確認查詢。

摘要:一個合理解釋,怎樣變成可以輸掉的假設

重排模型沒有提高均值,最容易寫出的解釋是“科學文本太長,證據被截斷了”。這個解釋聽起來合理,卻可能只是知道結果後補上的故事。本篇重新運行真實交叉編碼器,把失敗先定義成候選、名次與分數上的可計算狀態,再檢查截斷能解釋多少退步。

本次實際驗證發現,18 條退步查詢中,17 條的已召回相關文檔沒有被截斷。這不能證明截斷沒有影響,卻足以反對“退步都由相關文檔截斷造成”的說法。本文交付的是失敗賬本和下一階段研究登記,沒有宣稱新方法已經勝出。

復現價值:把現象和原因分開存放

前面的檢索實驗已建立詞項檢索、稠密檢索、倒數排名融合和交叉編碼重排資產。倒數排名融合,即 RRF,只使用文檔在各列表中的名次組合結果;交叉編碼器則聯合讀取查詢和文檔,為每對輸入輸出一個分數。本文固定原有 RRF 前五十候選,繼續使用同一個 MiniLM 重排模型。

論文報告與本次結果必須分開。BEIR 論文比較了多領域檢索方法,指出不同方法有泛化與計算成本差異;它沒有保證每次重排都獲益。[1] SciFact 原任務還包括支持、反駁與理由定位,而這裡只評測文檔相關性,不能把檢索指標解釋成科學事實判斷能力。[2]

相較前一篇的機制證據討論,本篇選定檢索資產作為後續六篇的唯一研究主線。相較此前重排實驗,模型和候選不變,新增變量是診斷分層,新增產物是可復算分類和研究登記。全部 809 條開發查詢已有觀察歷史,其中這 100 條尤其不能被重新包裝成獨立測試集。

核心思想與公式:先定位損失發生在哪一層

令 RqR_q 為查詢 qq 的標註相關文檔集合,CqC_q 為五十候選集合,TqT_q 為重排後的前十集合。先判斷 Rq∩CqR_q\cap C_q 是否為空,再判斷 Rq∩TqR_q\cap T_q 是否為空。沒有相關候選時,換一個僅重排現有候選的模型也無法救回它。

主指標 nDCG@10 是前十位的歸一化折損累計增益:相關文檔越靠前貢獻越大,再用理想排序歸一化。這裡相關性為二值,逐查詢指標寫成:

Nq=∑i=1101[di∈Rq]/log⁡2(i+1)∑i=1min⁡(10,∣Rq∣)1/log⁡2(i+1).N_q=\frac{\sum_{i=1}^{10}\mathbf{1}[d_i\in R_q]/\log_2(i+1)}{\sum_{i=1}^{\min(10,|R_q|)}1/\log_2(i+1)}.

其中 did_i 是第 ii 名文檔,指示函數在文檔相關時為一。以同一查詢的重排值減去原 RRF 值得到 Δq\Delta_q;正數是改善,負數是退步。同分按字符串文檔編號降序處理,不能讓審計器和主評測器採用不同約定。

候選 oracle 是把已有相關候選全部移到前面得到的理想分數 OqO_q。它讀取標籤,只能診斷,不能參與實際檢索或模型選擇。由此有:

1−Nq=(1−Oq)+(Oq−Nq).1-N_q=(1-O_q)+(O_q-N_q).

左邊是距完美排序的缺口;右邊分別表示當前候選池無法恢復的缺口,以及在當前候選內仍可恢復的排序缺口。它是固定標註下的代數分解,不是原因的百分比分配,更不是兩個模塊的因果貢獻。

官方代碼閱讀路線:沿著一對輸入追蹤

先讀 BEIR 的 Rerank.rerank:它選出候選,按標題、一個空格、摘要組成文本,再把分數對應迴文檔編號。[3] 隨後讀 Sentence Transformers 的批處理函數,檢查查詢和文檔如何共同截斷;最後讀 predict 中的評估模式、前向計算和輸出轉換。[4] 本次直接執行這些官方路徑,未重寫神經網絡。

固定模型為 cross-encoder/ms-marco-MiniLM-L6-v2,權重與分詞器版本均為 233902d25c440f23af6f7d6e94d2946bac0bee0a。模型卡說明它用於 MS MARCO 段落排序。[5] 這提供了檢查任務差異的動機,但不能僅憑訓練領域就斷言它一定誤讀科學概念。源碼地圖記錄實際下載核對的提交、函數行號和許可證。

最小實驗:凍結後再重新運行

繼承已公開固定提交中的 100 個查詢編號、每條 50 個候選及相關性標註。候選來自完整 5183 篇語料的歷史檢索,沒有縮小語料重新取分。下載資源沒有可用 Git 修訂號的部分,用真實公開地址和歸檔 SHA-256 標識;緩存逐文件校驗後複用。

實驗固定標題加摘要、聯合長度上限 512、原始輸出分數、CPU 單精度、四線程、批量十六,隨機種子為 106。先執行 5 條查詢乘 10 個候選試跑,再運行全部 5000 對。試跑估計推理 128.35 秒,低於預定 900 秒預算,進程峰值內存也低於 4 GiB,因此沒有按效果縮小範圍。

正式運行含導入、資源核對、模型加載和評測共 133.41 秒,進程峰值 RSS 為 893075456 字節,約 0.83 GiB;本次沒有訓練、生成回答、重新編碼整庫或使用 GPU。形狀檢查記錄輸入 [2,512][2,512]、末層隱藏狀態 [2,512,384][2,512,384] 和分數 [2,1][2,1],分別表示兩對輸入、聯合序列長度、隱藏維度與單一排序分數。逐對分數與此前凍結記錄完全相同。

實際驗證:五類賬本,先不貼語義標籤

分類按表中順序互斥執行。只有先排除候選缺失和前十未命中,才對剩餘查詢判斷增益、退步或持平;因此“前十未命中”裡也可能存在退步。

可復算狀態 查詢數 允許得出的判斷
候選中無相關文檔 9 當前候選內重排不可恢復
有相關候選,前十未命中 8 存在排序恢復空間
前十命中,但 nDCG 下降 16 命中不代表順序足夠好
前十命中且分數改善 20 局部改善需要保留
前十命中且分數持平 47 主指標未變化

原 RRF 與重排的平均 nDCG 分別為 0.670906 和 0.669133,候選 oracle 為 0.906131。平均候選缺口為 0.093869,排序缺口為 0.236999。總體 20 勝、62 平、18 負;類別表中的持平數較小,是因為前兩類優先分走了一部分查詢。

為了防止只挑最戲劇化的故事,每個非空類別取查詢編號加固定前綴後的 SHA-256 最小者。查詢 456 的首個相關文檔從第六降到第十二,相關候選沒有截斷;查詢 963 的前十仍有兩篇相關文檔,nDCG 卻從 0.831555 降至 0.491149。例子只說明分類含義,不代表該類別總體,更沒有被人工標為“術語理解失敗”。

競爭解釋:讓直覺面對一個反例

從失敗審計到研究登記的方法圖

第一種解釋是輸入截斷:關鍵相關文本沒有進入模型,因此排序失敗。第二種解釋是排序覆蓋:即使相關文本完整,交叉編碼器仍可能覆蓋原檢索中有用的排名信息。後者不等同於已經證明領域不匹配,也可能涉及干擾候選、標籤覆蓋和分數目標差異。

只在 91 條有相關候選的查詢內比較:75 條沒有相關候選截斷,其中 17 條退步;16 條至少有一篇相關候選截斷,其中 1 條退步。對應比例為 22.67% 和 6.25%。九條候選缺失查詢不進入這個分母,否則會被錯誤登記為“沒有截斷且沒有退步”。

這個觀察不支持“截斷組更容易退步”的簡單預期,但兩組不是隨機分配的,樣本量和文本難度也不同。“有 token 被移除”不等於“支持檢索判斷的證據被移除”;相關文檔完整也不意味著不相關候選沒有截斷。因此本次只否定一個過強的必要條件敘述,沒有估計截斷的因果效應。

評測協議與研究登記:現在決定將來怎樣認輸

下一步主假設是:固定五十候選、仍只進行一次交叉編碼器計分,以常數六十的等權倒數排名融合保留原 RRF 順序,能減少覆蓋有用排名造成的退步。預定確認集主指標是該方案相對純重排的平均 nDCG 差,實際增益門檻為 0.01;同時必須報告相對純 RRF 的差,不能只打敗一個較弱對照。

這是假設,不是本篇運行結果。它由已見開發結果啟發,登記時間早於本次重放及未來干預,卻晚於此前觀察,不能稱為從未見結果的預註冊。固定登記文件及其哈希公開保留,後續修改必須附日期和理由。

後續先設計證據保留與匹配控制,文本變換須由真人檢查標籤是否保持;再比較純 RRF、純重排和一個固定融合方案,控制候選數、計分次數並報告 token 成本。有條件才做上下文處理乘融合的二因素實驗。沒有實際人工回覆,不能把模型自己判斷的“語義不變”作為審核完成。

每篇最多四個固定條件乘 100×50 對、CPU 推理 1200 秒、峰值內存 4 GiB,不訓練新模型。超預算保留日誌並停止,不按勝負刪查詢或追加模型。最後凍結方案後才使用 300 條確認查詢;未達到門檻就報告不支持預定實際收益,不在確認集上繼續調參。查詢可能共享證據文檔,不把逐查詢數直接當成獨立樣本量。

失敗排查與證據邊界

本次曾因舊共享環境導入停滯改用可運行環境;補裝時數值依賴自動升級,已在推理前固定回兼容版本。首次啟動漏傳試跑參數,在依賴導入階段中斷,未產生模型分數;失敗日誌保留,隨後正確試跑與正式運行均退出零。

審計順序是輸入身份、候選覆蓋、逐對分數、逐查詢指標、分類分母,最後才看解釋。獨立標準庫腳本復算完整結果與關聯表,八種損壞注入均被拒絕,包括改分類、改差值、偽造截斷數和聲稱使用確認集。它是自動算術核驗,不是人工語義金標。

標籤未覆蓋的真實相關文檔仍可能存在;模型預訓練汙染未審計;一次確定性重放也不提供跨種子或跨領域穩定性證據。我們保留這些限制,正是為了讓下一實驗能針對一個明確問題,而不是追著一個總能解釋任何結果的故事走。

源碼與復現入口

完整源碼已公開並按固定提交核驗:源碼目錄、README 運行說明、SOURCE_MAP 源碼地圖。包含依賴鎖、配置、研究登記、逐對結果與獨立審計器;公開副本與本地歸檔的 69 個文件逐一匹配。

按 README 安裝依賴、運行數據下載與哈希核驗後,最小真實命令為:

HF_HUB_OFFLINE=1 TOKENIZERS_PARALLELISM=false python run.py --cache ./cache --out replay-smoke --smoke

預期得到五查詢乘十候選的分數、日誌、形狀和指標;刪除試跑參數可復跑本文完整範圍。再運行 discover.py 與 check_discovery.py 生成並獨立檢查分類。已保存結果的審計不需模型推理,但不能替代真實實驗。

總結

從失敗到研究問題,關鍵是先規定哪些觀察支持解釋、哪些觀察會迫使自己修改解釋。本篇的進展不是把一個小負結果寫得更有吸引力,而是把十八條退步落實為可定位、可復算、可反駁的研究起點,並留下仍然有效的確認邊界。

參考資料

檢索與固定源碼核驗日期:2026-10-22。論文用於任務與方法背景,本篇數字均來自隨代碼保存的實際日誌。

  1. Nandan Thakur 等,2021,BEIR,NeurIPS Datasets and Benchmarks;論文 v4。
  2. David Wadden 等,2020,Fact or Fiction: Verifying Scientific Claims,EMNLP;會議頁面。
  3. BEIR 作者,固定提交的官方重排實現。
  4. Sentence Transformers 維護者,固定 CrossEncoder 源碼。
  5. Sentence Transformers,本次權重對應模型卡。