
- 日期:2026-09-29
- 讀者:研究生、科研新人和工程型研究者
- 範圍:真實模型、凍結候選、四組預處理對照;開發集探索,不是完整基準排名。
摘要
上一篇用同一批候選比較原始融合排序與交叉編碼器,發現重排沒有提高主要指標。接下來最容易出現的故事是:“摘要太長,重要信息被截掉了。”這個解釋聽起來合理,卻還不是證據。今天把它拆成兩個可干預變量:文檔是否帶標題、成對輸入最多保留多少 token。保持權重、查詢和候選不變,才能檢查方法勝負對輸入協議有多敏感。
本篇比較四個提前登記的條件,逐對保存實際輸入長度、得分和名次。我們關心的不只是哪個均值更高,還包括同一條相關文檔是否被截斷、哪些查詢改變方向,以及結果能否支持下一步假設。所有數字來自本次真實運行;關於證據位置的解釋仍是待驗證推斷。
目錄
- 復現價值與邊界
- 核心思想、公式與模塊
- 官方代碼閱讀路線
- 最小實驗與評測協議
- 實際結果與失敗分析
- 可檢驗的研究問題
- 源碼與復現入口
- 總結與參考資料
一、復現價值:先檢查輸入,再評價方法
SciFact 原任務包含科學論斷檢索、支持或反駁判斷以及理由定位。本系列只使用其 BEIR 導出版本的文檔相關性標註,不把相關文檔排得更靠前等同於事實核驗成功。[1] 前幾篇已固定完整五千餘篇語料上的檢索輸出,這次繼續使用上一篇的開發查詢子集。新增問題是重排階段的文本表達,而非召回算法或訓練方法。
標題可以概括主題,也可能佔用摘要空間;更長輸入可能保留關鍵句,也可能加入干擾。二者都沒有必然收益。若只把最大長度改大,並發現分數上升,仍需問:是可見內容變了、輸入位置變了,還是某幾個查詢主導均值?復現的價值在於把這些問題轉成可檢查的記錄。
論文報告:Nogueira 與 Cho 的工作說明用 BERT 聯合編碼查詢與候選段落進行重排的路線。[2] 本次實際驗證:執行已訓練的 MiniLM 交叉編碼器,沒有復現該論文訓練,也沒有使用其報告成績作為對照。作者推斷:協議變化可能解釋部分方法差異,需要當前四組實驗檢驗。
二、核心思想:把文本構造放進評分函數
交叉編碼器讓查詢和文檔在同一個 Transformer 中交互,輸出相關性分數。可以寫成:
這裡, 是查詢, 是原文檔, 表示是否拼接標題, 是字段構造, 是長度上限為 的分詞和截斷過程, 是固定模型權重。改變標題或長度,即使權重完全相同,模型看到的輸入也已不同。本次輸出是一個原始標量分數,不把它解釋為校準後的相關概率。[3]
分詞器把詞拆成 token,即模型處理的文本單位。長度上限包括查詢、文檔以及三個特殊符號,並不是允許摘要單獨佔滿指定長度。批輸入形狀為 , 是批大小, 是補齊後的序列長度;隱藏狀態為 ,分類頭輸出 。官方實現使用最長序列優先截斷,超限時優先從較長的一側刪減。[4]

四組都接收同一候選對並使用同一權重。圖中的共享模型表示參數共享,不表示把四份輸入同時拼成一條序列;標註只在配對評測時使用。原 RRF 是倒數排名融合留下的固定排序,作為參照保留,其檢索階段預處理沒有改變。
三、官方代碼閱讀路線
先讀 BEIR 的 Rerank.rerank:它按候選 ID 構造查詢與文檔對,把標題、空格和摘要拼接,然後把預測分數重新對應到文檔 ID。[5] 本篇保留這個文件的原始字節;摘要條件通過傳入空標題實現,避免改寫官方評分邏輯。標題條件則保持上一篇的拼接方式。
再讀 Sentence Transformers 的 smart_batching_collate_text_only,確認字符串去除首尾空白、動態補齊、longest_first 和 max_length。接著沿 predict 看到模型切換至評估模式、關閉梯度並返回單標籤分數。[4] 最後核對模型卡和配置,確認實際是六層模型、隱藏維度三百八十四、一個標籤,而不是根據名稱猜測結構。[3]
本地對官方文件、許可證和安裝版本做了哈希或規範化換行後的全文比較。源碼地圖給出完整提交號、文件行號和本地入口。獨立編寫的部分包括條件編排、token 審計、配對差計算與繪圖;這些不是論文原始實現,不能混稱“全部官方復現”。
四、最小實驗與評測協議
使用固定的一百條開發查詢,每條五十個 RRF 候選,共五千個查詢—文檔對。查詢仍按上一篇的哈希規則選擇;沒有因本次效果重新抽樣。完整語料規模為 5183,四組均不重建索引、不替換候選、不訓練,三百條確認查詢繼續留出。
四個條件是“標題+摘要、上限二百五十六”“標題+摘要、上限五百一十二”“僅摘要、上限二百五十六”“僅摘要、上限五百一十二”。固定模型與分詞器 revision、CPU 單精度、四線程、批大小十六和隨機種子。種子控制運行狀態,不表示重新抽取查詢。最大長度是干預變量,因此實際處理 token 和計算量不會相等;這不是等計算預算的模型能力比較。
主指標為 nDCG@10,即考慮相關文檔名次並按理想排序歸一化的折扣增益。輔助指標為首個相關結果倒數名次的 MRR@10,以及前十、前五十召回率。分數相同時按文檔 ID 字符串降序排列。因為候選集合固定,Recall@50 必須相同;若它變化,優先排查實現,而不是慶祝提升。
每條查詢保留四組分數與原排序的配對差。還計算描述性交互量:
是相應條件的平均 nDCG@10,下標一、零表示保留、去掉標題。 描述標題效應是否隨長度改變,不是總體因果交互的統計證明。全部條件事先登記、全部報告,不把開發集最好條件直接宣佈為最終方案。
第一次命令漏傳試跑參數,誤啟動完整條件,隨後中斷並保存退出碼一百三十及已有日誌。糾正後先跑五查詢乘十候選的四組試驗,僅按耗時與內存決定是否擴展。正式運行與誤啟動分開留檔,已有分數沒有參與參數選擇。資源、形狀和每階段狀態均隨源碼發佈。
五、實際結果與失敗分析
| 條件 | nDCG@10 | MRR@10 | Recall@10 | 相關對截斷數 |
|---|---|---|---|---|
| 固定 RRF | 0.670906 | 0.637361 | 0.7775 | 不適用 |
| 標題+摘要,256 | 0.659686 | 0.615258 | 0.8125 | 95 |
| 標題+摘要,512 | 0.669133 | 0.626750 | 0.8175 | 20 |
| 僅摘要,256 | 0.650207 | 0.602718 | 0.8100 | 86 |
| 僅摘要,512 | 0.638613 | 0.592262 | 0.8000 | 18 |
本次實際驗證:四組均未超過固定 RRF 的主要指標,方法勝負沒有翻轉。帶標題的 512 條件精確重現上一篇五千個分數;全部條件 Recall@50 都是 0.905。更長窗口在帶標題時提高 nDCG@10 約 0.009447,十二勝、七十八平、十負;僅摘要時卻下降約 0.011594,十勝、七十四平、十六負。標題效應從短窗口的 0.009479 增至長窗口的 0.030520,描述性交互量約 0.021040。
每組候選中有 108 個標註相關的查詢—文檔對。帶標題時,窗口擴大使其截斷數從 95 降至 20;僅摘要時從 86 降至 18,卻沒有換來均值改善。查詢 token 全部保留。短窗口去掉標題後,保留的摘要 token 從 1009770 增至 1101794,但主要指標仍降低,因此“摘要看得更多就一定更好”在這裡不成立。
預登記規則選出的查詢 308,其相關文檔在帶標題條件下從第六升到第一;查詢 1050 和 1166 則都從第一降到第二。這些是可復算的名次變化,不是已經解釋清楚的語義錯誤。一個查詢改善也不能替另外兩個退步查詢提供理由。
四組正式推理合計 394.74 秒,整次運行 418.88 秒,進程峰值 RSS 1040351232 字節;實測 Python 3.12.14、macOS、CPU 單精度。計時包含範圍見日誌,不含下載和歷史檢索,GPU 顯存未測。固定運行順序也意味著耗時只作資源記錄,不作嚴格性能結論。

圖由配套繪圖腳本讀取已保存彙總生成,左側展示主要指標與固定 RRF 參照,右側是被截斷的相關查詢—文檔對數,不是獨立文檔數,也不是丟失證據句數。未做多次獨立採樣,因此不繪製沒有依據的誤差線。
失敗排查按證據層次進行。第一,核對各組候選 ID 完全一致,排除“換了一批更容易的候選”。第二,核對成對輸入長度而非字符長度;實際記錄查詢、標題、摘要和特殊符號,並與模型入口抽樣比對輸入 ID 哈希。第三,獨立重算逐查詢指標和合計值,避免格式或聚合錯誤偽裝成模型變化。
第四,區分“相關文檔被截斷”和“支撐論斷的句子被截斷”。相關性標籤只指出文檔有關,不能告訴我們剩餘前綴是否足夠。這裡沒有製作人工金標,也沒有聲稱人工確認錯誤原因。第五,不能只挑改善案例;按預登記的絕對長度效應排序選擇案例,保留負向變化及所有未變化查詢。
六、把直覺改寫成可檢驗問題
假設甲是“較長窗口通過保留後部證據改善排序”,假設乙是“標題或前綴詞項已足夠,新增文本主要改變干擾”。二者都能解釋一部分均值變化,但預言不同。下一步可以在開發樣本中標註證據位置,再比較真正新增證據可見的樣本與證據始終可見的樣本;標註需要獨立人工完成,當前尚未執行。
另一個區分實驗是固定實際摘要 token 數,再改變標題是否存在或所在位置。如果收益只在增加文本預算時出現,就不宜歸因於標題語義本身。這個設計還需檢查位置變化、截斷邊界和標籤有效性,不應直接把本次去標題對照包裝成純語義因果實驗。
所有這些都是後續問題,不是已取得的結論。當前只對一個凍結模型、一批已使用的開發查詢負責。模型訓練語料汙染沒有審計,未標註相關文檔也可能被當作不相關;沒有跨領域結果、總體置信區間或“長上下文理解能力”結論。下一篇遷移實驗需要在換域前明確凍結方案,並如實記錄方案來自開發探索。
七、源碼與復現入口
已發佈並匿名核驗的固定版本:完整源碼目錄、README 運行說明、SOURCE_MAP 官方源碼地圖,以及統一運行入口。遠端五十三個文件與本地歸檔逐一核對一致。
安裝固定依賴並按 README 獲取已鎖定資源後,最小運行命令是 python run.py --cache ./cache --out smoke-new --smoke。它執行四組真實模型推理,輸出逐對分數、實際 token 計數、逐查詢指標、彙總和階段日誌。完整範圍刪除試跑開關,使用新的輸出目錄。本次實際完成一百查詢乘五十候選乘四條件;僅運行離線審計不能替代模型推理。
數據版本由公開歸檔及文件哈希標識,模型和分詞器固定同一提交。緩存身份包括字段、長度、模型、數據、提示設定、解碼方式和代碼哈希;入口每次重新推理,不偷偷複用舊得分。包內包含全部自寫模塊、許可和小型驗證記錄,大資源按校驗過的下載步驟獲取。本地壓縮包另作驗收歸檔,讀者入口以公開源碼為準。
八、總結
預處理是評分函數的一部分,方法名稱不能代替輸入協議。可靠的復現需要同時交付條件定義、真實輸入審計、逐查詢變化和失敗記錄。即使找到一個更高分的設置,也只能說明這個凍結系統對設置敏感;只有提出競爭解釋並設計能區分它們的下一次實驗,才開始接近可檢驗的科研問題。
參考資料
檢索與實際訪問日期:2026-09-29。固定版本與文件哈希見源碼地圖。
- David Wadden 等,2020,Fact or Fiction: Verifying Scientific Claims,EMNLP。
- Rodrigo Nogueira、Kyunghyun Cho,2019初版、2020年v5,Passage Re-ranking with BERT。
- Sentence Transformers,MS MARCO MiniLM-L6-v2 固定模型卡。
- Sentence Transformers 3.4.1,CrossEncoder 固定源碼。
- BEIR,Rerank 固定實現。