固定候選與重排實驗裝置

  • 日期:2026-09-28
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:完整 5,183 篇語料的既有檢索結果;抽取 100 條開發查詢,每條重排 50 個候選;不代表完整基準。

摘要:先問文檔在哪裡,再問模型強不強

上一篇觀察倒數排名融合(RRF)如何改變詞項與向量檢索的結果。本篇只增加一個變量:把凍結候選交給交叉編碼器重新打分。實際運行後,主要指標沒有提高,但我們獲得了更具體的失敗地圖:哪些查詢在進入模型前就失去了相關文檔,哪些查詢仍有排序空間。

這是一項診斷性復現。目標不是證明重排器必然有效,而是讓“它為什麼沒贏”成為可以檢查的命題。全部結果來自真實公開數據、凍結模型和官方推理模塊;理想排序屬於使用標籤計算的診斷參照,後續解釋屬於待驗證假設。

一、復現價值:把一個總分拆成兩個問題

重排器(reranker)接收檢索器已經選出的文檔,改變其順序。若相關論文未進入候選集合,再強的排序函數也無法憑空補回。若它已經進入候選,只是排在第十三名,則模型有機會把它推到前十。兩類情況需要不同實驗,混在一個均值裡會誤導改進方向。

【論文報告】Nogueira 與 Cho 的《Passage Re-ranking with BERT》把查詢和候選段落聯合輸入 BERT,再按相關性得分排序;論文研究的是檢索後的第二階段。原文使用 BERT-LARGE 並進行訓練。本篇採用公開 MiniLM 檢查點推理,不聲稱復現原論文訓練或成績。[1]

【本次實際驗證】沿用 SciFact 與 BEIR 的版本和劃分:809 條 BEIR train 查詢作為開發資源,300 條 BEIR test 查詢繼續保留。082 已核對後者對應原始 SciFact 開發劃分;這是一份本項目未用於調參的確認資源,不是外部密封盲測。檢索相關性也不等於支持、反駁或事實核驗正確率。[2][3]

二、核心思想:聯合讀一對文本,而非比較兩個向量

雙編碼器分別計算查詢和文檔向量;交叉編碼器把兩段文本放入同一次前向計算,使查詢中的詞可以與候選正文交互。這裡的打分可簡寫為:

sθ(q,d)=fθ(tokens⁡(q,title(d)∥text(d)))∈R.s_\theta(q,d)=f_\theta(\operatorname{tokens}(q,\mathrm{title}(d)\Vert\mathrm{text}(d)))\in\mathbb R.

其中,qq 是查詢,dd 是候選文檔,∥\Vert 表示用單個空格拼接,fθf_\theta 包括凍結的編碼器與分類頭。輸出是一個實數 logit,即未做概率歸一化的模型得分;數值較大排在前面,不把它當作“相關概率”。本模型固定配置使用 Identity 激活,直接保留原始得分。[4]

本次形狀檢查實際得到輸入編號張量 [2,512]、末層隱藏狀態 [2,512,384]、分類頭輸出 [2,1],官方預測接口再展平成 [2]。兩個樣例的直接前向 logit 與接口輸出最大差為零。這裡的二表示兩對查詢文檔,五百一十二是含特殊符號的聯合長度上限;它不是分別允許查詢與摘要各五百一十二個 token。

凍結候選與標籤隔離的重排協議

三、官方代碼閱讀路線:最需要檢查的是邊界

從源碼地圖先讀 BEIR 的 Rerank.rerank:它遍歷候選,構造查詢與“標題 空格 摘要”文本對,同時保存查詢、文檔編號;調用預測接口後,再把得分放回對應編號。若這一步錯位,指標可能正常輸出,實驗卻已經失效。[5]

隨後讀 Sentence Transformers 的 smart_batching_collate_text_only,確認去除首尾空白、動態補齊與 longest_first 截斷;再讀 predict,核對關閉訓練模式、關閉梯度、激活函數和批次輸出順序。正文的張量檢查對應這條實際鏈路,不是另寫一個相似網絡代替官方實現。[6]

源碼包原樣保留 BEIR 重排模塊及 Apache 2.0 許可,未改其打分或編號映射。模型加載使用已安裝的官方依賴;本地新增的是協議、哈希核驗、指標復算和錯誤診斷。源碼地圖給出實際核驗的提交、文件與行號,並區分複製代碼與獨立教學實現。

四、最小實驗:只讓排序變化

運行前登記規則:將 809 個開發查詢編號按 SHA256("85:" + query_id) 排序,取前 100 個;每條保留上一篇固定 RRF 參數六十所得的前五十候選。不根據相關標籤、重排得分或失敗案例挑樣本。原始檢索覆蓋完整語料,本次縮小的是查詢數量與候選預算,不能與上一篇的全量均值直接比較。

凍結模型為 cross-encoder/ms-marco-MiniLM-L6-v2,權重和分詞器 revision 均為 233902d25c440f23af6f7d6e94d2946bac0bee0a。數據歸檔沒有獨立 Git revision,沿用已校驗下載地址、歸檔哈希與文件哈希作為版本身份。CPU、四線程、批量十六、聯合長度五百一十二、單精度、隨機種子八十五;沒有提示詞、訓練或解碼過程。[4]

先執行五條查詢、每條十候選的試跑。五十對真實文本推理耗時 1.30 秒,峰值進程內存約 0.90 GB,線性估計低於預登記的九百秒預算,才進入五千對主實驗。試跑得分不用於改模型或改協議。正式重排耗時 135.33 秒,含導入、校驗、加載與審計的總運行耗時 141.98 秒,峰值進程內存約 1.11 GB;這些是本機測量,不包含此前檢索與網絡下載。

緩存身份記錄模型、分詞器、數據、文本規則、候選、配置和源碼哈希。下載、預處理、模型加載、推理、評測分別留狀態;逐對結果保存原名次、新名次、logit、相關標籤和截斷情況。模型權重留在顯式緩存中,源碼歸檔不攜帶環境或權重。

五、評測協議:理想候選順序給出什麼上限

主指標 nDCG@10 是“歸一化折損累計增益”:相關文檔排得越靠前貢獻越大,再除以全體已標註相關文檔的理想得分。分母不能只用已召回文檔,否則漏召回會被掩蓋。輔助報告前十召回率、前五十召回率,以及首個相關結果倒數排名的均值 MRR@10。

令 CqC_q 為凍結候選集,RqR_q 為已標註相關集,候選內最優 nDCG 為:

Uq=∑i=1min⁡(10,∣Cq∩Rq∣)1/log⁡2(i+1)∑i=1min⁡(10,∣Rq∣)1/log⁡2(i+1).U_q=\frac{\sum_{i=1}^{\min(10,|C_q\cap R_q|)}1/\log_2(i+1)}{\sum_{i=1}^{\min(10,|R_q|)}1/\log_2(i+1)}.

這裡二元相關標籤決定哪些文檔可以貢獻一分;把所有已召回相關文檔排到最前即可達到這個 oracle,即知道標籤的理想參照。它使用答案計算,不能作為可部署系統,也沒有參與模型輸入或方案選擇。

若模型實際得到 MqM_q,則 1−Mq=(1−Uq)+(Uq−Mq)1-M_q=(1-U_q)+(U_q-M_q)。右邊依次表示候選集合造成的指標缺口與當前排序相對候選上限的缺口。它是固定標註、固定候選和固定指標下的算術分解,不證明後一項全能由換模型消除。數據偏差、截斷與標籤遺漏也可能影響它。

六、實際結果:召回更多,不一定排得更好

同一百條查詢 nDCG@10 Recall@10 Recall@50 MRR@10
原 RRF 順序 0.6709 0.7775 0.9050 0.6374
交叉編碼器重排 0.6691 0.8175 0.9050 0.6267
候選內理想順序 0.9061 0.9050 0.9050 0.9100

主指標差值為 −0.001774,逐查詢為二十勝、六十二平、十八負。前十召回率提高,但主要指標與首個相關結果位置均值略降,說明“進入前十”和“排到最前”是不同目標。未估計置信區間,不能據此宣稱模型顯著更差,更不能推廣到完整 SciFact 或其他重排器。

保存結果生成的均值與逐查詢差值

五十候選成員完全一致,因此前五十召回率必然不變;獨立審計逐條驗證了這一點。九條查詢沒有任何相關候選;八條存在相關候選但重排後前十未命中;八十三條前十至少命中一次。另外一條只召回部分相關文檔,不能用“命中過”代替完整覆蓋。平均候選缺口為 0.09387,平均排序缺口為 0.23700,二者共同組成剩餘誤差。

七、失敗排查:先檢查記錄,再提出解釋

自動選取差值最小與最大的各三條,不聲稱人工標註。查詢 817 的首個相關文檔由第二名降到第十五名,是明確的候選內排序失敗;查詢 764 則由第十三名升到第二名。查詢 309 從第一名降到第六名,前十仍命中,卻損失大量折損收益。這解釋了為什麼勝的查詢略多,總均值仍可下降。

排查順序應從編號對應、候選集合和評價分母開始,再檢查 token 與內容。本次五千對中有 569 對發生截斷,原始合計 1,834,958 個 token,截斷後保留 1,761,679 個;這是文本對累計量,同一查詢被重複計算,且不含動態補齊的額外計算。不能直接與雙編碼器一次性文檔編碼的 token 量比較。

所有指標由標準評測器產生,再由獨立代碼復算;同時檢查每對分數與排名、理想上限閉式公式及誤差分解。未標註文檔按評測協議記為不相關,不代表其科學內容真的無關。只看高分錯誤樣例就推斷模型“不懂科學”,證據仍然不足。

還應區分零召回與部分缺失:一條查詢有多篇相關文檔時,只找回其中一篇也可能命中前十,但其理想候選得分仍低於完整標註下的理想值。本篇直接使用全部相關標註計算分母,保留這種差異。這個上限依賴現有標註是否完整;未來補充判定可能改變相關集合和誤差分解,所以它是當前協議下的可檢查邊界,不是對真實科學相關性的最終裁決。

八、可檢驗問題:給失敗保留競爭解釋

【作者推斷】第一種解釋是截斷損失了決定相關性的片段;第二種解釋是 MS MARCO 訓練所得排序偏好與科學聲明檢索不匹配。當前運行同時含有這兩種可能性,不能把任意一項寫成已確認原因。

下一篇可固定這批查詢、候選、模型和評測,預登記標題拼接與長度的對照。如果增加可見文本後,被截斷相關文檔的恢復明顯不同於未截斷組,才增加對第一種解釋的支持。還要報告額外 token 與耗時;只延長輸入並得到提升,不能排除計算預算的影響。若恢復沒有出現,也應保留這個負結果。所有選擇仍限開發資源,確認集繼續隔離。

源碼與復現入口

源碼已公開並完成匿名拉取核驗:固定版本目錄、README 與運行說明、SOURCE_MAP 源碼地圖、運行入口。遠端五十一個文件與本地歸檔逐文件哈希一致;壓縮包解壓後完整重跑,關鍵結果逐字節一致。

按 README 安裝依賴並下載固定資源後,最小命令為 python run.py --cache ./cache --out results/smoke --smoke,預期生成五十對得分、逐查詢指標、形狀和分階段狀態。本次實際執行了試跑與完整的一百查詢、五千文本對實驗;省略 --smoke 可復跑該範圍。源碼提供數據下載、離線審計和繪圖入口,不需要作者機器上的隱含路徑。

總結

本次重排沒有改善主要指標,但已經回答了更具體的問題:哪些誤差在固定候選下不可恢復,哪些文檔被模型重新排壞。下一步研究應圍繞可以凍結和改變的變量展開,用可復算的失敗記錄約束解釋,而不是先為一個方法預留勝利結論。

參考資料

檢索與實際訪問日期:2026-09-28。固定源碼的瀏覽緩存失效時,已通過官方原始地址下載並核驗;不引用動態榜單數值。

  1. Rodrigo Nogueira、Kyunghyun Cho,2019 初版、2020 v5:Passage Re-ranking with BERT。
  2. David Wadden 等,EMNLP 2020:Fact or Fiction: Verifying Scientific Claims。
  3. Nandan Thakur 等,2021:BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models。
  4. Sentence Transformers:MiniLM-L6-v2 固定模型卡與配置。
  5. BEIR:固定版本 Rerank 實現。
  6. Sentence Transformers:固定版本 CrossEncoder。