雙路排名融合的研究桌面

實際範圍:複用完整 5183 篇語料上產生的真實檢索結果,對 809 條開發查詢運行官方融合與獨立審計;本篇不重新執行模型推理,也不使用最終確認集。

一、復現價值:平均更弱的一路,還有用嗎?

083 中,凍結的 MiniLM 稠密檢索平均低於 BM25,卻在一些查詢上獲勝。這給出一個自然問題:能否把兩路優勢合起來?BM25 依賴詞項匹配,稠密檢索將文本編碼為向量,再比較向量相似度。兩者有不同的失誤模式,但“不同”並不自動等於“互補有效”。

本篇只新增融合變量:語料、查詢、標註、預處理、模型及其輸出均凍結。我們要復現的不是一個漂亮總分,而是一條可審計證據鏈:相關文檔原來在哪一路、融合後到了哪裡、收益來自候選變多還是排序規則。SciFact 在這裡是相關文獻檢索任務,檢索分數不能解釋成科學事實判斷能力。SciFact 原論文

二、核心思想:把分數改成名次貢獻

倒數排名融合(Reciprocal Rank Fusion,RRF)不直接相加 BM25 與向量相似度,而對每一路的名次取倒數後相加:

s(q,d)=∑j∈{B,D}1[d∈Lj(m)(q)]k+rj(q,d).s(q,d)=\sum_{j\in\{B,D\}}\frac{\mathbf 1[d\in L_j^{(m)}(q)]}{k+r_j(q,d)}.

其中,查詢為 qq,文檔為 dd,兩路分別用 B,DB,D 表示;Lj(m)L_j^{(m)} 是每路保留的前 mm 個候選,rjr_j 從一開始計數,未入榜的貢獻為零。kk 控制頭部名次優勢衰減的速度,不是保留候選的數量。本文主配置固定 k=60,m=100k=60,m=100,融合後再取前一百個文檔。

**論文報告:**Cormack、Clarke 與 Buettcher 在 2009 年提出並評估 RRF,論文用先導實驗確定常數六十;報告的優勢來自其特定實驗集合,不能當成任意檢索器組合的保證。原論文

**作者推斷:**兩路都能找到的文檔可獲得兩份貢獻,因此融合偏好共識;這也可能壓低只在一路排名很高的正確答案。這個解釋必須回到逐候選記錄驗證,不能僅憑公式給所有失敗編故事。

凍結候選後比較 RRF 與交替合併

三、官方代碼閱讀路線:計分之外還有協議

我們實際核驗並運行 Castorini 官方 Pyserini 的固定提交 527c917120ff154f84b09ff2b69dc8946085aae4。先讀 reciprocal_rank_fusion,再追到 TrecRun.rescore,最後讀 TrecRun.merge:入口克隆輸入,逐路按排名重計分,截斷候選,按查詢與文檔編號求和。具體文件和行號見文末源碼地圖。

這裡運行的是兩份原樣保存的官方模塊,不是論文作者代碼,也沒有啟動整套 Pyserini 搜索服務。輸入是六列記錄:查詢編號、佔位列、文檔編號、名次、原分數、運行標籤;兩路分別有 80827 與 80900 行。一條 BM25 查詢不足一百項,因此不能假定矩陣總是整齊的“查詢數乘一百”。

官方默認同分時按文檔編號升序。為延續前篇評測協議,適配層先取完整融合並集,再統一按分數降序、字符串編號降序排列和截斷。我們明確保留這項改動,並另外測量升序的影響。只固定公式、不固定同分規則,仍可能得到不同結果。官方實現

四、最小實驗:先凍結選擇規則,再運行

本次使用 BEIR 的 SciFact train 劃分作為開發集,809 條查詢全部進入評測;300 條 test 查詢繼續封存。沿用前篇完整語料檢索產生的兩份前百排名和相關性標註,三份輸入均鎖定字節哈希與公開提交。MiniLM 與 tokenizer 的 revision 均為 1110a243fdf4706b3f48f1d95db1a4f5529b4d41,來源編碼採用標題加空格加摘要、最大長度 256、384 維向量。原始數據包沒有不可變 revision,使用已保存的 SHA-256 標識,詳見資源鎖。BEIR、模型卡

運行前寫下 PROTOCOL.md:主指標為 nDCG@10,即對前十位相關文檔按位置折扣並歸一化;輔助指標為 Recall@100,即前百覆蓋的相關文檔比例,以及 MRR@10,即首個相關結果名次的倒數。常數六十事先固定,十與一百隻做開發敏感性分析;不因本次結果更好就替換主配置。種子為八十四,但融合本身是確定性計算。

最小入口取五條真實開發查詢,仍使用完整語料檢索留下的排名。全量運行保存八套輸出、逐查詢指標、136650 行候選貢獻、最大收益與損失各三例,以及階段狀態、退出碼、環境和耗時。輸入準備為驗哈希,推理階段為複用已有真實結果,融合和評測則本次實際執行;這些狀態不能合寫成“重新跑完所有模型”。

五、受控評測:候選覆蓋與排序要分開

主實驗每路一百項,並集平均約 168.9 項,最終輸出一百項。它與單路一百項的比較同時改變了候選來源和候選數量,不能把提升全部歸因於 RRF。

因此加入簡單交替合併:按兩路名次輪流取文檔,BM25 先取,重複項跳過,最後保留一百項。先取哪一路也是凍結的規則。它與 RRF 讀取相同並集,卻採用不同排序規則。再加每路五十項的對照:去重並集至多一百項,兩種規則保留完全相同的文檔集合,更適合隔離前十排序差異。這個預算控制指的是保留的排名條目數,並不代表上游檢索計算量相等。

方法 每路輸入深度 nDCG@10 Recall@100
BM25 100 0.69427 0.93506
MiniLM 100 0.66020 0.93243
RRF,主配置 100+100 0.71222 0.95035
交替合併 100+100 0.71311 0.94850
RRF,同集合對照 50+50 0.71294 0.94413
交替合併,同集合對照 50+50 0.71311 0.94413

**本次實際驗證:**RRF 主配置比 BM25 提高約 0.01795,卻比交替合併低約 0.00089。同集合對照也沒有顯示 RRF 的前十排序優勢。因而本次支持“兩路結合可以改善平均檢索表現”,暫不支持“RRF 公式優於簡單合併”。差值很小,本文沒有宣稱統計顯著或跨領域成立。

由保存的真實逐查詢日誌繪製的結果

上圖由 plot.py 讀取保存的彙總與逐查詢 JSON 生成,右側按差值排序展示全部查詢,沒有挑選可視化子集。常數十的開發分數為 0.72098,高於六十;這一觀察保留為後續假設,不能回頭把主配置改稱事先選定的贏家。

六、失敗分析:到底改變了哪些名次?

相對 BM25,主配置在 162 條查詢上提高、546 條持平、101 條下降;相對交替合併則是 137 勝、562 平、110 負。後者勝的查詢更多,平均分卻更低,因為提升幅度與損失幅度不對稱。勝負數量不能替代逐查詢差值之和。

按預先規定的極值選擇規則,查詢 618 的相關文檔 6836086 從 BM25 第二十五、稠密第三,上升到融合第一。查詢 317 的相關文檔 4506414 則從 BM25 第一、稠密第五十二,下降到融合第十一,跌出主指標窗口。查詢 1307 的相關文檔只出現在 BM25 一路,同樣從第一跌到第十一。它們說明共識偏好有代價,但尚不能證明某個語言現象是原因。

貢獻表還顯示:融合前十中的查詢—文檔對,7935 對被兩路共同召回,僅 155 對來自單路。相對 BM25,有 44 個相關對進入前十,23 個離開。這是重複計入不同查詢的“對”,不是獨立文檔數。極值案例中還存在不同查詢共享同一相關文檔的情況;我們沒有捏造人工語義分類,也沒有假定這些查詢完全獨立。

完整並集的平均召回為 0.97054,仍有 22 條查詢完全沒有相關候選;截斷為融合前百又丟掉了 18 個已召回相關對。這分別對應“沒有候選可排”和“有候選但被排出”,正是下一篇重排實驗需要拆開的兩類上限。

七、失敗排查與可信邊界

首先查編號、名次起點和去重,再查同分。只將編號規則改回升序,主配置 nDCG@10 就變成 0.71025,60 條查詢的指標發生變化;這個變動甚至大於 RRF 與交替合併的均值差距。本文保留降序協議,不借此挑分。

其次查數值與程序不變量。獨立審計用有理數重算融合貢獻,檢查 310733 個保存分數,最大誤差約為 2.78×10−172.78\times10^{-17};七個配置—查詢組合存在有理數與浮點排序差異,但三項指標均未改變。另行逐行核對全部貢獻記錄,驗證八套指標、原輸入未變,以及複製同一路不會改變原排名。

最終全量運行在 macOS arm64、Python 3.12.14、CPU 上完成,耗時 4.86 秒,進程峰值常駐內存約 377.7 MiB;主配置融合約 0.37 秒。它們不包含前篇模型編碼和檢索成本。一次複核因錯誤地解析虛擬環境解釋器軟鏈接而缺少評測依賴,失敗日誌保留,改用環境內入口後通過;缺依賴時的環境記錄也已修復。

還要檢查實驗身份。緩存鍵包含兩份輸入及標註的哈希、模型與分詞器版本、配置、依賴和所有自寫腳本的哈希;本實驗沒有提示詞與解碼,記錄為明確的空值。即使融合不加載模型,也不能丟掉上游身份,否則後續換了編碼長度或模型權重,舊排名仍可能被誤當成同一次實驗。

對剛接觸復現的讀者,最實用的閱讀順序是先看一條失敗查詢的貢獻行,再回到彙總表。不要先靠總分猜機制:同一個召回比例可能來自不同文檔集合,同一個前十指標也可能掩蓋十名之後的大量交換。工程讀者應讓這些核驗成為入口的一部分;研究生則需要進一步問,當前證據究竟區分了哪兩個競爭解釋。

八、把觀察變成可檢驗的研究問題

第一個假設是:單路強命中、另一路缺失的查詢,是共識融合的系統性弱點。下一步應在開發集預先定義“單路前位、另一路未召回”的分組,統計組內退化,並凍結一個簡單保護規則;最終確認集只用於一次比較。若退化不集中在該組,假設就被削弱。

第二個假設是:重排收益主要受候選覆蓋限制,而不是融合常數限制。下一篇保持相同候選集合,引入真實交叉編碼器,分別報告已召回相關文檔的排序改善與無相關候選的查詢比例,同時測量推理成本。不能用更多候選換取提升後仍稱其為純排序改進。

九、源碼與復現入口

公開固定版本:源碼目錄、README、SOURCE_MAP。依賴、配置、輸入哈希、許可證、完整日誌與逐查詢結果均在該版本內,不需要訪問作者機器。

安裝 README 中的固定依賴後,最小命令為 python run.py --out results/my_smoke --smoke,預期生成五條真實查詢的排名、指標、階段狀態與身份記錄。完整復現去掉 --smoke,再運行 python audit.py --out results/my_run;輸出路徑需與運行命令一致。本次實際完成全部 809 條開發查詢,本地歸檔解壓與公開提交導出副本均已重跑全量實驗,關鍵結果文件逐字節一致。

十、總結

混合檢索的價值不只是把兩份榜單相加,而是提供一個可以逐項追責的干預:哪些候選增加了,哪些相關結果上升了,哪些被共識壓下去了。本次 RRF 改善了單路均值,卻沒有戰勝簡單交替規則。把這個負結果、協議細節和候選上限一起留下,比提前宣佈一種融合方法獲勝,更能支撐下一輪科研問題。

參考資料

檢索與實際訪問日期:2026-09-27。固定源碼鏈接與許可證核驗詳見 SOURCE_MAP。

  1. Cormack, Clarke, Buettcher. Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods, SIGIR 2009:論文、出版信息。
  2. Castorini. Pyserini,本文固定提交:融合源碼、排名工具。
  3. Wadden et al. Fact or Fiction: Verifying Scientific Claims, EMNLP 2020:ACL 頁面。
  4. Thakur et al. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models, 2021,本文引用 arXiv v4:論文。
  5. Sentence Transformers. all-MiniLM-L6-v2:官方模型卡。