封面

  • 日期:2026-10-24
  • 讀者:研究生、科研新人和工程型研究者
  • 範圍:一百條已觀察開發查詢、每條五十個固定候選;不訓練,不評測三百條確認查詢。

摘要:先讓改進接受同一張賬單

如果一個檢索改進多看了文檔、多跑了模型,最後分數更高,我們究竟驗證了方法,還是預算?本篇把問題縮小到一個可以清楚記賬的實驗:保持候選與交叉編碼器計分不變,只改變最終排序規則。

本次實際驗證中,固定排名融合的 nDCG@10 為0.702521,純交叉編碼重排為0.669133,原始混合檢索為0.670906。融合沒有增加神經模型計分次數,但並非沒有代價:相對交叉編碼器,二十條查詢改善、六十六條持平、十四條下降。這是一項值得繼續檢驗的開發集結果,不是確認集上的研究成功聲明。

復現價值:強基線要能反駁自己的解釋

此前的失敗分析發現,重排有時覆蓋了原本有用的順序;證據移位探針又提示,完整看到證據並不保證名次改善。因此,本篇沒有繼續修改文本,而是測試一個簡單修復:保留原有排名信息,再與模型排名融合。新增變量只有排序決策,查詢、文檔內容、權重和候選集合全部凍結。

這裡的“強基線”是與問題直接相關且已經可靠運行的比較對象,不意味著窮盡當前最強系統。原始RRF排名已經結合詞項檢索與稠密檢索,不是刻意挑選的弱對手;純CE則代表完全交給重排模型。候選融合必須同時面對這兩者。若只優於CE卻不如更便宜的原始排序,就不能把加一層模型包裝成無條件進步。

SciFact論文介紹的是科學主張核驗與證據定位任務;本項目使用其公開數據評測文檔相關性。[1] 支持或反駁主張的證據文檔都可能相關,檢索指標不是科學判斷正確率。沿用的這一百條開發查詢已經參與過前序分析,不能因為換了實驗編號就重新稱為未見測試集。

核心思想與公式:把分數尺度換成排名

RRF即倒數排名融合,將不同系統給出的名次轉換為可相加的分數。Cormack、Clarke與Büttcher在2009年論文中給出這一方法,並報告常數六十在先導實驗後保持固定。[2] 論文的既有集合結果不能保證本篇有效;本次只借用公式,不復刻其全部系統或訓練實驗。

對查詢 qq 的固定候選文檔 dd,本次融合分數為:

Fq(d)=160+rqR(d)+160+rqC(d).F_q(d)=\frac{1}{60+r_q^{R}(d)}+\frac{1}{60+r_q^{C}(d)}.

rqRr_q^{R} 是已有RRF排序中的名次,rqCr_q^{C} 是CE排序中的名次,均從一開始,在同一五十文檔集合內取值。CE是交叉編碼器的簡稱,它聯合讀取查詢與文檔,輸出用於排序的標量。這裡融合的是“已有混合檢索排名”和“重排排名”,不是再次直接混合BM25與稠密向量分數。

兩項等權相加,不訓練權重,不在本篇搜索常數。這樣避開了原始檢索分數與CE輸出尺度不同的問題,卻丟掉了分數間隔:兩個名次只差一位,無法告訴融合器模型究竟猶豫還是篤定。它是一種有明確偏好的折中,不是自動糾錯器。

一個直觀例子是:某文檔在兩張表中都排第十,往往會勝過一張表排第一、另一張表排第五十的文檔。融合偏好共同認可,因而能壓住單一系統的激進提升,也可能把真正有價值的新發現拉回去。這個例子只解釋公式的行為,不是本次另選的實驗樣本。研究問題因此應寫成“這種折中在固定範圍內是否划算”,而不是“融合是否總比單模型聰明”。

排序按融合分數降序,完全相同的分數按字符串文檔編號降序。這個細節也屬於協議:倒數求和會產生並列,若不同腳本隨意採用輸入順序,逐查詢結果可能改變。本次以實際浮點求和定義操作順序,另用有理數獨立複核數值,不悄悄改變並列規則。

官方代碼閱讀路線:從候選編號追到輸出

先讀BEIR固定提交中的 Rerank.rerank:它選擇候選、拼接標題和摘要、調用模型,再把每個分數放回對應文檔編號。[3] 本篇原樣保留該文件,外部編排代碼複用上一實驗的固定公開版本,避免為新想法同時重寫輸入管線。

再讀Sentence Transformers的聯合分詞與 CrossEncoder.predict。[4] 凍結模型是 cross-encoder/ms-marco-MiniLM-L6-v2,模型和分詞器修訂為 233902d25c440f23af6f7d6e94d2946bac0bee0a。模型卡說明它在MS MARCO段落排序任務上訓練;這並不構成科學文獻領域效果保證。[5] 本次使用原始標量輸出,不把它解釋成相關概率。

最後讀本篇的 blend_report 與獨立審計器:前者只讀取本次模型輸出並構造兩張名次表,後者從逐對CSV重建排序、折損與預算。源碼地圖列出官方函數行號、固定提交、許可證及本地對應;官方文件已重新下載核對,安裝的CrossEncoder源碼經換行標準化後完全一致。

最小實驗:凍結什麼,新增什麼

語料仍為5183篇文檔,使用原有一百條開發查詢及其RRF前五十候選。輸入是標題、一個空格與摘要;聯合長度上限512個token,包含查詢和特殊符號。token是模型處理的子詞單位,不能把這個上限理解為摘要獨享五百一十二個詞。

環境為Python 3.12.14、PyTorch 2.6.0、Sentence Transformers 3.4.1、CPU單精度、四線程、批量十六,隨機種子一百零八。先運行五查詢乘十候選的真實試跑,再按預定規則擴大到五千對。沒有訓練、候選擴張、文本改寫或新標註,融合參數也未隨著結果調整。

正式計分僅執行一次,CE和融合共享這些輸出。輸入審計實際記錄1761679個非填充token;兩者相同,融合額外模型計分為零。純RRF則不需要這次CE前向,所以“等預算”僅指CE與融合的神經計分對照,不能宣稱三個方法總成本一致。BM25、稠密檢索和初始RRF的歷史計算成本未在本篇重測。

正式CE推理用時129.90秒,基礎運行含導入、加載和評測共134.72秒,峰值進程內存855687168字節,約0.80 GiB。融合的名次表構造、求和、排序及軌跡生成另計約2.96毫秒,不含指標計算和寫文件;單次微小計時不能外推服務吞吐。形狀核對額外執行四個查詢文檔對,獨立於正式五千對賬本。

固定候選與共享計分流程

圖中的條形是評測圖標,不代表測量數值。三條評測路徑共享候選,確認集與本次流程斷開。實際輸入、末層表示與輸出形狀分別為 [2,512][2,512]、[2,512,384][2,512,384]、[2,1][2,1],依次對應批量、聯合長度、隱藏維度與單分數;模型保持評估模式。

實際驗證:均值提高,局部損失仍在

nDCG@10衡量前十位相關文檔的排序質量,按名次折損並以理想排序歸一化。Recall@50是前五十候選覆蓋的相關文檔比例,本表採用逐查詢宏平均;“前十無命中”則是完全沒有相關文檔進入前十的查詢數,二者不是同一個統計量。

方法 nDCG@10 Recall@50 前十無命中查詢
原始RRF 0.670906 0.905000 21
純CE 0.669133 0.905000 17
固定排名融合 0.702521 0.905000 14

融合相對CE平均增加0.033388,相對RRF增加0.031614。後一個比較的勝、平、負為十八、七十二、十。候選覆蓋不變,因此這些變化來自排序而非找到了更多文檔;但候選中缺失的證據也不可能被融合憑空補回。

把結果放回前序失敗,能看見更具體的交換。原來CE相對RRF退步的十八條中,十七條經融合改善,但只有九條恢復到RRF水平或更好。原來CE獲益的二十條中,十三條的收益被融合削弱;在原本未退步的查詢中,還出現一條相對RRF的新損失。只展示“修復十七條”會隱去相當一部分代價。

按融合減CE差值查看極端樣本,查詢309的相關文檔從CE第六回到第一,nDCG增加0.643793;查詢242的第一篇相關文檔卻從CE第一落到融合第七,nDCG減少0.408765。後者有多篇相關文檔,不能僅憑第一篇的名次還原完整指標。這些是事後定位的說明案例,不是另一次挑選後得出的總體證據。

評測協議與失敗排查

主比較提前固定為逐查詢的融合減CE差值均值,同時報告融合減RRF。研究登記中的0.01門檻留給最後的確認評測;本篇開發均值超過它,也不能提前宣佈假設成立。這裡的比較單位是查詢,不是五千個查詢文檔對。把每個候選當成一次獨立成功,會把同一查詢內的相關排序約束拆散,並誇大證據量。相同均值也可能由少數大幅改善或很多微小改善構成,所以完整配對錶與平均值同樣重要。查詢之間可能共享證據文檔,本次沒有把一百條視為獨立樣本來計算顯著性,後續需先明確分組與不確定性估計方案。

第一次試跑在導入PyTorch時失敗,舊臨時環境缺少依賴,尚未進入推理。恢復完整固定版本環境後,真實試跑和正式運行通過;失敗日誌保留。模型卡的網頁讀取失敗,則通過匿名固定版本下載繼續核驗,未用猜測補全來源。

獨立檢查重建全部五千對的排名、融合分數、逐查詢指標、均值、勝負與預算;原始CE分數與前序記錄完全一致。七類損壞測試拒絕了改分數、漏候選、改均值、額外計分、冒用確認集、改名次軌跡和錯誤分類計數。檢查保證賬本能復算,不保證歷史開發數據沒有選擇偏差,也不證明提高源於某種唯一的模型機制。

研究問題與總結

本次支持的局部觀察是:相同候選與CE計分下,保留原始排名可以改善這批開發查詢的平均結果,同時犧牲部分CE獨有收益。作者推斷是兩種排序信息存在互補,但僅憑均值不能斷言模型發生領域錯配,更不能把一個成熟融合公式命名為新算法。

下一步應拆分上下文處理與排名融合的獨立貢獻及交互,而不是繼續調整常數直到結果更漂亮。原先保留的三百條確認查詢仍未評測,待方案與報告凍結後才使用。一個可信的改進,需要同時交代改善了多少、傷害了誰、用了什麼預算,以及哪些問題這次仍未回答。

源碼與復現入口

本篇完整配套源碼已公開發布,共74個文件:固定版本源碼目錄、README與運行說明、SOURCE_MAP與官方實現對應。該提交已匿名下載,全部文件與本地歸檔逐項一致,並從下載版本重新執行真實模型試跑。

按README安裝固定依賴並執行數據準備後,最小真實命令為:

HF_HUB_OFFLINE=1 TOKENIZERS_PARALLELISM=false python run.py --cache ./cache --out replay-smoke --smoke

預期輸出五十對分數、三方案逐查詢指標、融合名次軌跡和預算賬本;去掉試跑參數可運行一百查詢乘五十候選。隨後用 python audit.py --out replay-smoke 獨立復算。本次實際執行了試跑與正式範圍,配套源碼包含全部自寫模塊;大資源按固定修訂與文件哈希獲取,不依賴作者機器路徑。

參考資料

檢索與固定源碼核驗日期:2026-10-24。論文報告、本次實測和作者推斷已在對應段落區分。

  1. David Wadden等,2020,Fact or Fiction: Verifying Scientific Claims,EMNLP,會議頁面。
  2. G. V. Cormack、C. L. A. Clarke、Stefan Büttcher,2009,Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods,SIGIR,作者保存的論文。
  3. BEIR作者,固定提交的Rerank實現。
  4. Sentence Transformers維護者,固定提交的CrossEncoder實現。
  5. Sentence Transformers,本次權重版本模型卡。

作者作品推廣

以下是作者自有產品推廣。除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。