封面

  • 日期:2026-10-26
  • 適合讀者:研究生、科研新人、工程型研究者
  • 實驗範圍:100 條已觀察開發查詢;固定 50 候選;300 條確認查詢繼續留出。

摘要

把舊排名與交叉編碼器排名相加,平均分確實上升了。但相關證據前移沒有改善四條探針,融合也損害了部分原本排對的查詢。此時最容易寫出的故事是“總體有效,少數例外”;最值得完成的工作卻是給出不確定性、反例和下一次檢驗的邊界。本文重新運行真實模型,完整保存五千對評分,按共享證據文檔分組計算配對區間,並凍結最終確認分析。已有局部增益,因此標題不再強說“新方法沒有贏”;但開發集增益也不能提前兌現成確認集成功。

復現價值:從一個均值回到一個問題

SciFact 原論文研究科學聲明與證據摘要的關係,並提供支持、反駁及證據句標註。[1] 本項目使用 BEIR 導出的檢索數據,只評價相關文檔是否靠前,不能把 nDCG 上升說成科學事實判斷變準確。nDCG 是歸一化折損累積增益:相關文檔越靠前,獎勵越高,再除以理想排序的獎勵。[2]

前篇完成了“證據前移×排名融合”的四格對照。本篇新增的問題是:同一固定方法的增益,對重採樣單位和個別證據組有多敏感?改變的是統計單位,凍結的是查詢、語料、候選、模型、文本拼接和融合常數。我們仍在已經反覆觀察的開發數據上工作;這既不是新測試集,也不是對全 SciFact 基準的重新排名。

核心思想與公式:先配對,再保持相關結構

交叉編碼器把查詢和文檔一起送入模型,輸出一個相關性分數,簡稱 CE。本次沿用 MS MARCO 訓練的 MiniLM 六層模型;模型卡描述訓練任務及調用方式,其榜單成績和 GPU 吞吐量均不是本次測量。[3] 候選的原始順序來自既有倒數排名融合 RRF。固定融合給兩個排名等權投票:[4]

s(q,d)=160+r0(q,d)+160+r1(q,d).s(q,d)=\frac{1}{60+r_0(q,d)}+\frac{1}{60+r_1(q,d)}.

這裡 qq 是查詢,dd 是其五十個候選之一,r0r_0 和 r1r_1 分別是原 RRF 與 CE 內從一開始的名次。兩個名次來自同一候選集;沒有擴大召回,也沒有增加第二次 CE 推理。分數相同時按文檔字符串編號降序排列,保留實際浮點求和規則。

我們關心的是同一查詢的配對差,而非兩個無關均值的差:

Δq=Mblend(q)−MCE(q),Δˉ=1n∑q=1nΔq.\Delta_q=M_{\mathrm{blend}}(q)-M_{\mathrm{CE}}(q),\qquad \bar\Delta=\frac{1}{n}\sum_{q=1}^{n}\Delta_q.

MM 表示該查詢的 nDCG@10,n=100n=100。一條查詢無論有多少候選,仍只貢獻一個差值。把五千個文檔對當五千個獨立樣本,會把模型計算量誤當成統計證據量。

共享同一相關文檔的聲明可能相互依賴。我們用正相關性標註建立查詢圖:兩條查詢共享至少一篇相關文檔就連接,沿連接取完整連通分量,得到九十四組,其中六組各兩條、八十八組各一條。即使相關文檔沒進候選,也參與分組。這一規則只用標註編號,不看方法得分;它仍只是依賴結構的代理,無法保證不同組之間完全獨立。

Δˉ∗(b)=∑g∈Sb∑q∈gΔq∑g∈Sb∣g∣.\bar\Delta^{*(b)}=\frac{\sum_{g\in S_b}\sum_{q\in g}\Delta_q}{\sum_{g\in S_b}|g|}.

SbS_b 是第 bb 次從九十四組中有放回抽取九十四次得到的組列表,重複抽中的組按次數計入;∣g∣|g| 是組內查詢數。分母隨抽樣變化,保證估計對象仍是查詢加權均值,不能改成“每組均值再平均”。執行一萬次,取百分之二點五和九十七點五分位數,採用線性插值。另做逐查詢重採樣作為敏感性對照。SciPy 文檔說明配對與百分位方法;本篇分組算法是獨立教學實現,沒有照搬其默認 BCa 方法。[5]

配對區間與失敗審計流程

圖為概念流程,未畫測量數值;確認集與當前計算斷開。實際抽樣索引、六萬條差值複本和區間保存在源碼結果文件中。

官方代碼閱讀路線

先讀固定版本 BEIR 的 Rerank.rerank:它如何選擇候選、拼接標題和摘要、構造模型輸入,再把分數寫回原文檔編號。隨後讀 Sentence Transformers 的 smart_batching_collate_text_only 與 predict,核對聯合截斷、批次和激活函數。最後看 BEIR 的評測入口,確認指標計算與排序約定。[6]

本地 official_rerank.py 與官方文件字節一致,安裝的 CrossEncoder 與固定源碼經換行規範化後一致。輸入張量抽查為 [2,512][2,512],最後隱狀態為 [2,512,384][2,512,384],輸出為 [2,1][2,1];三個維度分別對應批次、序列位置與隱藏寬度,最後一個一表示每對一個標量。逐對原始 logit、詞元數量和對應編號都保留,不能只檢查最終均值“看起來相近”。

最小實驗與評測協議

使用五千一百八十三篇完整語料、既有一百條開發查詢及每條五十個凍結候選。模型和分詞器固定到 233902d25c440f23af6f7d6e94d2946bac0bee0a,聯合長度五百一十二,批量十六,CPU 四線程、單精度、隨機種子一百一十。數據下載包沒有虛構 Git 版本,以下載地址、文件版本信息及 SHA-256 標識;全部身份見鎖文件。

先做五條查詢乘十候選試跑,再執行正式五千對推理。正式模型推理實測 131.878 秒,基礎流水線 136.153 秒,基礎進程峰值駐留內存約 892 MiB;統計報告另耗時約 0.961 秒。峰值記錄在統計階段之前,因此不冒稱整個統計階段峰值。四對輔助形狀檢查輸入的前向計算另記,不混入五千對預算。緩存哈希校驗通過,下載時間和原始召回成本本次未重測。

所有五千個新 CE 分數與前次保存結果完全一致。三種方法共用候選,CE 與融合共用一次模型評分;純 RRF 不承擔新增 CE 成本,不能把三者說成總成本相等。分組規則在本次推理及區間計算前寫入協議,但此前已經見過開發結果,仍屬於探索性分析。

結果:區間不能替代確認評測

三種方法平均 nDCG@10 為 RRF 0.670906、CE 0.669133、融合 0.702521。下面是本次實際復算,區間只描述當前開發樣本的重採樣敏感性。

配對比較 平均差 證據組百分位 95% 區間 逐查詢敏感性區間
融合減 CE 0.033388 [0.000883, 0.066319] [0.001312, 0.068048]
融合減 RRF 0.031614 [0.002692, 0.062390] [0.004802, 0.059444]
CE 減 RRF -0.001774 [-0.049319, 0.044971] [-0.049320, 0.043383]

主比較有二十勝、六十六平、十四負。刪除任意一個證據組後,其均值落在 0.027500 至 0.037854,這個範圍是影響診斷,不是另一條置信區間。兩種重採樣區間接近,不代表相關性已經解決;這裡絕大多數組本來就是單條查詢。

融合區間下界略高於零,卻仍覆蓋預先登記的 0.01 實用門檻。更關鍵的是,這些查詢曾用於錯誤分析和提出方案:重採樣只重新組合已見樣本,不會清除方法選擇偏差。不能把“開發區間不跨零”寫成“已證明泛化有效”,也不能從接近零的下界推出穩定勝利。原登記要求在確認集檢驗平均增益門檻,本文不擅自把它改成新的顯著性規則。

還要區分兩種重複:固定模型重新推理,主要檢查運行是否可重複;抽樣重算區間,主要檢查當前樣本組成怎樣影響均值。本次沒有重新訓練模型,也沒有獨立的新數據重複,因此不能估計訓練隨機性或跨領域變化。表中三個比較使用同一批抽樣索引,保持方法之間的配對關係;它們不是三次獨立證據。我們沒有從中挑最有利的一列作為主結論。

全部實驗賬本與失敗排查

診斷階段發現十八條 CE 退步中十七條沒有相關候選截斷,削弱了“退步主要因為相關文本被截掉”的簡單解釋。四條證據移位探針中,前移減後移的長組均值為 -0.184535,短組為 -0.100127;身份對照分數完全相同。四格實驗又顯示,前移在無融合和有融合背景下均為負,正交互 0.050063 不能解釋為聯合方案最好。原有材料審核已完成,舊結果文件中的待審字樣屬於歷史快照,確認記錄單獨保留。

等預算比較留下了正結果,也留下代價:原十八條 CE 退步中十七條被融合改善,但原二十條 CE 改善中十三條被融合削弱。按預定“融合減 CE 最低三條”規則,查詢 242 的首篇相關文檔從 CE 第一退到融合第七,nDCG 下降 0.408765;1263、481 都從第一退到第二,各下降 0.369070。242 有多篇相關文檔,首個相關名次不能替代完整 nDCG。這裡描述的是排名事實,不據此編造模型理解了或誤解了哪句醫學語義。

排查依次檢查輸入哈希、查詢文檔映射、同分規則和詞元審計,再核對統計分組。獨立標準庫腳本重算指標、全部複本和區間端點;七類排名損壞與五類統計損壞均被拒絕。首次匿名資料下載受網絡沙箱限制,隨後授權只讀重試成功,失敗記錄保留。沒有為了更漂亮的區間刪除查詢、換種子或挑選另一種抽樣方式。

可檢驗的研究問題與停止規則

現在仍開放的問題是:固定融合在未評分的三百條確認查詢上能否達到平均增益至少 0.01,同時相對純 RRF 有何代價?下一篇沿用模型、文本、候選預算、常數和排序規則;分組仍按共享正相關文檔的連通關係,在合併模型分數前生成分組清單。一萬次重採樣,確認分析種子固定為一百一十一,同時報告查詢敏感性區間。

若確認平均增益不足門檻,就報告不支持該實用假設;無論結果如何,均報告區間是否覆蓋零及門檻,不回頭調權重再測同一確認集。證據前移使用金標準證據位置,屬於診斷性上界探針,不進入可部署候選。模型域差異、標註遺漏和未觀察主題依賴仍可能影響結果,目前沒有實驗把這些原因逐一分離。

源碼與復現入口

本篇完整源碼已公開:固定提交目錄、運行說明 README、源碼地圖 SOURCE_MAP。已匿名下載該版本,核對一百零一個文件與本地歸檔一致,並從公開副本通過真實模型試跑與獨立復算。

環境安裝與緩存準備見隨包 README。準備後最小命令為 python run.py --cache ./cache --out fresh-smoke --smoke,會執行真實五十對模型評分併產出逐對結果、配對指標、分組及區間。去掉試跑參數則執行完整的一百條開發查詢。SOURCE_MAP.md 對應公式、官方函數、固定提交、許可證和本地改動;獨立審計入口不依賴模型權重。歸檔包含全部必要自寫模塊,外部大資源通過固定身份下載,不依賴作者機器路徑。

總結

這組實驗支持繼續檢驗固定融合,也給出了清楚的反例:保護舊排名會犧牲部分新排序優勢,證據前移也沒有按直覺改善探針。可複查的負結果幫助我們縮小解釋範圍,而不會自動證明另一種機制。下一步最有價值的動作已經確定:凍結方案,完成一次確認評測,接受它可能推翻開發階段的樂觀判斷。

參考資料

檢索與實際訪問日期:2026-10-26。官方源碼提交及文件哈希見源碼地圖;論文與方法背景不代替本篇運行證據。

  1. David Wadden 等,2020,EMNLP:Fact or Fiction: Verifying Scientific Claims。
  2. Nandan Thakur、Nils Reimers、Andreas Rücklé、Abhishek Srivastava、Iryna Gurevych,2021,arXiv v4:BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models。
  3. Sentence Transformers:MiniLM-L6-v2 固定版本模型卡。
  4. Gordon V. Cormack、Charles L. A. Clarke、Stefan Büttcher,2009,SIGIR:Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods。
  5. SciPy 開發者:1.13.1 bootstrap 配對與百分位方法文檔。
  6. BEIR 作者:固定版本重排實現;Sentence Transformers 作者:固定版本 CrossEncoder。

作者作品推廣

以下是作者自有產品推廣。除了科研寫作,我也獨立開發讓日常更有條理的小工具,歡迎按自己的需要了解:

  • 日常收支小記:記錄日常收支,安排預算與儲蓄目標,給每一筆錢留下一份清楚的記錄。在 App Store 瞭解。
  • 一事微光:根據當下的時間和精力選擇小行動,記錄完成後的感受,給日常行動與復盤留一點空間。在 App Store 瞭解。

更多技術文章和個人作品,歡迎訪問作者個人網站。這兩款作品獨立於本文科研實驗,不代表論文作者或研究機構的推薦。