可審計科研文獻檢索實驗封面

摘要:先讓每一個分數有出處

此前的教學實驗讓我們知道指標怎麼計算,卻沒有回答一個更實際的問題:換成公開科研文獻,代碼中的假設還成立嗎?本篇把研究對象換成 SciFact,目標只有一個:從固定數據文件出發,通過 BEIR 官方詞項檢索鏈路,留下別人能夠檢查的候選、分數、版本和失敗記錄。這裡沒有神經模型訓練;真實目標模型是 Elasticsearch 中的 BM25 排序模型。

本次實際驗證覆蓋全部五千餘篇文檔和八百餘條開發查詢,不是縮小文檔池的演示。我們暫不比較稠密模型,也不挑選更好參數。相較上一輪,新增變量是研究對象與真實實現;凍結條件是語料、字段、分詞、候選預算和評價口徑;新增產物是後續五篇共同使用的檢索基線包。

一、復現價值:找回文獻不等於核驗科學結論

論文報告。 Wadden 等人在 EMNLP 2020 提出 SciFact,任務涉及找到包含證據的摘要、判斷支持或反駁關係,並定位依據。本文只復現文獻檢索這一環,沒有運行判斷立場或抽取證據的模型,不能把召回率叫作事實核驗準確率。原論文

論文報告。 Thakur 等人的 BEIR 工作把不同檢索任務納入統一框架,並指出詞項基線仍有競爭力。這給我們的理由是“先建立基線”,而不是預言 BM25 必然超過 Embedding。論文使用的多數據集結論,也不能直接代替本機的一次 SciFact 實驗。BEIR,2021,v4

本次實際驗證。 文件裡有三類實體:語料庫 corpus 存文檔,queries 存查詢,qrels 存查詢與相關文檔的關係。它們通過字符串 ID 連接,不能拿文件行號當主鍵。程序核對了重複 ID、相關文檔缺失、查詢與文檔 ID 碰撞,並在加載之後檢查評測查詢集合沒有變小。

二、數據審計:最危險的是看起來熟悉的名稱

BEIR 文件 實際數量 與原始 SciFact 的對應
corpus 5,183 文檔 原始文檔 ID 與標題一致
train qrels 809 查詢、919 對關係 原始 train
test qrels 300 查詢、339 對關係 原始 dev,並非原始無標籤 test

這是逐 ID 核對後的關係,不能根據文件名猜測。原始測試集不公開標籤,官方說明也明確區分開發評測和測試預測。本項目把 BEIR train 當作開發池,BEIR test 留作後續確認。確認集目前只做結構與映射審計,沒有檢索、挑錯例或調參;它並非外部封存盲測,也不保證與開發池在文獻層面獨立。官方數據說明

更關鍵的是,兩份 qrels 都完全對應原始 cited_doc_ids,並不完全對應 evidence 的文檔鍵。開發池有三百餘條聲明的 evidence 為空,仍然有檢索相關文檔。因此“找到了標註文獻”不能自動解釋成“找到了支持該聲明的證據”。這一差別決定了後續錯誤分類應研究文獻匹配,而非擅自評價聲明真假。

還有一個真實失敗:最初的審計要求摘要逐字相同,直接報錯。檢查發現,1,055 篇文檔與原始摘要句子拼接結果存在純空白差異;歸一化空白後全部一致。我們保留失敗日誌,並把審計拆成“標題完全相同”“摘要歸一化後相同”,檢索仍使用 BEIR 原文件,沒有悄悄改寫輸入。

版本也不能只寫“最新版”。原始下載地址帶有 latest,本次用實際文件 SHA-256 鎖定內容,無法證明它永遠不變。獲取腳本遇到不同字節就停止。許可證以已打開的原始倉庫為準:聲明與證據標註為 CC BY 4.0,摘要為 ODC-By 1.0,代碼為 Apache 2.0;數據卡仍顯示另一舊口徑,不能混為一談。壓縮包不再分發完整語料。固定版本許可證

三、核心思想與公式:先看字段怎麼參與排序

BM25 是按詞項匹配打分的檢索模型。它獎勵查詢詞出現,抑制同一詞反覆出現的收益,並考慮文檔長度。英文分析器會影響詞形和停用詞,因此“都叫 BM25”不代表實驗等價。本次使用 Elasticsearch 7.17.9 默認參數 k1=1.2、b=0.75,不搜索參數;前者控制詞頻飽和,後者控制長度歸一化強度。官方相似度文檔

BEIR 這條鏈路分別索引標題和摘要,使用 best_fields,兩字段的合成關係可以寫成:

s(q,d)=max⁡(st,sa)+0.5min⁡(st,sa).s(q,d)=\max(s_t,s_a)+0.5\min(s_t,s_a).

這裡查詢為 q、文檔為 d,兩個標量分別是標題與摘要字段的匹配分數。係數來自固定源碼的 tie_breaker,不是我們調出來的權重。它與“標題加空格加摘要後一次打分”不是同一協議,也不是把兩個分數簡單相加。官方多字段說明

檢索與評測流程

圖中相關性標註只進入審計端,不參與索引或檢索評分。鎖住的確認集沒有回到開發流程的箭頭。方法圖只解釋關係,所有數值均來自保存的 JSON 日誌。

四、官方代碼閱讀路線:沿數據流讀四處

先看 GenericDataLoader.load:它按 qrels 篩選 queries,因此分母審計必須放在加載之後。再看 BM25Search.index:標題和正文進入不同字段,不能照著函數名自行拼接。接著看 lexical_multisearch:這裡決定字段、查詢類型、跨分片統計與返回數量。最後看 EvaluateRetrieval.evaluate:它調用 trec_eval 接口並將聚合值保留五位小數,原始逐查詢值需要另外保存。

實際運行還碰到兩個實現障礙。舊 Elasticsearch 客戶端引用了 NumPy 2 已刪除的類型別名,固定到 NumPy 1.26.4 後導入通過。當前 BEIR 提交又要求詞項檢索類實現兩個稠密編碼抽象接口,導致實例化失敗。附帶的 compat.py 僅讓這兩個不適用接口顯式拋出錯誤;索引、查詢和評分全部繼承原實現,沒有另寫一個“近似 BM25”。源碼地圖記錄了精確提交、行號與適配邊界。

五、最小實驗與評測協議

運行前已經保存凍結協議:先用按 ID 排序的五條開發查詢做 smoke test,再運行全部 809 條;完整語料始終保持 5,183 篇。沒有訓練階段,沒有選擇最佳種子或參數;種子 82 作為配置記錄,詞項基線不依賴隨機初始化。索引採用單分片,查詢批次為 64,每條最多保留 100 個候選。

主指標為歸一化折損累積增益 nDCG@10:

nDCG@10(q)=∑i=110ri/log⁡2(i+1)IDCG@10(q).\mathrm{nDCG@10}(q)=\frac{\sum_{i=1}^{10}r_i/\log_2(i+1)}{\mathrm{IDCG@10}(q)}.

此處標註為二元相關性,排在第 i 位的文檔相關時 r 為一,否則為零;分母是同一查詢的理想排序得分,短列表缺失位置按零計。先逐查詢計算,再做宏平均,不能把所有命中文檔混成一個總比例。輔助指標 Recall@100 衡量相關文檔被找回的比例,MRR@10 衡量首個相關文檔名次的倒數。

官方檢索會多取一個候選並過濾同 ID,但本數據沒有查詢文檔 ID 碰撞。實際有 808 條返回 101 個結果,一條只返回 27 個。我們保存原始返回,再按分數降序、同分時字符串文檔 ID 降序截到 100,與 trec_eval 的同分口徑核對;絕不補造未匹配文檔。最終保存 80,827 條候選記錄,而非假設存在稠密的查詢乘文檔分數矩陣。

“完整候選”在這裡指本次約定預算內的全部返回,不是窮舉所有文檔得分。未進入返回池的文檔沒有保存分數,不能事後拿這份文件計算任意深度的召回。未來重排也只能使用同一候選池;若增加檢索深度,應登記為新實驗。對於並列分數,當前排序規則只約束已返回候選,不能保證跨版本的邊界候選集合完全一致。

六、本次實際驗證:均值之外保留失敗

固定開發協議 實測結果
nDCG@10 0.69427
Recall@100 0.93506
MRR@10 0.66252
前十名沒有任何相關文檔 133 / 809
前百名沒有任何相關文檔 47 / 809

這些數值來自本機運行,不是論文報告或排行榜抄錄。全部逐查詢 nDCG 與 Recall 用獨立標量公式重算,與官方接口最大誤差約為一乘十的負十六次方。空結果按零計、缺失查詢拒絕通過、同分排序和第二名命中也有獨立檢查。該核對支持“程序按既定口徑計算”,不證明標註完備。

CPU 環境為 macOS 26.6 arm64、Python 3.12.14、Lucene 8.11.1。預處理約 0.149 秒,建索引約 1.281 秒,檢索約 0.651 秒,評測約 0.066 秒;總入口約 2.867 秒,不包含下載和服務啟動。Python 峰值常駐內存約 112.4 MiB;服務堆上限 512 MiB,結束時堆佔用快照約 269.8 MiB,服務峰值內存未測量。服務已經過 smoke 預熱,所以不能稱這些耗時為冷啟動性能。

七、失敗排查與可檢驗研究問題

首先查實驗故障,再解釋模型。網絡代理不可達、端口被沙箱拒絕、依賴衝突、抽象類報錯都已記錄;它們不是檢索失敗。建索引後顯式刷新並檢查文檔數,也比等待固定秒數更可靠。將來復用索引時,程序逐文檔核對存儲字段,避免同名索引裡混入舊數據。

查詢 173 只有 27 個候選,相關文檔未出現。這只是可定位的現象,不能立刻命名為“語義鴻溝”。可能解釋包括詞形處理、專有名詞匹配不足,以及標註對應文獻與表述差距。尚未完成的人工錯誤分類明確留待人工核驗,本文沒有偽造人工審查結論。

作者推斷。 下一篇可以檢驗一個有限假設:凍結同一語料、查詢和候選預算後,稠密模型是否主要改善本次漏召回查詢,同時損失一部分詞項命中查詢?需要看逐查詢配對差值及新增、丟失文檔,不能只看總均值。如果提升只來自更長輸入或更多候選,就不能歸因於表示能力。此前失敗樣本可用於開發分析;確認集必須等方案凍結後再評測,查詢之間可能共享文獻,後續區間估計還要審計分組相關性。

八、源碼與復現入口

本篇完整代碼已公開在 GitHub,以下入口均固定到提交 cae9252,後續維護不會改變本文引用的版本:

先按 README 安裝固定依賴、校驗數據並啟動本地服務,在本篇源碼目錄運行 python run.py --cache /path/to/research_cycle6 --out results/my_run。具體實現與配置請通過上述鏈接查看,無需博客 ZIP 附件。

這是實際驗證過的完整開發集入口;加 --limit 5 可試跑。預期產物包括原始候選、TREC runfile、逐查詢指標、聚合結果、數據審計、環境與階段狀態。本次執行到真實檢索和官方評測,未運行稠密編碼、重排、訓練或確認集。緩存身份包含模型構建、分析器、數據、配置、代碼和依賴版本;本篇沒有 prompt 與解碼,顯式記錄為空。源碼包排除環境、索引、完整語料及服務發行包,外部資源由固定哈希獲取腳本恢復。

代碼與文章一起保留為本次實驗的完整快照,運行數據和環境放在獨立緩存目錄。後續若抽取共享模塊,應固定版本,並在各篇實驗包中包含所需代碼;歷史文章不能直接依賴不斷變化的公共目錄。這樣既能延續一個研究項目,也能讓讀者單獨下載某一篇並複查當時的結果。

九、總結

第一次真實復現的收穫,不只是一個分數,而是知道這個分數究竟衡量什麼。劃分名稱、相關性語義、字段組合和候選數量都會改變解釋。保存失敗與版本以後,下一篇才有資格問“另一種方法改善了哪些查詢”。本篇已經建立可重放的開發基線,下一篇將沿同一協議研究稠密檢索帶來的逐查詢變化。

參考資料

檢索與實際訪問日期:2026-09-25。論文年份、作者及版本已核對;源碼永久鏈接、許可證和本地映射見 SOURCE_MAP。

  1. Wadden, Lin, Lo, Wang, van Zuylen, Cohan, Hajishirzi. Fact or Fiction: Verifying Scientific Claims. EMNLP, 2020。
  2. Thakur, Reimers, Rücklé, Srivastava, Gurevych. BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS Datasets and Benchmarks, 2021。
  3. BEIR Authors. 官方代碼,固定提交。
  4. Allen Institute for AI. SciFact 固定提交與數據說明。
  5. Elastic. 7.17 多字段檢索、BM25 默認參數、英文分析器。