
摘要:先讓每一個分數有出處
此前的教學實驗讓我們知道指標怎麼計算,卻沒有回答一個更實際的問題:換成公開科研文獻,代碼中的假設還成立嗎?本篇把研究對象換成 SciFact,目標只有一個:從固定數據文件出發,通過 BEIR 官方詞項檢索鏈路,留下別人能夠檢查的候選、分數、版本和失敗記錄。這裡沒有神經模型訓練;真實目標模型是 Elasticsearch 中的 BM25 排序模型。
本次實際驗證覆蓋全部五千餘篇文檔和八百餘條開發查詢,不是縮小文檔池的演示。我們暫不比較稠密模型,也不挑選更好參數。相較上一輪,新增變量是研究對象與真實實現;凍結條件是語料、字段、分詞、候選預算和評價口徑;新增產物是後續五篇共同使用的檢索基線包。
一、復現價值:找回文獻不等於核驗科學結論
論文報告。 Wadden 等人在 EMNLP 2020 提出 SciFact,任務涉及找到包含證據的摘要、判斷支持或反駁關係,並定位依據。本文只復現文獻檢索這一環,沒有運行判斷立場或抽取證據的模型,不能把召回率叫作事實核驗準確率。原論文
論文報告。 Thakur 等人的 BEIR 工作把不同檢索任務納入統一框架,並指出詞項基線仍有競爭力。這給我們的理由是“先建立基線”,而不是預言 BM25 必然超過 Embedding。論文使用的多數據集結論,也不能直接代替本機的一次 SciFact 實驗。BEIR,2021,v4
本次實際驗證。 文件裡有三類實體:語料庫 corpus 存文檔,queries 存查詢,qrels 存查詢與相關文檔的關係。它們通過字符串 ID 連接,不能拿文件行號當主鍵。程序核對了重複 ID、相關文檔缺失、查詢與文檔 ID 碰撞,並在加載之後檢查評測查詢集合沒有變小。
二、數據審計:最危險的是看起來熟悉的名稱
| BEIR 文件 | 實際數量 | 與原始 SciFact 的對應 |
|---|---|---|
| corpus | 5,183 文檔 | 原始文檔 ID 與標題一致 |
| train qrels | 809 查詢、919 對關係 | 原始 train |
| test qrels | 300 查詢、339 對關係 | 原始 dev,並非原始無標籤 test |
這是逐 ID 核對後的關係,不能根據文件名猜測。原始測試集不公開標籤,官方說明也明確區分開發評測和測試預測。本項目把 BEIR train 當作開發池,BEIR test 留作後續確認。確認集目前只做結構與映射審計,沒有檢索、挑錯例或調參;它並非外部封存盲測,也不保證與開發池在文獻層面獨立。官方數據說明
更關鍵的是,兩份 qrels 都完全對應原始 cited_doc_ids,並不完全對應 evidence 的文檔鍵。開發池有三百餘條聲明的 evidence 為空,仍然有檢索相關文檔。因此“找到了標註文獻”不能自動解釋成“找到了支持該聲明的證據”。這一差別決定了後續錯誤分類應研究文獻匹配,而非擅自評價聲明真假。
還有一個真實失敗:最初的審計要求摘要逐字相同,直接報錯。檢查發現,1,055 篇文檔與原始摘要句子拼接結果存在純空白差異;歸一化空白後全部一致。我們保留失敗日誌,並把審計拆成“標題完全相同”“摘要歸一化後相同”,檢索仍使用 BEIR 原文件,沒有悄悄改寫輸入。
版本也不能只寫“最新版”。原始下載地址帶有 latest,本次用實際文件 SHA-256 鎖定內容,無法證明它永遠不變。獲取腳本遇到不同字節就停止。許可證以已打開的原始倉庫為準:聲明與證據標註為 CC BY 4.0,摘要為 ODC-By 1.0,代碼為 Apache 2.0;數據卡仍顯示另一舊口徑,不能混為一談。壓縮包不再分發完整語料。固定版本許可證
三、核心思想與公式:先看字段怎麼參與排序
BM25 是按詞項匹配打分的檢索模型。它獎勵查詢詞出現,抑制同一詞反覆出現的收益,並考慮文檔長度。英文分析器會影響詞形和停用詞,因此“都叫 BM25”不代表實驗等價。本次使用 Elasticsearch 7.17.9 默認參數 k1=1.2、b=0.75,不搜索參數;前者控制詞頻飽和,後者控制長度歸一化強度。官方相似度文檔
BEIR 這條鏈路分別索引標題和摘要,使用 best_fields,兩字段的合成關係可以寫成:
這裡查詢為 q、文檔為 d,兩個標量分別是標題與摘要字段的匹配分數。係數來自固定源碼的 tie_breaker,不是我們調出來的權重。它與“標題加空格加摘要後一次打分”不是同一協議,也不是把兩個分數簡單相加。官方多字段說明

圖中相關性標註只進入審計端,不參與索引或檢索評分。鎖住的確認集沒有回到開發流程的箭頭。方法圖只解釋關係,所有數值均來自保存的 JSON 日誌。
四、官方代碼閱讀路線:沿數據流讀四處
先看 GenericDataLoader.load:它按 qrels 篩選 queries,因此分母審計必須放在加載之後。再看 BM25Search.index:標題和正文進入不同字段,不能照著函數名自行拼接。接著看 lexical_multisearch:這裡決定字段、查詢類型、跨分片統計與返回數量。最後看 EvaluateRetrieval.evaluate:它調用 trec_eval 接口並將聚合值保留五位小數,原始逐查詢值需要另外保存。
實際運行還碰到兩個實現障礙。舊 Elasticsearch 客戶端引用了 NumPy 2 已刪除的類型別名,固定到 NumPy 1.26.4 後導入通過。當前 BEIR 提交又要求詞項檢索類實現兩個稠密編碼抽象接口,導致實例化失敗。附帶的 compat.py 僅讓這兩個不適用接口顯式拋出錯誤;索引、查詢和評分全部繼承原實現,沒有另寫一個“近似 BM25”。源碼地圖記錄了精確提交、行號與適配邊界。
五、最小實驗與評測協議
運行前已經保存凍結協議:先用按 ID 排序的五條開發查詢做 smoke test,再運行全部 809 條;完整語料始終保持 5,183 篇。沒有訓練階段,沒有選擇最佳種子或參數;種子 82 作為配置記錄,詞項基線不依賴隨機初始化。索引採用單分片,查詢批次為 64,每條最多保留 100 個候選。
主指標為歸一化折損累積增益 nDCG@10:
此處標註為二元相關性,排在第 i 位的文檔相關時 r 為一,否則為零;分母是同一查詢的理想排序得分,短列表缺失位置按零計。先逐查詢計算,再做宏平均,不能把所有命中文檔混成一個總比例。輔助指標 Recall@100 衡量相關文檔被找回的比例,MRR@10 衡量首個相關文檔名次的倒數。
官方檢索會多取一個候選並過濾同 ID,但本數據沒有查詢文檔 ID 碰撞。實際有 808 條返回 101 個結果,一條只返回 27 個。我們保存原始返回,再按分數降序、同分時字符串文檔 ID 降序截到 100,與 trec_eval 的同分口徑核對;絕不補造未匹配文檔。最終保存 80,827 條候選記錄,而非假設存在稠密的查詢乘文檔分數矩陣。
“完整候選”在這裡指本次約定預算內的全部返回,不是窮舉所有文檔得分。未進入返回池的文檔沒有保存分數,不能事後拿這份文件計算任意深度的召回。未來重排也只能使用同一候選池;若增加檢索深度,應登記為新實驗。對於並列分數,當前排序規則只約束已返回候選,不能保證跨版本的邊界候選集合完全一致。
六、本次實際驗證:均值之外保留失敗
| 固定開發協議 | 實測結果 |
|---|---|
| nDCG@10 | 0.69427 |
| Recall@100 | 0.93506 |
| MRR@10 | 0.66252 |
| 前十名沒有任何相關文檔 | 133 / 809 |
| 前百名沒有任何相關文檔 | 47 / 809 |
這些數值來自本機運行,不是論文報告或排行榜抄錄。全部逐查詢 nDCG 與 Recall 用獨立標量公式重算,與官方接口最大誤差約為一乘十的負十六次方。空結果按零計、缺失查詢拒絕通過、同分排序和第二名命中也有獨立檢查。該核對支持“程序按既定口徑計算”,不證明標註完備。
CPU 環境為 macOS 26.6 arm64、Python 3.12.14、Lucene 8.11.1。預處理約 0.149 秒,建索引約 1.281 秒,檢索約 0.651 秒,評測約 0.066 秒;總入口約 2.867 秒,不包含下載和服務啟動。Python 峰值常駐內存約 112.4 MiB;服務堆上限 512 MiB,結束時堆佔用快照約 269.8 MiB,服務峰值內存未測量。服務已經過 smoke 預熱,所以不能稱這些耗時為冷啟動性能。
七、失敗排查與可檢驗研究問題
首先查實驗故障,再解釋模型。網絡代理不可達、端口被沙箱拒絕、依賴衝突、抽象類報錯都已記錄;它們不是檢索失敗。建索引後顯式刷新並檢查文檔數,也比等待固定秒數更可靠。將來復用索引時,程序逐文檔核對存儲字段,避免同名索引裡混入舊數據。
查詢 173 只有 27 個候選,相關文檔未出現。這只是可定位的現象,不能立刻命名為“語義鴻溝”。可能解釋包括詞形處理、專有名詞匹配不足,以及標註對應文獻與表述差距。尚未完成的人工錯誤分類明確留待人工核驗,本文沒有偽造人工審查結論。
作者推斷。 下一篇可以檢驗一個有限假設:凍結同一語料、查詢和候選預算後,稠密模型是否主要改善本次漏召回查詢,同時損失一部分詞項命中查詢?需要看逐查詢配對差值及新增、丟失文檔,不能只看總均值。如果提升只來自更長輸入或更多候選,就不能歸因於表示能力。此前失敗樣本可用於開發分析;確認集必須等方案凍結後再評測,查詢之間可能共享文獻,後續區間估計還要審計分組相關性。
八、源碼與復現入口
本篇完整代碼已公開在 GitHub,以下入口均固定到提交 cae9252,後續維護不會改變本文引用的版本:
先按 README 安裝固定依賴、校驗數據並啟動本地服務,在本篇源碼目錄運行 python run.py --cache /path/to/research_cycle6 --out results/my_run。具體實現與配置請通過上述鏈接查看,無需博客 ZIP 附件。
這是實際驗證過的完整開發集入口;加 --limit 5 可試跑。預期產物包括原始候選、TREC runfile、逐查詢指標、聚合結果、數據審計、環境與階段狀態。本次執行到真實檢索和官方評測,未運行稠密編碼、重排、訓練或確認集。緩存身份包含模型構建、分析器、數據、配置、代碼和依賴版本;本篇沒有 prompt 與解碼,顯式記錄為空。源碼包排除環境、索引、完整語料及服務發行包,外部資源由固定哈希獲取腳本恢復。
代碼與文章一起保留為本次實驗的完整快照,運行數據和環境放在獨立緩存目錄。後續若抽取共享模塊,應固定版本,並在各篇實驗包中包含所需代碼;歷史文章不能直接依賴不斷變化的公共目錄。這樣既能延續一個研究項目,也能讓讀者單獨下載某一篇並複查當時的結果。
九、總結
第一次真實復現的收穫,不只是一個分數,而是知道這個分數究竟衡量什麼。劃分名稱、相關性語義、字段組合和候選數量都會改變解釋。保存失敗與版本以後,下一篇才有資格問“另一種方法改善了哪些查詢”。本篇已經建立可重放的開發基線,下一篇將沿同一協議研究稠密檢索帶來的逐查詢變化。
參考資料
檢索與實際訪問日期:2026-09-25。論文年份、作者及版本已核對;源碼永久鏈接、許可證和本地映射見 SOURCE_MAP。
- Wadden, Lin, Lo, Wang, van Zuylen, Cohan, Hajishirzi. Fact or Fiction: Verifying Scientific Claims. EMNLP, 2020。
- Thakur, Reimers, Rücklé, Srivastava, Gurevych. BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS Datasets and Benchmarks, 2021。
- BEIR Authors. 官方代碼,固定提交。
- Allen Institute for AI. SciFact 固定提交與數據說明。
- Elastic. 7.17 多字段檢索、BM25 默認參數、英文分析器。