
- 日期:2026-10-23
- 讀者:研究生、科研新人和工程型研究者
- 範圍:四條已觀察開發查詢,五十個凍結候選,四種輸入條件;八項文本變換已於2026年10月24日完成語義與標籤保持檢查。
摘要:先問什麼結果會讓自己改變解釋
“把證據放到前面,重排就會更好”,是一個很容易接受的直覺。上一篇卻發現,十八條退步查詢中,十七條的已召回相關文檔沒有截斷。現在需要的不是再找幾個符合故事的例子,而是安排讓這個解釋可能失敗的對照。
本次實際完成八百次真實模型計分:長文本和短文本各兩條,分別比較原文、原樣重建、證據前移、證據後移。兩個組都出現前移後排名下降,未出現排名指標提升。完整句子都還在,不等於重排後的語義一定不變;八項變換隨後通過語義與標籤保持檢查,原相關性標籤得以沿用。這項檢查解除標籤保持的待審項,不消除小樣本和多變量共同變化的限制。
復現價值:區分性來自預測,而不來自實驗規模
所謂區分性實驗,是讓不同解釋對同一觀察給出不同預期。若退步主要因為相關證據未進入模型,那麼恢復證據可見性應當帶來選擇性改善;若文本完整時順序變化仍能改變分數,就需要考慮位置、篇章組織與模型打分偏好。兩種現象也可能同時存在,不必強行選出唯一原因。
SciFact 論文報告的任務包含科學主張的支持或反駁,以及證據句定位;本文沿用其公開標註,只評測文檔相關性。[1] 支持和反駁主張的文檔都可能是相關文檔。檢索分數因此不能解釋成科學判斷正確率,更不能把一個重排分數稱為模型對主張的置信概率。
本篇延續同一檢索研究項目,相比上一篇新增的受控變量是相關文檔內的句子位置。模型、查詢、標題和候選列表全部凍結。四個探針來自此前已經觀察過的一百條開發查詢,既不是隨機代表樣本,也不是新的確認集。三百條確認查詢繼續保留,融合方案仍留到後續單獨比較。
核心思想與公式:同時觀察有截斷和無截斷
令 為文檔 的原標註證據句索引並集, 為其餘句子。前移輸入按照“證據塊、其餘塊”拼接,後移輸入反過來;每個塊內部保留原順序,所有句子都保留一次。並集用於操作定位,不意味著多個理由集合必須聯合出現才足以支持判斷。
交叉編碼器聯合讀取查詢與文檔,輸出標量分數:
其中 是查詢, 是輸入條件, 是句序變換, 是凍結權重;分詞器把一對輸入共同限制到五百一十二個 token。token 是模型讀取的子詞單位,聯合上限還包括查詢和特殊符號,不能把它誤寫成摘要可用五百一十二個詞。
主指標 nDCG@10 衡量前十位相關文檔的排序質量,越靠前折損越小,並以理想排序歸一化。本次每條查詢只有一篇標註相關文檔;它位於第 名時,前十內指標為 ,超過前十則為零。預先登記的配對量為:
表示該查詢的 nDCG,兩個橫線各是兩條查詢的均值。 只是描述性組差:兩組主題與文檔難度未隨機匹配,不能把它當作截斷的獨立因果效應,更不能用四條樣本做總體顯著性宣稱。
官方代碼閱讀路線:標籤、文本與截斷逐層對齊
先讀 SciFact 的數據格式說明,區分文檔編號、證據集合和從零開始的句號索引。[2] 本次使用原始訓練標註與分句語料,把證據定位到實際句子;不讓語言模型重新生成“看起來合理”的證據。原始摘要逐句去除首尾空白後,拼接結果必須與 BEIR 文本一致。
再讀 BEIR 的 Rerank.rerank,確認標題、空格、摘要的拼法,以及候選分數如何對應文檔編號。[3] 最後讀 Sentence Transformers 的聯合分詞和 predict:本次執行官方模型路徑,只在外部替換相關文檔的文本視圖,不修改網絡。[4] 字符偏移審計記錄證據句末端是否落在保留輸入內,完整句可見和僅部分出現分開記錄。
模型固定為 cross-encoder/ms-marco-MiniLM-L6-v2,模型與分詞器修訂均為 233902d25c440f23af6f7d6e94d2946bac0bee0a。模型卡說明其面向段落重排;這不是領域能力保證。[5] 官方源碼的提交、行號、許可證及實際字節核對記錄見源碼地圖。
最小實驗:先選材料,後看模型分數
選擇規則在本篇推理前凍結。先要求查詢恰有一篇標註相關文檔,且在五十候選中;變換前後原始 token 數相同。長文本要求前移後證據全部可見、後移後至少一句不完整;短文本要求所有條件均不超過長度上限且證據全部可見。每組按固定前綴加查詢編號的哈希排序取前兩條,不按模型輸贏選擇。
合格池有十條長文本和三十七條短文本,最終選出長組 454、30,短組 280、155。目標文檔聯合原始長度分別是 608、728、376、226。只修改每條查詢的標註相關文檔,其餘四十九個候選完整保留;因此這是藉助標籤的診斷探針,不能作為無需標籤的真實檢索改進。
四種條件各自重新計分全部候選。原樣重建是實現負對照,用於抓住拼接和映射錯誤;短文本是無證據截斷的對照,用來觀察順序本身的敏感性。長文本的證據可見性檢查是操作正控,只檢驗變換是否做到預定事情,不預設模型分數必須提高。
運行固定 CPU 單精度、四線程、批量十六、隨機種子一百零七,不訓練。先用同樣四條查詢的前兩候選加相關文檔去重試跑,本次每條實際仍為兩個候選,共三十二次計分;估計正式推理約十六點七秒,低於一千二百秒預算。正式運行八百對,推理二十點八六秒,總耗時二十四點六零秒,峰值進程內存 786579456 字節,約零點七三 GiB。
實際驗證:證據完整出現,並未保證名次改善
下表沿用經檢查保持的原始相關性標籤,數值與審核前保存的計算一致。身份對照與原文完全一致,故不重複列出。
| 查詢與組別 | 原文相關文檔名次 | 前移名次 | 後移名次 | 前移減後移 nDCG |
|---|---|---|---|---|
| 454,長文本 | 1 | 1 | 1 | 0.000000 |
| 30,長文本 | 1 | 2 | 1 | −0.369070 |
| 280,短文本 | 1 | 1 | 1 | 0.000000 |
| 155,短文本 | 2 | 4 | 2 | −0.200253 |
長組均值為 −0.184535,短組為 −0.100127,組差為 −0.084409。查詢 30 的四個證據句從僅一句完整可見變為全部可見,目標分數卻從後移的 4.870255 降到前移的 3.922231。查詢 155 沒有證據截斷,前移同樣使排序下降。它們構成已通過語義檢查的局部反例,仍不是隔離截斷作用的因果證據。
也不能只盯名次。查詢 280 前移後的分數從 5.811522 升至 7.137649,仍排第一,因此 nDCG 不變;查詢 454 分數下降也未掉出第一。名次具有離散性和天花板,零指標變化不等於模型沒有響應。四條原文中三條已經第一,還進一步限制了可以觀察到的改善空間。
每個條件實際有效輸入總量都是 75683 token,候選召回率均為一。形狀檢查為輸入 、末層表示 、分數 ,分別表示批量、聯合長度、隱藏維度和單分數輸出。二百個原文分數與上一篇保存記錄完全相同,身份對照誤差也為零。
評測協議:哪些解釋仍然混在一起

圖中前綴窗口示意長文本;短文本的全部內容都在窗口內。四條件共享材料審計,語義檢查與分數計算分開,審核包不展示模型結果。不過正文與聊天已經披露結果,因此不能據此宣稱本次是獨立盲審。
前移同時改變證據位置、前後文連接,以及截斷後剩下哪些非證據句。即使 token 總量相同,模型看到的語境也並不等價。因此目前的作者推斷只能是:證據完整可見不是排序改善的充分條件,篇章或順序效應值得繼續區分。它不證明截斷永遠無關,也沒有證明另一種“覆蓋有用排名”解釋已經獲勝。
該實驗沒有專門只抽取上一篇的十八條退步樣本,檢驗的是更強、更一般的恢復直覺;它不能估算那些退步中有多少由截斷造成。後續應繼續遵守已登記的固定排名融合對照,不能看到前移不佳就臨時換模型、挑新樣本,或提前試用確認集尋找好結果。
失敗排查與語義檢查邊界
第一次材料構建因文本一致性斷言失敗而停止:原始分句帶有末尾空白,直接用空格連接與 BEIR 導出不一致。修復為逐句去除首尾空白後,全語料五千一百八十三篇均能重建;此修復發生在選樣凍結和任何本篇模型前向之前。網絡限制導致的源碼讀取失敗也保留了日誌,後續匿名重試核驗通過。
獨立腳本沒有調用主運行腳本的指標函數,而是從保存分數重新排序、計算折損和配對差,檢查全部八百對、候選集合、句子排列與輸入身份。七類損壞測試均被拒絕,包括改分數、漏候選、改 token 數和偽造審核通過。它證明確定性賬本一致,不證明文本語義合法。
語義檢查覆蓋四查詢的前移、後移共八個變換:指代是否仍明確,否定和時間關係是否改變,對照組描述是否被拆散,完整文檔是否仍保持原相關性。八項檢查已於2026年10月24日通過,相關記錄與材料哈希單獨歸檔。原始空白回覆表和運行時待審日誌作為歷史證據保留,以帶日期的後續記錄反映當前狀態。檢查沒有提供逐項理由,因而不能據此聲稱獲得了細粒度錯誤解釋。原數據集證據標註、腳本復算與語義判斷分別回答不同問題,不能互相替代。
源碼與復現入口
本篇技術配套包已公開並核驗:源碼目錄、README 運行說明、SOURCE_MAP 源碼地圖。公開版本的五十六個文件與本地及 ZIP 逐一匹配,運行入口與前版一致,沿用前版公開副本的真實試跑記錄。包內含配置、材料、依賴鎖、逐對分數、審計器與無分數審核頁;大資源按固定版本和哈希獲取。新增語義檢查記錄與更新後的說明文檔已隨固定版本公開;實驗代碼、輸入和數值保持原樣。
按 README 安裝依賴並執行數據準備後,最小真實命令為:
HF_HUB_OFFLINE=1 TOKENIZERS_PARALLELISM=false python run.py --cache ./cache --out replay-smoke --smoke
預期產生三十二對分數、輸入哈希、階段日誌、形狀和按原標籤計算的指標;刪除試跑參數並指定新目錄可復跑八百對。再運行 python audit.py --out replay-smoke 獨立復算。原始結果、失敗和空白審核表同時保留。重跑程序仍輸出凍結時的待審狀態;解釋本次已確認材料時,需聯合讀取帶哈希的後續檢查記錄,不能把程序輸出當作新審核。
總結
一個有用的最小實驗不必讓新方法勝出,但必須讓自己的解釋面臨輸掉的可能。本篇把證據可見性、順序變化和實現錯誤分別放進對照,也暴露了小樣本天花板與語義合法性限制。語義與標籤保持檢查已經完成,下一步將帶著這些邊界進入強基線比較,不因反例成立就提前承諾新方法會贏。
參考資料
檢索與固定源碼核驗日期:2026-10-23。論文支撐任務背景,本文數值來自實際保存日誌;語義與標籤保持檢查於2026年10月24日通過。
- David Wadden、Shanchuan Lin、Kyle Lo、Lucy Lu Wang、Madeleine van Zuylen、Arman Cohan、Hannaneh Hajishirzi,2020,Fact or Fiction: Verifying Scientific Claims,EMNLP,會議頁面。
- SciFact 作者,固定版本的數據格式說明。
- BEIR 作者,固定版本 Rerank 實現。
- Sentence Transformers 維護者,固定版本 CrossEncoder。
- Sentence Transformers,本次權重版本的模型卡。
作者作品推廣
以下是作者自有產品推廣。除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:
- 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
- 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。
更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。