Reading从最小复现到可检验的科研问题

Reranker 的上限在哪里：召回失败还是排序失败？——SciFact 100 条开发查询实验

2026.09.288 min readAI Papers · Research Notes

固定候选与重排实验装置

日期：2026-09-28
读者：研究生、科研新人和工程型研究者
范围：完整 5,183 篇语料的既有检索结果；抽取 100 条开发查询，每条重排 50 个候选；不代表完整基准。

摘要：先问文档在哪里，再问模型强不强

上一篇观察倒数排名融合（RRF）如何改变词项与向量检索的结果。本篇只增加一个变量：把冻结候选交给交叉编码器重新打分。实际运行后，主要指标没有提高，但我们获得了更具体的失败地图：哪些查询在进入模型前就失去了相关文档，哪些查询仍有排序空间。

这是一项诊断性复现。目标不是证明重排器必然有效，而是让“它为什么没赢”成为可以检查的命题。全部结果来自真实公开数据、冻结模型和官方推理模块；理想排序属于使用标签计算的诊断参照，后续解释属于待验证假设。

一、复现价值：把一个总分拆成两个问题

重排器（reranker）接收检索器已经选出的文档，改变其顺序。若相关论文未进入候选集合，再强的排序函数也无法凭空补回。若它已经进入候选，只是排在第十三名，则模型有机会把它推到前十。两类情况需要不同实验，混在一个均值里会误导改进方向。

【论文报告】Nogueira 与 Cho 的《Passage Re-ranking with BERT》把查询和候选段落联合输入 BERT，再按相关性得分排序；论文研究的是检索后的第二阶段。原文使用 BERT-LARGE 并进行训练。本篇采用公开 MiniLM 检查点推理，不声称复现原论文训练或成绩。[1]

【本次实际验证】沿用 SciFact 与 BEIR 的版本和划分：809 条 BEIR train 查询作为开发资源，300 条 BEIR test 查询继续保留。082 已核对后者对应原始 SciFact 开发划分；这是一份本项目未用于调参的确认资源，不是外部密封盲测。检索相关性也不等于支持、反驳或事实核验正确率。[2][3]

二、核心思想：联合读一对文本，而非比较两个向量

双编码器分别计算查询和文档向量；交叉编码器把两段文本放入同一次前向计算，使查询中的词可以与候选正文交互。这里的打分可简写为：

s_\theta(q,d)=f_\theta(\operatorname{tokens}(q,\mathrm{title}(d)\Vert\mathrm{text}(d)))\in\mathbb R.

其中， $q$ 是查询， $d$ 是候选文档， $\Vert$ 表示用单个空格拼接， $f_\theta$ 包括冻结的编码器与分类头。输出是一个实数 logit，即未做概率归一化的模型得分；数值较大排在前面，不把它当作“相关概率”。本模型固定配置使用 Identity 激活，直接保留原始得分。[4]

本次形状检查实际得到输入编号张量 [2,512]、末层隐藏状态 [2,512,384]、分类头输出 [2,1]，官方预测接口再展平成 [2]。两个样例的直接前向 logit 与接口输出最大差为零。这里的二表示两对查询文档，五百一十二是含特殊符号的联合长度上限；它不是分别允许查询与摘要各五百一十二个 token。

冻结候选与标签隔离的重排协议

三、官方代码阅读路线：最需要检查的是边界

从源码地图先读 BEIR 的 Rerank.rerank：它遍历候选，构造查询与“标题空格摘要”文本对，同时保存查询、文档编号；调用预测接口后，再把得分放回对应编号。若这一步错位，指标可能正常输出，实验却已经失效。[5]

随后读 Sentence Transformers 的 smart_batching_collate_text_only，确认去除首尾空白、动态补齐与 longest_first 截断；再读 predict，核对关闭训练模式、关闭梯度、激活函数和批次输出顺序。正文的张量检查对应这条实际链路，不是另写一个相似网络代替官方实现。[6]

源码包原样保留 BEIR 重排模块及 Apache 2.0 许可，未改其打分或编号映射。模型加载使用已安装的官方依赖；本地新增的是协议、哈希核验、指标复算和错误诊断。源码地图给出实际核验的提交、文件与行号，并区分复制代码与独立教学实现。

四、最小实验：只让排序变化

运行前登记规则：将 809 个开发查询编号按 SHA256("85:" + query_id) 排序，取前 100 个；每条保留上一篇固定 RRF 参数六十所得的前五十候选。不根据相关标签、重排得分或失败案例挑样本。原始检索覆盖完整语料，本次缩小的是查询数量与候选预算，不能与上一篇的全量均值直接比较。

冻结模型为 cross-encoder/ms-marco-MiniLM-L6-v2，权重和分词器 revision 均为 233902d25c440f23af6f7d6e94d2946bac0bee0a。数据归档没有独立 Git revision，沿用已校验下载地址、归档哈希与文件哈希作为版本身份。CPU、四线程、批量十六、联合长度五百一十二、单精度、随机种子八十五；没有提示词、训练或解码过程。[4]

先执行五条查询、每条十候选的试跑。五十对真实文本推理耗时 1.30 秒，峰值进程内存约 0.90 GB，线性估计低于预登记的九百秒预算，才进入五千对主实验。试跑得分不用于改模型或改协议。正式重排耗时 135.33 秒，含导入、校验、加载与审计的总运行耗时 141.98 秒，峰值进程内存约 1.11 GB；这些是本机测量，不包含此前检索与网络下载。

缓存身份记录模型、分词器、数据、文本规则、候选、配置和源码哈希。下载、预处理、模型加载、推理、评测分别留状态；逐对结果保存原名次、新名次、logit、相关标签和截断情况。模型权重留在显式缓存中，源码归档不携带环境或权重。

五、评测协议：理想候选顺序给出什么上限

主指标 nDCG@10 是“归一化折损累计增益”：相关文档排得越靠前贡献越大，再除以全体已标注相关文档的理想得分。分母不能只用已召回文档，否则漏召回会被掩盖。辅助报告前十召回率、前五十召回率，以及首个相关结果倒数排名的均值 MRR@10。

令 $C_q$ 为冻结候选集， $R_q$ 为已标注相关集，候选内最优 nDCG 为：

U_q=\frac{\sum_{i=1}^{\min(10,|C_q\cap R_q|)}1/\log_2(i+1)}{\sum_{i=1}^{\min(10,|R_q|)}1/\log_2(i+1)}.

这里二元相关标签决定哪些文档可以贡献一分；把所有已召回相关文档排到最前即可达到这个 oracle，即知道标签的理想参照。它使用答案计算，不能作为可部署系统，也没有参与模型输入或方案选择。

若模型实际得到 $M_q$ ，则 $1-M_q=(1-U_q)+(U_q-M_q)$ 。右边依次表示候选集合造成的指标缺口与当前排序相对候选上限的缺口。它是固定标注、固定候选和固定指标下的算术分解，不证明后一项全能由换模型消除。数据偏差、截断与标签遗漏也可能影响它。

六、实际结果：召回更多，不一定排得更好

同一百条查询	nDCG@10	Recall@10	Recall@50	MRR@10
原 RRF 顺序	0.6709	0.7775	0.9050	0.6374
交叉编码器重排	0.6691	0.8175	0.9050	0.6267
候选内理想顺序	0.9061	0.9050	0.9050	0.9100

主指标差值为 −0.001774，逐查询为二十胜、六十二平、十八负。前十召回率提高，但主要指标与首个相关结果位置均值略降，说明“进入前十”和“排到最前”是不同目标。未估计置信区间，不能据此宣称模型显著更差，更不能推广到完整 SciFact 或其他重排器。

保存结果生成的均值与逐查询差值

五十候选成员完全一致，因此前五十召回率必然不变；独立审计逐条验证了这一点。九条查询没有任何相关候选；八条存在相关候选但重排后前十未命中；八十三条前十至少命中一次。另外一条只召回部分相关文档，不能用“命中过”代替完整覆盖。平均候选缺口为 0.09387，平均排序缺口为 0.23700，二者共同组成剩余误差。

七、失败排查：先检查记录，再提出解释

自动选取差值最小与最大的各三条，不声称人工标注。查询 817 的首个相关文档由第二名降到第十五名，是明确的候选内排序失败；查询 764 则由第十三名升到第二名。查询 309 从第一名降到第六名，前十仍命中，却损失大量折损收益。这解释了为什么胜的查询略多，总均值仍可下降。

排查顺序应从编号对应、候选集合和评价分母开始，再检查 token 与内容。本次五千对中有 569 对发生截断，原始合计 1,834,958 个 token，截断后保留 1,761,679 个；这是文本对累计量，同一查询被重复计算，且不含动态补齐的额外计算。不能直接与双编码器一次性文档编码的 token 量比较。

所有指标由标准评测器产生，再由独立代码复算；同时检查每对分数与排名、理想上限闭式公式及误差分解。未标注文档按评测协议记为不相关，不代表其科学内容真的无关。只看高分错误样例就推断模型“不懂科学”，证据仍然不足。

还应区分零召回与部分缺失：一条查询有多篇相关文档时，只找回其中一篇也可能命中前十，但其理想候选得分仍低于完整标注下的理想值。本篇直接使用全部相关标注计算分母，保留这种差异。这个上限依赖现有标注是否完整；未来补充判定可能改变相关集合和误差分解，所以它是当前协议下的可检查边界，不是对真实科学相关性的最终裁决。

八、可检验问题：给失败保留竞争解释

【作者推断】第一种解释是截断损失了决定相关性的片段；第二种解释是 MS MARCO 训练所得排序偏好与科学声明检索不匹配。当前运行同时含有这两种可能性，不能把任意一项写成已确认原因。

下一篇可固定这批查询、候选、模型和评测，预登记标题拼接与长度的对照。如果增加可见文本后，被截断相关文档的恢复明显不同于未截断组，才增加对第一种解释的支持。还要报告额外 token 与耗时；只延长输入并得到提升，不能排除计算预算的影响。若恢复没有出现，也应保留这个负结果。所有选择仍限开发资源，确认集继续隔离。

源码与复现入口

源码已公开并完成匿名拉取核验：固定版本目录、README 与运行说明、SOURCE_MAP 源码地图、运行入口。远端五十一个文件与本地归档逐文件哈希一致；压缩包解压后完整重跑，关键结果逐字节一致。

按 README 安装依赖并下载固定资源后，最小命令为 python run.py --cache ./cache --out results/smoke --smoke，预期生成五十对得分、逐查询指标、形状和分阶段状态。本次实际执行了试跑与完整的一百查询、五千文本对实验；省略 --smoke 可复跑该范围。源码提供数据下载、离线审计和绘图入口，不需要作者机器上的隐含路径。

总结

本次重排没有改善主要指标，但已经回答了更具体的问题：哪些误差在固定候选下不可恢复，哪些文档被模型重新排坏。下一步研究应围绕可以冻结和改变的变量展开，用可复算的失败记录约束解释，而不是先为一个方法预留胜利结论。

参考资料

检索与实际访问日期：2026-09-28。固定源码的浏览缓存失效时，已通过官方原始地址下载并核验；不引用动态榜单数值。

Rodrigo Nogueira、Kyunghyun Cho，2019 初版、2020 v5：Passage Re-ranking with BERT。
David Wadden 等，EMNLP 2020：Fact or Fiction: Verifying Scientific Claims。
Nandan Thakur 等，2021：BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models。
Sentence Transformers：MiniLM-L6-v2 固定模型卡与配置。
BEIR：固定版本 Rerank 实现。
Sentence Transformers：固定版本 CrossEncoder。

Companion Code

配套示例代码

与正文对应的教学示例。请先阅读运行说明，下载所需文件并保留目录结构；也可以展开源码对照阅读。

下载教学源码包（ZIP） ↓

包含脚本、配置、必要输入和许可说明；不包含模型权重、运行环境及完整历史运行记录。解压后先阅读 code/README.md，按说明准备公开数据并生成自己的实验结果。

展开查看完整源码run.py · 67 行

"""Real frozen CrossEncoder + unchanged BEIR Rerank; controlled candidate audit."""
import argparse,csv,importlib.metadata,platform,resource,sys,time,traceback
from pathlib import Path
from common import ROOT,read,write,sha,order,metric,verify

def main(cache,out,smoke):
 started=time.perf_counter();out.mkdir(parents=True,exist_ok=True)
 status={'command':['python','run.py','--cache','<verified-cache>','--out',str(out.name)]+(['--smoke'] if smoke else []),'exit_code':None,'stages':{},'smoke':smoke}
 try:
  import numpy as np,torch,pytrec_eval
  from sentence_transformers import CrossEncoder
  from official_rerank import Rerank
  cfg=read(ROOT/'config.json');torch.set_num_threads(cfg['threads']);torch.manual_seed(cfg['seed']);np.random.seed(cfg['seed'])
  mp=verify(cache);status['stages']['download']={'status':'passed','mode':'existing hash-verified model/data cache'}
  t=time.perf_counter();corpus={r['_id']:r for r in map(__import__('json').loads,(cache/'scifact/corpus.jsonl').read_text().splitlines())};queries={r['_id']:r['text'] for r in map(__import__('json').loads,(cache/'scifact/queries.jsonl').read_text().splitlines())}
  full=read(ROOT/'inputs/candidates.json');qids=cfg['query_ids'][:5] if smoke else cfg['query_ids'];k=10 if smoke else cfg['top_k']
  candidates={q:{d:full[q][d] for d in order(full[q])[:k]} for q in qids};gold={q:read(ROOT/'inputs/qrels.json')[q] for q in qids};assert len(corpus)==5183
  pairs=[(q,d,queries[q],(corpus[d].get('title','')+' '+corpus[d]['text']).strip()) for q in qids for d in candidates[q]]
  identity={'model':read(ROOT/'model.lock.json'),'config':cfg,'input_lock':read(ROOT/'input.lock.json'),'data':{f:h for f,h in read(ROOT/'resources.lock.json')['data_files'].items() if f in ['scifact/corpus.jsonl','scifact/queries.jsonl','scifact/qrels/train.tsv']},'code':{f.name:sha(f) for f in sorted(ROOT.glob('*.py'))},'smoke':smoke}
  import hashlib,json
  identity['cache_key']=hashlib.sha256(json.dumps(identity,sort_keys=True).encode()).hexdigest();write(out/'identity.json',identity)
  status['stages']['preprocessing']={'status':'passed','seconds':time.perf_counter()-t,'queries':len(qids),'corpus':len(corpus),'pairs':len(pairs)}
  t=time.perf_counter();model=CrossEncoder(str(mp),max_length=cfg['max_length'],device='cpu',local_files_only=True,default_activation_function=torch.nn.Identity());model.model.requires_grad_(False);model.model.eval()
  status['stages']['model_load']={'status':'passed','seconds':time.perf_counter()-t,'parameters':sum(p.numel() for p in model.model.parameters())}
  t=time.perf_counter();token_rows=[]
  for i in range(0,len(pairs),128):
   batch=pairs[i:i+128];lens=model.tokenizer([x[2] for x in batch],[x[3] for x in batch],truncation=False,padding=False,verbose=False)['input_ids']
   token_rows.extend({'query_id':x[0],'doc_id':x[1],'raw_tokens':len(ids),'retained_tokens':min(len(ids),cfg['max_length']),'truncated':len(ids)>cfg['max_length']} for x,ids in zip(batch,lens))
  features=model.smart_batching_collate_text_only([[x[2],x[3]] for x in pairs[:2]])
  with torch.no_grad():raw=model.model(**features,output_hidden_states=True)
  check_scores=model.predict([[x[2],x[3]] for x in pairs[:2]],batch_size=2,show_progress_bar=False)
  shapes={'input_ids':list(features['input_ids'].shape),'last_hidden':list(raw.hidden_states[-1].shape),'logits':list(raw.logits.shape),'predict':list(check_scores.shape),'manual_logit_max_error':float(np.max(np.abs(raw.logits[:,0].numpy()-check_scores))),'training':model.model.training}
  assert shapes['manual_logit_max_error']<1e-6
  write(out/'shape_check.json',shapes);write(out/'token_audit.json',{'pairs':len(pairs),'raw_tokens':sum(x['raw_tokens'] for x in token_rows),'retained_tokens':sum(x['retained_tokens'] for x in token_rows),'truncated_pairs':sum(x['truncated'] for x in token_rows),'max_raw_tokens':max(x['raw_tokens'] for x in token_rows),'tokenization':'longest_first on pair; combined512; no prompt'})
  status['stages']['token_shape_audit']={'status':'passed','seconds':time.perf_counter()-t}
  t=time.perf_counter();reranked=Rerank(model,batch_size=cfg['batch_size']).rerank(corpus,{q:queries[q] for q in qids},candidates,top_k=k)
  status['stages']['inference']={'status':'passed','seconds':time.perf_counter()-t,'pairs':len(pairs),'new_inference':True};print('inference',status['stages']['inference'],flush=True)
  t=time.perf_counter();oracle={q:{d:float(len(candidates[q])-i) for i,d in enumerate(sorted(candidates[q],key=lambda d:(gold[q].get(d,0)>0,d),reverse=True))} for q in qids}
  runs={'original':candidates,'reranked':reranked,'oracle':oracle};per={};summary={}
  evaluator=pytrec_eval.RelevanceEvaluator(gold,{'ndcg_cut.10','recall.10,50'})
  for name,run in runs.items():
   assert all(set(run[q])==set(candidates[q]) for q in qids)
   per[name]=evaluator.evaluate(run)
   for q in qids:per[name][q]['mrr_10']=metric(gold[q],order(run[q]))['mrr_10']
   summary[name]={m:sum(per[name][q][m] for q in qids)/len(qids) for m in ['ndcg_cut_10','recall_10','recall_50','mrr_10']}
  cases=[];cats={'no_relevant_candidate':0,'candidate_hit_but_top10_miss':0,'top10_hit':0};partial=0
  for q in qids:
   relevant={d for d,x in gold[q].items() if x>0};found=set(candidates[q])&relevant;partial+=0<len(found)<len(relevant)
   category='no_relevant_candidate' if not found else ('candidate_hit_but_top10_miss' if not(set(order(reranked[q])[:10])&relevant) else 'top10_hit');cats[category]+=1
   a=per['original'][q]['ndcg_cut_10'];b=per['reranked'][q]['ndcg_cut_10'];o=per['oracle'][q]['ndcg_cut_10'];assert b<=o+1e-12
   cases.append({'query_id':q,'delta':b-a,'original':a,'reranked':b,'oracle':o,'candidate_loss':1-o,'ordering_loss':o-b,'category':category,'relevant_total':len(relevant),'relevant_in_candidates':len(found),'original_first_relevant':next((i for i,d in enumerate(order(candidates[q]),1) if d in relevant),None),'reranked_first_relevant':next((i for i,d in enumerate(order(reranked[q]),1) if d in relevant),None)})
  summary.update({'queries':len(qids),'pairs':len(pairs),'win_tie_loss':[sum(x['delta']>1e-12 for x in cases),sum(abs(x['delta'])<=1e-12 for x in cases),sum(x['delta']< -1e-12 for x in cases)],'failure_categories':cats,'partial_candidate_coverage':partial,'mean_candidate_loss':sum(x['candidate_loss'] for x in cases)/len(qids),'mean_ordering_loss':sum(x['ordering_loss'] for x in cases)/len(qids),'delta':summary['reranked']['ndcg_cut_10']-summary['original']['ndcg_cut_10'],'scope':'development subset, no test, no training'})
  write(out/'runs.json',runs);write(out/'per_query.json',per);write(out/'diagnostics.json',cases);write(out/'summary.json',summary)
  selected=sorted(cases,key=lambda x:(x['delta'],x['query_id']));write(out/'cases.json',{'rule':'3 lowest and3 highest delta; automatic, not human annotation','rows':selected[:3]+selected[-3:]})
  with (out/'pair_scores.csv').open('w',newline='') as f:
   w=csv.DictWriter(f,fieldnames=['query_id','doc_id','raw_tokens','retained_tokens','truncated','original_rank','reranked_rank','logit','relevant']);w.writeheader()
   for r in token_rows:
    q,d=r['query_id'],r['doc_id'];w.writerow({**r,'original_rank':order(candidates[q]).index(d)+1,'reranked_rank':order(reranked[q]).index(d)+1,'logit':reranked[q][d],'relevant':int(gold[q].get(d,0)>0)})
  status['stages']['evaluation']={'status':'passed','seconds':time.perf_counter()-t,'evaluator':'pytrec_eval-terrier'};status['exit_code']=0
  write(out/'environment.json',{'python':sys.version,'platform':platform.platform(),'device':'CPU','dtype':'float32','peak_rss_bytes':resource.getrusage(resource.RUSAGE_SELF).ru_maxrss*(1 if sys.platform=='darwin' else 1024),'packages':{d.metadata['Name']:d.version for d in importlib.metadata.distributions()},'gpu_memory':'not applicable','retrieval_cost':'not remeasured; inherited frozen real runs','timing':'includes imports, verification, load and token audit; excludes network downloads'})
  print(json.dumps(summary,indent=2),flush=True)
 except Exception:
  status['exit_code']=1;status['error']=traceback.format_exc();raise
 finally:
  status['elapsed_seconds']=time.perf_counter()-started;write(out/'status.json',status)
if __name__=='__main__':
 p=argparse.ArgumentParser();p.add_argument('--cache',type=Path,required=True);p.add_argument('--out',type=Path,default=Path('results'));p.add_argument('--smoke',action='store_true');a=p.parse_args();main(a.cache,a.out,a.smoke)