可信预测实验室:从模型置信度到可检验的拒答

少错十句,这个数字能站多稳?
有三百六十句带标签的影评短句,准许模型回答其中二百七十句。给模型最有把握的句子优先排队,答错八句;照事先打乱的名单排队,答错十八句。两张名单的差值很容易算,难的是解释这个十。倘若当初抽进审计池的句子稍有不同,一句难题可能出现两次,也可能完全缺席。我们想知道,这种程度的样本变化足以让差值消失吗?
前一篇在同一二分类头上比较了三种置信分数,三种排序连一对句子的位置都没有交换。继续更换分数名称,并不能增加证据。这次只改变每句在评测批次里出现的次数。模型、原标签、样本预算、两种排队规则以及主要比较位置全部固定。新增产物是一份逐接受数的风险差和区间记录,读者可以从一个看似稳定的点一直追到只接受一句的极端情形。
本次实际验证得到的答案取决于分母。接受二百七十句时,置信度排序少错的幅度是每百个已回答样本约三点七个,配对区间仍在零以上。只接受十八句时,点估计反而更大,区间下沿却已经碰到零。下文保留每个覆盖点,主结论只读事先指定的位置。
研究对象与论文依据
选择性分类让一个已经训练好的分类器额外做一个决定,即这次是否交付答案。覆盖率计算交付了多少答案,选择性风险衡量已交付答案中的条件错误率。Geifman 与 El-Yaniv 在二〇一七年的原论文里区分了这两个量,还研究了如何利用独立数据控制风险。他们报告了图像分类实验。这里借用这对定义,在英语情感分类上比较两个固定预算的策略,只估计样本波动,不执行论文的风险控制程序。
数据来自斯坦福团队公开的 SST-2 验证划分。项目开始时已经按样本身份的哈希顺序划出探索、校准和协议审计三个池。这次只对最后的三百六十句做推理。SST-2 在前序研究中用过,审计池的总体正确数乃至主要位置的错误数也早已记录。把重采样协议写在计算区间之前,可以约束今天的分析选择;这些旧句子仍属于历史开发证据。全程未读取 IMDb 确认池,也没有人按文本含义改动标签。
从一句话走到一对风险
给第 句记下模型预测与官方标签是否不同,不同记为 ,相同记为零。模型的两个类别分数经过 softmax 归一化,较大的概率用来排置信顺序。另一条队列按固定前缀和样本编号的哈希值升序排列,沿用上次实验的顺序。哈希运算只读身份,既看不到情感标签,也看不到预测。比较的是这个可以逐句重建的打乱基线。若把所有可能的随机名单都平均起来,参照对象会随之改变。
这里 是某一队列的第 个样本身份, 是接受数, 和 分别代表固定打乱与置信排序。收益 为正说明相同回答预算下置信排序保留的错误较少。两组分母都是实际接受的句数。计算覆盖率时才用总数三百六十作分母。接受数为零时,两个错误计数都是零,风险和差值写入空值;拒绝全部回答无法提供任何关于已交付答案质量的观测。
取主位置手算一遍。两臂覆盖率同为百分之七十五,打乱队列的风险约为百分之六点六七,置信队列约为百分之二点九六。直接相减得到三点七零个百分点。若把十除以三百六十,就变成了整批到达样本中少交付错误答案的比例。两种分母都能服务研究,只有前一种对应本文的纵轴。也不能把“少十个错误”解读为两张名单恰好只交换了十个样本,交换进出的正确样本并没有出现在差值里。
最小实验与配对协议

把三百六十个身份写在卡片上。抽一张,记下编号,放回去,再抽,直至记满三百六十次。把这份记录复印一份,左右各拿一份排队。某句话被抽到三次,两边都带三份相同的预测和标签。排在截止位置附近的句子可能被它挤出名单,因此每次都要在新样本上重新截取前缀。只从原先接受的二百七十句中抽签,会把名单边缘的进出排除在估计之外。
若改成左右各抽一份,同一个错误在一边缺席、另一边重复,差值里就混入了两批题目难度不同的波动。同样,分别为每个策略算一个区间,再用一个上界减另一个下界,也无法还原同一批题上的差值分布。配对要求共用的是抽样索引,允许两种策略最终接受不同的句子。保留这一点,才有机会观测排序本身造成的收益。
固定随机种子为一百二十四,重复四千次。每轮在所有非空接受数上算一遍收益,在同一接受数的四千个差值中取百分之二点五和百分之九十七点五分位数,位置介于两个次序统计量之间时线性插值。这是百分位自助法的近似百分之九十五逐点置信区间。它以句子作为独立抽样单位,以现有池的经验分布模拟重新取样。原始审计池的三百六十个身份各有不同的文本摘要;如果多个片段来自同一篇影评,其错误可能相关;本实验没有按原影评聚类,区间对这种依赖的敏感性仍未知。
固定种子控制读者复算时抽到哪些卡片。增加重复次数能减少分位数的模拟误差,原始测试信息仍然只有三百六十句。四千轮中的每一行都带着同一模型学过的特征和同一套官方标签。重新训练引入的模型差异、换领域后的词汇变化、标签定义引起的争议,都没有进入这段区间。估计对象是两种固定排序在这类样本上的风险差。
本次实际结果
| 接受数 / 360 | 置信排序错误数 | 固定打乱错误数 | 收益(百分点) | 95% 逐点区间(百分点) |
|---|---|---|---|---|
| 1 | 0 | 0 | 0.00 | [0.00, 0.00] |
| 18 | 0 | 1 | 5.56 | [0.00, 22.22] |
| 36 | 0 | 2 | 5.56 | [0.00, 13.89] |
| 90 | 0 | 5 | 5.56 | [1.11, 10.00] |
| 180 | 3 | 12 | 5.00 | [1.11, 8.89] |
| 270 | 8 | 18 | 3.70 | [1.11, 6.30] |
| 324 | 17 | 27 | 3.09 | [0.93, 4.94] |
| 360 | 30 | 30 | 0.00 | [0.00, 0.00] |

十八、三十六、九十这三个位置的点估计几乎给人同样的印象,但第一次比较只由打乱队列里的一个错误支撑。在十八个位置里多一个错误,风险就变动五点五六个百分点;在九十个位置里,同样的一句只占约 1.11 个百分点。图的左侧区间陡然张开,对应的正是这个整数台阶。图中橙线标出主比较位置,浅色区域由日志绘出,沿横轴逐点计算,没有平滑,也没有因为区间触零而删点。
首尾两个点尤其值得对照。最右端接受所有句子,两条队列包含完全相同的多重集合,每次抽样的总错误数可以变,但两边总是一起变,差值必为零。最左端只答一句也得到零宽区间,理由却完全不同。经验池能反复抽到的高排名句子有限,中央百分之九十五的差值挤在零上。一个尚未见过、被模型高度确信的错误就可能打破这种现象。把这个零宽当作“答一道题最安全”,恰好误读了小分母的信息量。
官方代码阅读路线与失败排查
先读官方分类头的前向函数。输入是一批补齐的分词编号和注意力掩码,编码器输出每个位置的表示,分类头取序列起始位置,经过预分类层、激活和最终线性层,给每句返回两个原始分数。推理时关闭训练模式,按模型配置把零映射为负面、一映射为正面。若交换标签编号,排序仍可能一模一样,两个队列里的错误却统统变了。因此试跑既比原始分数,也比文本摘要、身份、标签与预测类别。
本次先在中央处理器上试跑八句,再按每批十六句重放全部三百六十句。正式推理循环约一点二六秒,进程峰值常驻内存约九百四十六兆字节。试跑与归档的最大分数差约为二点四乘十的负七次方,类别一致;正式批次全部分数逐项相同。模型和验证文件复用了校验过摘要的缓存。后面的四千次重复只重排保存的行,不再调用编码器,可以在没有模型权重的环境里单独复算。
接着读两份分析脚本。主程序保存逐点错误计数和端点,独立审计则从两个原始分数的绝对差重建置信顺序,重新比较预测和标签,并先统计每个身份被抽中的次数,再按原排名展开。这个实现利用了前一篇验证的二分类单调关系。审计逐轮核对主位置的四千个错误数差,另用整数频数表重建全部七百二十个区间端点。若误将放回抽样写成去重,样本总数和截止位置会改变;若把两边独立打乱,末端差值或主位置重算记录会暴露不一致。
源码与复现入口
固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。
在源码目录安装锁定的 NumPy 后执行:
python run.py && python audit.py
这条最小命令以真实冻结预测为输入,生成全部接受数的 points.json 和主位置每轮整数差的 primary_counts.json,并打印独立审计结果。想核对单句预测时,再按复现说明取回固定版本的模型和数据运行模型入口。日志保留运行命令、进程退出码、输入身份及真实批次形状,读者可以区分哪一步消耗模型算力,哪一步只消耗统计计算。
研究问题与总结
作者的判断限于已观察的协议审计池。按预定预算接收四分之三时,对固定打乱顺序的收益在这套配对扰动下仍为正。图上的几百个位置共用预测且前缀彼此嵌套;逐点区间无法保证整条曲线同时落在色带内。从图中挑出收益最大的覆盖点,再把该点区间解释成事先设定的结论,会额外引入选择偏差。
还有一个实际的差别。这里先拥有整批句子,才有条件排序并精确留下二百七十句。若句子逐个到达,研究者往往要先固定一个概率阈值,能接受多少句要到评测结束才知道。下一步可检验的问题是,在单独的校准池上选择阈值并将其锁定后,到审计池还能留下多少个答案、多少个错误。这需要一次新的数据隔离实验,今天这条风险差曲线只提供参照。
参考资料
检索日期为 2026-11-09。
- Geifman & El-Yaniv,Selective Classification for Deep Neural Networks,2017
- DistilBERT SST-2 官方模型与分词器快照
- Stanford NLP,SST2 验证数据版本
- Hugging Face Transformers 4.49.0,DistilBERT 分类头源码
- SciPy 官方文档,配对重采样与百分位区间
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。