可信预测实验室:从模型置信度到可检验的拒答

多回答的十七句从哪里来
同一台情感分类器处理三百六十句影评,第一份报告写着“回答三百零四句,错十四句”,第二份写着“回答三百二十一句,错十六句”。两份报告都符合“回答出去的句子里,错误比例不高于百分之五”。如果只能保留一份作为独立评测,应该保留哪份?光看分子分母还缺一条记录:谁在什么时候看过这三百六十句的正确答案,又用答案做过什么决定?
第一份报告用另外二百五十六句选好阈值,再来计数。第二份报告先把三百六十句的标签摊开,找出一条能多回答一些的分界线,随后在原地计数。多出的十七句里有十五句答对。那十五句是真实的正确答案。问题出在读者若带着第二份报告走向下一批影评,会误以为这条分界线已经经受过一次独立检验。
上一篇固定了接受条数,研究少量错误给拒答收益带来的抽样波动。这次把固定的东西换成风险预算,接受多少句由数据决定。新增实验只改变用来选择阈值的样本池。我们保存了所有候选的计数、单独的校准选择文件和一次刻意泄漏的对照,读者可以沿着这三份记录判断,标签究竟在哪一步影响了答案。
从论文的风险定义到一条可执行的规则
Geifman 与 El-Yaniv 在二〇一七年发表的选择性分类论文中,把做什么预测和是否交付这次预测分开。论文研究了怎样用统计上界控制风险,并在图像分类任务上报告结果。本篇借用覆盖率和选择性风险的定义,在英语短句上执行一个更简单的经验规则。论文对其程序给出的高概率性质需要相应的假设和计算,本实验没有计算这样的上界。
记第 句的原始置信分数为 ,预测标签和公开标签分别为 和 。二分类头给出两个实数,经 softmax 归一化后,取两个概率中的较大者作分数。对候选阈值 ,接受集合、覆盖率和条件错误率写作
这里 是当前池的总句数,竖线表示集合大小,方括号里的判断为真就计一。覆盖率的分母始终是全池;风险的分母随接受集变化。若一句都不回答,覆盖率可以记零,条件错误率没有定义。分数只负责决定是否接受,预测为负面和预测为正面的样本走同一条规则。这里测量的是给定任务与标签下的分类错误。
此次扫描前写下八个候选值,依次为 0.50、0.90、0.95、0.97、0.98、0.99、0.995、0.999。对每个非空接受集,把错句数乘二十,与接受数比较,前者小于等于后者才有资格入选。从合格者中取接受数最多者,并列取较小阈值。若全部失败,就拒答全部。这样连舍入、平局和空集都不需要看到审计结果后再做决定。分数恰好等于阈值的样本也属于接受集。
实验设置与标签读取顺序
数据是斯坦福团队公开的 SST-2 验证划分。项目最初按样本编号加固定前缀计算哈希并排序,依次划出探索、校准和协议审计池。本篇复用第二池的二百五十六条预测,使用第三池的三百六十条作评估。两个池的样本编号互斥。SST-2 在此前的研究中用过,审计池的整体表现也已公开。这里的“独立”限定在本次阈值选择的数据流;重新执行脚本无法抹掉研究者以往对这些数据的认识。没有访问 IMDb,也没有从文本含义出发新增任何人工标签。

上排的滑块在审计样本到达前就锁住。实际运行先单独启动选择进程,输入是校准预测和原始划分清单,输出文件保存被选值及八个候选的表现。然后在冻结的模型上重放审计池预测。下排复用同一套比较函数,也用相同的风险预算,唯一的干预是把选择函数的输入换成审计池自己。下排有完整的标签回路,所以在结果文件中明确标为泄漏对照。
这个控制还固定了计算机会。两边各看八个候选,都没有搜索不同温度、文本模板或拒答分数。规则选择过程中既不更新模型参数,也不读取句子内容挑例子。校准样本数和审计样本数沿用历史划分,两边用于选择的分母不同。因此观察到的差额描述这两条具体流程,无法从一次配对中拆出样本量、抽样组成以及同池选择各自贡献了多少。
最小实验与官方代码阅读路线
从官方 DistilBERT 的序列分类类开始读。它从编码器输出取首位置的表示,经过线性变换、激活、丢弃层和分类层,得到每个样本两个未归一化分数。实际推理打开评估模式,标签映射核对为零代表负面、一代表正面。输入是批大小乘以填充后序列长度的整数张量,输出的第二维恒为二。读到这里就可以转到本篇的模型入口,找到计算最大概率、写出逐句身份、原标签和正确性的位置。
环境固定为 Python 3.12.14、PyTorch 2.6.0、Transformers 4.49.0,在 CPU 上以单精度和四线程运行。模型、分词器、数据文件与历史记录逐项核验哈希,使用原有缓存。先取八句做冒烟检查,再按每批十六句重放三百六十句,最大长度五百一十二个词元。正式批次的 logits 与历史快照逐值相同,推理循环用时约一点三〇秒,进程峰值常驻内存约九百四十五兆字节。这个时间不含导入、首次下载和写博客的时间。校准预测来自已归档的真实推理,本次没有为它重复付出模型计算。
只复算表格时,读者不需要下载权重。先在配套源码目录运行下面的最小命令,查看选择文件和结果文件,再运行独立审计。希望验证模型环境时,按复现说明准备固定资源,重放冒烟批次和正式批次。小批次与原记录的最大分数差约为二点四乘十的负七次方,标签一致;独立的正式批次逐值核对让这个小差异的影响可以定位。
python run.py
python audit.py
八个候选在哪一步分出胜负
下表的每个格子都是“错误数/接受数”。校准列单独决定上排阈值,审计列用来复核它,同时也展示故意泄漏的一排能看到多少信息。对每列从上到下检查资格,再在合格格子中找最大分母,就能用纸笔重建两个结果。
| 阈值 | 校准池(共 256 句) | 审计池(共 360 句) |
|---|---|---|
| 0.50 | 25/256 | 30/360 |
| 0.90 | 22/247 | 23/343 |
| 0.95 | 16/239 | 21/334 |
| 0.97 | 15/236 | 20/329 |
| 0.98 | 12/231 | 16/321 |
| 0.99 | 10/218 | 14/304 |
| 0.995 | 5/209 | 10/282 |
| 0.999 | 1/158 | 6/225 |
本次实际验证中,校准列的分水岭在相邻两行。阈值 0.98 留下二百三十一句,十二个错误要求至少二百四十句作分母才能达标。提高到 0.99 后,十个错误对应二百一十八个回答,约为百分之四点五九。继续提高阈值仍然合格,却会少回答。锁定这条线后,在审计池接受三百零四句,覆盖率百分之八十四点四四,风险百分之四点六一。
泄漏对照在审计列看到的是另一种边界。阈值 0.98 接受三百二十一句,有十六个错误,刚好多于合格所需的三百二十个回答。再往下放宽到 0.97 会多交付八句,其中四句错误,于是超出预算。泄漏规则挑中的格子给出百分之八十九点一七的覆盖率,风险为百分之四点九八。若只比较风险,它还略高于锁定规则。这里显得乐观的是“在预算内能回答多少”,一份只有错误率、没有覆盖率的报告会把这种选择效应藏起来。
还可以逐句解释这四点七二个百分点的覆盖差。接受集嵌套,差集是分数落在两个阈值之间的十七句。两条规则面对它们时,模型的预测类别全部一样;变化的是报告把哪些回答算进成绩。尤其值得留意,十六除以三百二十一距离界线很近。如果在原分母下再错一句,该格就会失去资格。这是对选择条件的算术检查,没有对任何样本改标签,也没有据此改协议。
失败排查与证据边界
复现结果若只差一行,先检查比较发生在四舍五入之前还是之后。审计表里刚过线的一行若显示为整数百分数,读者看不到离线还有多远。把所有概率先格式化成两位小数还会让靠近边界的句子移动。独立脚本从原始两列分数的绝对差重新算较大概率,以原标签重做类别判定,逐一核对两个池十六行的分子、分母、覆盖率和选择结果。这一过程验证的是确定性算术,不涉及真人对影评情绪的裁决。
另一个难查的错误是数据虽然分了文件,选择函数却接受一张已经拼接好的总表。在自己的复现中,可以把选择阶段单独放在只有校准预测可用的目录里,保留源码、划分清单和相关锁文件,再执行单独选择命令。正常情况下应该仍能得到同一阈值。完整评估随后才需要审计预测。即使两张表从未物理拼接,也要留意人在看完审计结果后,是否又把候选列表加密了一次。那会给研究者多一次调参机会,留下最终阈值本身无法揭示这段历史。
研究问题与总结
这次的作者推断是,看到“达标”时先问标签的用途,比多报一位小数更能判断证据强弱。锁定规则在这批历史短句上达标,是一个可以复查的观察。泄漏对照恰好找到了覆盖更多的阈值,差额给出了协议错误的一次可见后果。我们没有估计这种差额在重新抽样时的均值,也没有获得在未来文本上维持同一风险的保证。若两池恰巧选出同一条线,两份报告在数字上会完全一致,选择过程是否独立仍要靠运行记录回答。
一个可检验的后续问题是,在冻结池划分与接受规则以后,对同一模型做正温度缩放能否改变整条按排名接受的风险曲线?数值阈值会因分数尺度移动,固定接受条数却只依赖排序。区分这两个实验对象,才能判断下一次看到的覆盖变化究竟来自模型更会挑错,还是来自同一把尺上的刻度移动。
源码与复现入口
固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。
最小入口输出 selected.json 和 results.json,分别保存校准选择与锁定、泄漏两套审计结果。逐句预测、协议、资源版本、实际运行日志与独立复算脚本一并提供,可直接从两条相邻阈值的分母开始核查。
参考资料
检索与版本核对于 2026-11-10。下列链接分别对应论文版本、实际模型和数据、框架实现与会议记录。
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。