可信预测实验室:从模型置信度到可检验的拒答

独立样本盒旁的机械限位器

多回答的十七句从哪里来

同一台情感分类器处理三百六十句影评,第一份报告写着“回答三百零四句,错十四句”,第二份写着“回答三百二十一句,错十六句”。两份报告都符合“回答出去的句子里,错误比例不高于百分之五”。如果只能保留一份作为独立评测,应该保留哪份?光看分子分母还缺一条记录:谁在什么时候看过这三百六十句的正确答案,又用答案做过什么决定?

第一份报告用另外二百五十六句选好阈值,再来计数。第二份报告先把三百六十句的标签摊开,找出一条能多回答一些的分界线,随后在原地计数。多出的十七句里有十五句答对。那十五句是真实的正确答案。问题出在读者若带着第二份报告走向下一批影评,会误以为这条分界线已经经受过一次独立检验。

上一篇固定了接受条数,研究少量错误给拒答收益带来的抽样波动。这次把固定的东西换成风险预算,接受多少句由数据决定。新增实验只改变用来选择阈值的样本池。我们保存了所有候选的计数、单独的校准选择文件和一次刻意泄漏的对照,读者可以沿着这三份记录判断,标签究竟在哪一步影响了答案。

从论文的风险定义到一条可执行的规则

Geifman 与 El-Yaniv 在二〇一七年发表的选择性分类论文中,把做什么预测和是否交付这次预测分开。论文研究了怎样用统计上界控制风险,并在图像分类任务上报告结果。本篇借用覆盖率和选择性风险的定义,在英语短句上执行一个更简单的经验规则。论文对其程序给出的高概率性质需要相应的假设和计算,本实验没有计算这样的上界。

记第 ii 句的原始置信分数为 sis_i,预测标签和公开标签分别为 hih_i 和 yiy_i。二分类头给出两个实数,经 softmax 归一化后,取两个概率中的较大者作分数。对候选阈值 tt,接受集合、覆盖率和条件错误率写作

At={i:si≥t},Ct=∣At∣/n,Rt=∑i∈At1[hi≠yi]∣At∣.A_t=\{i:s_i\ge t\},\qquad C_t=|A_t|/n,\qquad R_t=\frac{\sum_{i\in A_t}\mathbf{1}[h_i\ne y_i]}{|A_t|}.

这里 nn 是当前池的总句数,竖线表示集合大小,方括号里的判断为真就计一。覆盖率的分母始终是全池;风险的分母随接受集变化。若一句都不回答,覆盖率可以记零,条件错误率没有定义。分数只负责决定是否接受,预测为负面和预测为正面的样本走同一条规则。这里测量的是给定任务与标签下的分类错误。

此次扫描前写下八个候选值,依次为 0.50、0.90、0.95、0.97、0.98、0.99、0.995、0.999。对每个非空接受集,把错句数乘二十,与接受数比较,前者小于等于后者才有资格入选。从合格者中取接受数最多者,并列取较小阈值。若全部失败,就拒答全部。这样连舍入、平局和空集都不需要看到审计结果后再做决定。分数恰好等于阈值的样本也属于接受集。

实验设置与标签读取顺序

数据是斯坦福团队公开的 SST-2 验证划分。项目最初按样本编号加固定前缀计算哈希并排序,依次划出探索、校准和协议审计池。本篇复用第二池的二百五十六条预测,使用第三池的三百六十条作评估。两个池的样本编号互斥。SST-2 在此前的研究中用过,审计池的整体表现也已公开。这里的“独立”限定在本次阈值选择的数据流;重新执行脚本无法抹掉研究者以往对这些数据的认识。没有访问 IMDb,也没有从文本含义出发新增任何人工标签。

上排先锁阈值再评估,下排用同一份审计数据选择并报告

上排的滑块在审计样本到达前就锁住。实际运行先单独启动选择进程,输入是校准预测和原始划分清单,输出文件保存被选值及八个候选的表现。然后在冻结的模型上重放审计池预测。下排复用同一套比较函数,也用相同的风险预算,唯一的干预是把选择函数的输入换成审计池自己。下排有完整的标签回路,所以在结果文件中明确标为泄漏对照。

这个控制还固定了计算机会。两边各看八个候选,都没有搜索不同温度、文本模板或拒答分数。规则选择过程中既不更新模型参数,也不读取句子内容挑例子。校准样本数和审计样本数沿用历史划分,两边用于选择的分母不同。因此观察到的差额描述这两条具体流程,无法从一次配对中拆出样本量、抽样组成以及同池选择各自贡献了多少。

最小实验与官方代码阅读路线

从官方 DistilBERT 的序列分类类开始读。它从编码器输出取首位置的表示,经过线性变换、激活、丢弃层和分类层,得到每个样本两个未归一化分数。实际推理打开评估模式,标签映射核对为零代表负面、一代表正面。输入是批大小乘以填充后序列长度的整数张量,输出的第二维恒为二。读到这里就可以转到本篇的模型入口,找到计算最大概率、写出逐句身份、原标签和正确性的位置。

环境固定为 Python 3.12.14、PyTorch 2.6.0、Transformers 4.49.0,在 CPU 上以单精度和四线程运行。模型、分词器、数据文件与历史记录逐项核验哈希,使用原有缓存。先取八句做冒烟检查,再按每批十六句重放三百六十句,最大长度五百一十二个词元。正式批次的 logits 与历史快照逐值相同,推理循环用时约一点三〇秒,进程峰值常驻内存约九百四十五兆字节。这个时间不含导入、首次下载和写博客的时间。校准预测来自已归档的真实推理,本次没有为它重复付出模型计算。

只复算表格时,读者不需要下载权重。先在配套源码目录运行下面的最小命令,查看选择文件和结果文件,再运行独立审计。希望验证模型环境时,按复现说明准备固定资源,重放冒烟批次和正式批次。小批次与原记录的最大分数差约为二点四乘十的负七次方,标签一致;独立的正式批次逐值核对让这个小差异的影响可以定位。

python run.py
python audit.py

八个候选在哪一步分出胜负

下表的每个格子都是“错误数/接受数”。校准列单独决定上排阈值,审计列用来复核它,同时也展示故意泄漏的一排能看到多少信息。对每列从上到下检查资格,再在合格格子中找最大分母,就能用纸笔重建两个结果。

阈值 校准池(共 256 句) 审计池(共 360 句)
0.50 25/256 30/360
0.90 22/247 23/343
0.95 16/239 21/334
0.97 15/236 20/329
0.98 12/231 16/321
0.99 10/218 14/304
0.995 5/209 10/282
0.999 1/158 6/225

本次实际验证中,校准列的分水岭在相邻两行。阈值 0.98 留下二百三十一句,十二个错误要求至少二百四十句作分母才能达标。提高到 0.99 后,十个错误对应二百一十八个回答,约为百分之四点五九。继续提高阈值仍然合格,却会少回答。锁定这条线后,在审计池接受三百零四句,覆盖率百分之八十四点四四,风险百分之四点六一。

泄漏对照在审计列看到的是另一种边界。阈值 0.98 接受三百二十一句,有十六个错误,刚好多于合格所需的三百二十个回答。再往下放宽到 0.97 会多交付八句,其中四句错误,于是超出预算。泄漏规则挑中的格子给出百分之八十九点一七的覆盖率,风险为百分之四点九八。若只比较风险,它还略高于锁定规则。这里显得乐观的是“在预算内能回答多少”,一份只有错误率、没有覆盖率的报告会把这种选择效应藏起来。

还可以逐句解释这四点七二个百分点的覆盖差。接受集嵌套,差集是分数落在两个阈值之间的十七句。两条规则面对它们时,模型的预测类别全部一样;变化的是报告把哪些回答算进成绩。尤其值得留意,十六除以三百二十一距离界线很近。如果在原分母下再错一句,该格就会失去资格。这是对选择条件的算术检查,没有对任何样本改标签,也没有据此改协议。

失败排查与证据边界

复现结果若只差一行,先检查比较发生在四舍五入之前还是之后。审计表里刚过线的一行若显示为整数百分数,读者看不到离线还有多远。把所有概率先格式化成两位小数还会让靠近边界的句子移动。独立脚本从原始两列分数的绝对差重新算较大概率,以原标签重做类别判定,逐一核对两个池十六行的分子、分母、覆盖率和选择结果。这一过程验证的是确定性算术,不涉及真人对影评情绪的裁决。

另一个难查的错误是数据虽然分了文件,选择函数却接受一张已经拼接好的总表。在自己的复现中,可以把选择阶段单独放在只有校准预测可用的目录里,保留源码、划分清单和相关锁文件,再执行单独选择命令。正常情况下应该仍能得到同一阈值。完整评估随后才需要审计预测。即使两张表从未物理拼接,也要留意人在看完审计结果后,是否又把候选列表加密了一次。那会给研究者多一次调参机会,留下最终阈值本身无法揭示这段历史。

研究问题与总结

这次的作者推断是,看到“达标”时先问标签的用途,比多报一位小数更能判断证据强弱。锁定规则在这批历史短句上达标,是一个可以复查的观察。泄漏对照恰好找到了覆盖更多的阈值,差额给出了协议错误的一次可见后果。我们没有估计这种差额在重新抽样时的均值,也没有获得在未来文本上维持同一风险的保证。若两池恰巧选出同一条线,两份报告在数字上会完全一致,选择过程是否独立仍要靠运行记录回答。

一个可检验的后续问题是,在冻结池划分与接受规则以后,对同一模型做正温度缩放能否改变整条按排名接受的风险曲线?数值阈值会因分数尺度移动,固定接受条数却只依赖排序。区分这两个实验对象,才能判断下一次看到的覆盖变化究竟来自模型更会挑错,还是来自同一把尺上的刻度移动。

源码与复现入口

固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。

最小入口输出 selected.json 和 results.json,分别保存校准选择与锁定、泄漏两套审计结果。逐句预测、协议、资源版本、实际运行日志与独立复算脚本一并提供,可直接从两条相邻阈值的分母开始核查。

参考资料

检索与版本核对于 2026-11-10。下列链接分别对应论文版本、实际模型和数据、框架实现与会议记录。


作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。