
可信预测实验室:从模型置信度到可检验的拒答
同样是九成,分母是谁?
把一批影评交给情感分类器,允许它在拿不准时同时给出“正面”和“负面”。在三百六十个句子里,真实标签有三百三十三次出现在返回集合中。如果读者只看这一个数,很容易对负面影评也写下“覆盖九成”。但把负面句单独取出来,分子变成一百五十八,分母变成一百七十六,离九成还差一次命中。整批预测可以同时支持这两种观察。
为什么值得再做一次实验?上一篇改变校准样本数,看到有限样本分位数能让返回集合突然扩大。这一篇把校准样本数恢复到完整的二百五十六,所有句子共用一个阈值,连返回哪个标签都固定下来,只改变报告时的分母。读者可以下载逐句结果,分别从类别、长度和两者的交叉格子出发,算回同一张总表。这里的“安全”只考察返回集合是否包含官方标签,其他意义上的安全性需要各自的指标。
一个阈值怎样变成一张分组表
分类器为每个句子给出两列原始分数,称为 logits。先对它们做 softmax,即对指数权重归一化,得到两个标签各自的预测概率。再把候选标签的概率从一中减去,得到不符合度。模型给某个候选的概率越低,把它列入答案需要容忍的不符合度就越高。这个简单的打分方法通常称为 LAC。校准时只取每句真实标签那一列,按从小到大排序。
这里的 是句子, 遍历两个候选标签, 是模型给该标签的概率。 是校准句数, 是预设的漏盖概率, 表示从一开始编号的第 小校准分数。本次取 、,所以取第 232 个值;代码保留完整精度,用小于等于判断并列。 就是返回的集合。审计时先为两个候选计算成员资格,两个决定都写完,才用官方标签检查命中。

理论上,若校准样本与新的带标签样本可交换,即调换样本次序不会改变联合分布,并且评分规则独立于这次校准,则上述秩给出边际覆盖下界。“边际”指同时考虑校准样本和新样本的随机性。把某个负面句代入公式,公式会返回一个确定的集合,并不会额外告诉读者“这个句子的真实标签有九成概率在里面”。Angelopoulos 与 Bates 在教程中分别处理了边际覆盖和分组覆盖;组内有效性需要额外的构造或假设。
对一份已经跑完的数据,关系更直观。只要分组互斥、穷尽,总命中数就是各组命中数之和,总句数也是如此。总体比例相当于按各组句数加权的平均值。如果想让每一类都达到某个下界,仅仅约束这个平均值留出了很大的自由度。现实审计需要同时回答两件事:平均值由哪些行组成,每一行究竟积累了多少证据。
最小实验与评测协议
使用公开的英文 SST-2 验证划分,以及在 SST-2 上微调的 DistilBERT 分类检查点。系列开始时已按稳定身份的哈希顺序登记全部样本,最前面二百五十六条留作探索,接着二百五十六条用于校准,余下三百六十条用于协议审计。SST-2 在往期项目中使用过,这批审计结果也在本系列出现过。这里检验一种报告方法,解释限于历史开发数据。IMDb 的探索、校准和最终确认池均未参与。
本次分组协议先落盘。类别直接取官方正负标签。长度取分词器输出中有效位置的数量,包含首尾特殊符号,排除批内补齐的位置。长度边界沿用前面研究高置信错误时采用的十六和三十二,两端相等时归入较短的一档。本次审计所有句子的有效长度都低于截断上限,因此这批记录可以与早先按原始分词数划档的定义对照。换分词器时,同一句子可能跨档,复现时应一起锁定词表和分词器版本。
先用八条句子在中央处理器上试跑,再对完整审计池执行前向,批大小十六,四线程,单精度,关闭训练模式。正式前向含分词和构造记录耗时约 1.26 秒,进程峰值内存 944160768 字节。重跑后的全部原始分数与历史正式记录逐值相等。校准池复用固定的真实模型分数,本次重新排序得阈值 0.7186523761。所有组使用这一个阈值,不在审计结果上挑切点、拟合温度或重新选模型。
本次实际验证
| 分母 | 包含真标签/句数 | 覆盖率 | 返回两个标签 |
|---|---|---|---|
| 全部 | 333/360 | 92.50% | 9 |
| 真负面 | 158/176 | 89.77% | 5 |
| 真正面 | 175/184 | 95.11% | 4 |
| 短,至多 16 | 83/86 | 96.51% | 1 |
| 中,17 至 32 | 179/199 | 89.95% | 5 |
| 长,超过 32 | 71/75 | 94.67% | 3 |
读中等长度这一行要看整数。如果只保留一位小数,约九成的数字很容易掩盖它实际落在线的哪一侧。这里一百七十九除以一百九十九略低于九成,离目标不到一个样本的步长。真实标签维度和长度维度各自都可以拼回总体,同一个句子同时属于一个标签组和一个长度组;把表中后五行都相加会把每句话数两遍。
把两种分组交叉后,六格的分子与分母如下。列方向从短到长,行方向区分真标签。完整列出各格可以检查哪几格共同构成了前表的一行,也让样本很少但比例很高的组保留在读者视野里。
| 真标签 | 短句 | 中等长度 | 长句 |
|---|---|---|---|
| 负面 | 42/43 | 81/94 | 35/39 |
| 正面 | 41/43 | 98/105 | 36/36 |
在二十个中等长度的漏盖样本里,十三个为负面,七个为正面。中等长度负面组的覆盖率为 86.17%,占全部二十七次漏盖的十三次。这两个比例回答不同问题。前者衡量进入这一格后有多大比例被覆盖,后者描述审计工作量会集中在哪里。假设要设计一次后续人工读例,后者能帮助安排阅读预算,但本次没有请人判断讽刺、否定或标签歧义,因而不能把这十三条归为某种语言现象。
长句正面组的三十六次全部命中也值得停一下。在这格中改变一个命中,比例就会移动约 2.78 个百分点。在中等长度组,改变一次只移动约半个百分点。零次观测漏盖与未来漏盖概率为零之间隔着抽样问题。六个交叉格共用同一校准阈值,观察到的最高和最低格子还经过了并列比较;若凭一次排序就给模型下稳定强弱的结论,下一份数据很可能给出不同的次序。
还可以做一次手算,体会组内覆盖和类别占比的差别。先遮住长度表中的中等组,只留下短句和长句,它们合起来是一百六十一句,覆盖一百五十四句。把中等组放回,才恢复到三百六十句。两次计算使用的标签集合逐个相同,合并后的比例仍会随各组的比重移动。以后遇到另一批影评,即使每个长度组内部的覆盖率恰好保持原值,单凭总体比例改变也无法断定模型退化。应同时列出新的组内分子与分母,才能把样本构成的变化同组内表现的变化区分开。
官方代码从哪一行读起
从 TorchCP 的分类评分文件开始,看指定真实标签时如何沿类别维取值,再看要求对全部标签打分时如何保留两列。接着读公共函数中的向上取整与次序统计量,最后到分割预测器里追踪已校准阈值进入集合生成函数的过程。这三处分别对应“取哪一列”“在多少条上定阈值”“何时把候选加入集合”。本地源码地图列出了固定提交与具体行号,可把输入维度和返回值一项项对齐。
分类头使用 Transformers 官方类,输出形状为批内句数乘二。教学脚本独立实现后处理,保留显式排序和标签列表,便于审查中间状态。独立核对脚本走另一条运算路径:在二分类下,对方标签分数减候选标签分数,所得差值与不符合度严格同向。数一数有多少校准差值严格小于候选差值,即可判断它是否落在阈值以内。脚本从归档 logits 出发,核对七百二十个成员资格,再独立汇总所有十二行计数,实际执行通过。这属于算术复算。
失败排查与可检验的解释
最容易无声改变结论的是用预测标签分组。它在收到句子时即可得到,回答的是“模型判成负面的那些句子有多少被覆盖”。本篇的负面行按真实标签划分,离线评测时才能计算。若把它直接写成一条在线分流规则,就隐含了部署时已经知道答案的条件。长度组可以在推理前用同一个分词器得到,但它与句子难度之间的关系仍需独立验证。
再检查返回集合的大小。本次没有空集,三百五十一句返回一个标签,九句返回两个。每一个双标签集合在二元任务上都会包含真标签。只看命中计数会让读者看不见这部分信息成本。反过来,只数最高分标签会把“双标签包含真类但首选错误”的句子记成失败。复现者可以先检查各组双标签数相加是否都等于九,再检查分母,最后才比较百分数。这样能帮助定位是集合计算错了,还是汇总阶段丢了记录。
研究问题与总结
一个可检验的后续假设是,在新的同来源样本里,中等长度负面句仍会比同长度正面句更容易漏盖。验证它需要在看新结果前固定词表、分界、主比较和样本预算,并报告两组各自的遗漏数与不确定性。另一个解释是当前两组的难例碰巧集中在这批句子里。本次单次分割无法区分两种解释。如果改成每组各自校准,还会给小组分到更少的校准样本,重新遇到上一篇讨论的有限样本取整问题。本篇保留原阈值,给未来的比较留下一份可核对的共同起点。
源码与复现入口
固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。
进入源码目录运行 python run.py,即可从包内真实分数重建逐句集合、分组计数和输入摘要,再运行 python audit.py 独立核对。需要重做前向时,按说明安装锁定依赖并准备固定版本资源,依次运行八条试跑和完整审计。核对耗时时请区分模型前向循环与包含导入、加载和退出的整条命令,两个数字在运行记录中分别给出。
参考资料
检索日期为 2026-11-15。
- Angelopoulos、Bates,《A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification》,2021 年首次公开。分割保形的构造与覆盖定理见第一节,组平衡和类别条件覆盖见第四节。作者全文
- SUSTech-ML,TorchCP,固定版本的有限样本取秩及越界处理。分位数实现
- Hugging Face,英文 SST-2 分类头与标签配置。模型固定版本
- Stanford NLP,SST-2,validation 划分与数据身份。数据固定版本
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。