
可信预测实验室:从模型置信度到可检验的拒答
对同一句影评,分类器给出“正面”,预测集却可以同时保留“正面”和“负面”。多留一个选项,可能救回一个错判,也可能只让读者多看一个用不上的答案。在同一批三百六十句短评上,我们换了构造集合的规则。新规则多给出七十四个标签,净多覆盖七句。拆开这七句,实际是十句从漏掉变成命中,另有三句朝相反方向变化。两种方法约定的覆盖目标完全相同,交出的集合却有不同的代价。
复现目标与评测协议
前一篇保持规则不变,检查总体覆盖是否掩盖分组差异。这次保持样本、模型和目标不变,只替换判断一个标签能否入选的计分函数。我们问两个可以分别核对的问题。第一,哪种方法实际列出的标签较少?第二,省去的标签落在哪些句子上,是否含有正确答案?如果只比较平均集合大小,读者连第二个问题的方向都无法确定。
保形预测用一组带有官方标签的校准样本来定门槛。这里的覆盖指真实标签属于返回集合,分母是所有审计句子,包括输出为空的句子。交换性指校准样本与未来样本在联合分布中互换位置不会改变分布。在这个条件和固定计分规则下,分割保形法给出对校准集与新样本共同取概率的边际保证。它没有要求两次有限样本测量得出相同的命中数。把“同样覆盖率”写进实验表格时,必须交代相同的是预先要求的九成,还是事后看到的百分比。本次固定前者。
数据来自公开 SST-2 验证划分。系列起点已按固定前缀和官方样本编号的哈希排序,前二百五十六句用于探索,接下来二百五十六句用于校准,其余三百六十句用于协议审计。这批数据在旧系列和本系列中均有使用史,尤其是审计池的表现已经被看到过,本文属于方法探索。两种规则共享校准池,分别在真标签上取分。审计标签只用于清点最终命中,绝不拿来把两行数字调到一样。没有新增语义判断,没有访问 IMDb 的任何预测。
核心思想:决定一个标签要和谁比较
LAC 可以理解为给每个候选标签单独设一道概率门槛。设输入为 ,正负面标签之一为 ,模型经归一化得到的该类概率为 。不符合分数衡量候选与模型输出有多不相容,数值越小越容易入集。LAC 使用 。例如两个候选的概率分别为零点七和零点三,只要入选所需的最低概率低于零点三,两者就都能进。这段例子描述规则,实际门槛由校准数据给出。
APS 是自适应预测集。它先把同一句的各类概率从大到小排序,再沿这个顺序累加。本文采用 TorchCP 明确提供的确定性配置,取到候选本身为止的累计质量。若候选的名次是 ,排序后第 项概率为 ,则有
其中 是校准句数, 是容许的边际漏覆盖水平, 是从小到大数的秩, 是当前方法在校准真类上排第 的分数。 可替换为任一预定的计分函数, 收下通过本方法门槛的全部候选。这里排序有两个方向:句内的概率从大到小,跨句的真类分数从小到大。把第二次排序也写成降序,会让同一套代码产出完全不同的覆盖。
论文报告的原始构造允许用均匀随机数处理边界,讨论了边际有效性以及面对不同难度样本的适应性。我们关掉实现中的随机化,使每次标签变化都能追到一项具体比较。这也限定了本次结论的适用范围。尤其在二分类里,第二名的精确累计质量恒等于一。多分类里的第二名后面还可能有未计入的类别,两者的数值结构有实质区别。

图中每一条支路都先用校准输入确定自己的阈值,再对同一份审计输入产生集合。右侧两项指标共同使用这份集合,图中条块仅说明计算顺序。
官方代码阅读路线与最小实验
从模型接口读起。固定的英文 DistilBERT 情感分类检查点对每句给出两个未归一化分数,第一列负面,第二列正面。代码先检查标签映射,再断言每批输出的行数等于实际句数、列数等于二。正式批大小十六,最后八句单独成批。填充到批内最大长度,截断上限五百一十二个词元;注意力掩码保留真实词元。本次用同一 CPU 环境执行八句试跑,再对三百六十句重新分词并前向。正式推理约一点三六秒,进程峰值约九百五十二兆字节,全部原始输出与历史正式记录逐项一致。校准侧则直接复用冻结分数。
沿源码地图打开 TorchCP 的 LAC 类,看传入标签和不传标签这两条路径。前者每句只取一项,用来定阈值;后者返回整张候选分数矩阵,用来建集合。APS 继承相同的调用接口,在内部做排序、累加,再把排名位置映射回原标签列。忘记最后一步,就可能把“第一名”直接写成类别零。为隔离其他依赖,入口恢复了官方模块需要的包目录,实际执行固定提交的原文件,两种方法共用库里的有限样本取秩函数。模型前向为单精度,后处理把同一对原始分数转为双精度再做归一化。只将最终结果转为双精度无法复现下面的边界现象。
预先登记的误差水平为零点一,校准规模二百五十六,对应第二百三十二个真类分数。输出包含每句身份、官方标签、两套候选集合,再从这些记录计算空集、单标签、双标签及配对命中数。备用的多分类实验也有入口条件:只有两方案在少于十八句上给出不同集合,才启用登记的手写数字任务。实际有九十二句不同,按协议结束二分类实验,没有为追求更大的差距再挑任务。
本次实际验证:省下的标签去了哪里
| 固定九成目标 | 实际命中 | 空/单/双标签句数 | 总标签数 | 平均大小 |
|---|---|---|---|---|
| LAC | 333/360(92.50%) | 0/351/9 | 369 | 1.025 |
| 确定性 APS | 340/360(94.44%) | 0/277/83 | 443 | 1.231 |
两种方法都保留了排名第一的类别。单答案分类正确的三百三十句自然都能覆盖。余下三十句更能说明问题:LAC 单独救回三句,APS 单独救回十句,另有十七句两边都漏掉。这里的“救回”只表示正确标签重新出现在备选中,模型的第一选择和正确数均未改变。这个区分对读者很实际:如果系统展示两个标签后仍然默认采纳第一项,那么集合覆盖提升不会自动变成最终决定的准确率提升。
读逐句文件时,可以在两个变化方向中各取官方编号最小的一句。编号一四五的官方标签为负面,模型却给正面约百分之八十六的概率。LAC 只列正面,APS 保留了两项。编号一八四同样是负面,模型也偏向正面,但首选概率约为百分之六十六。这回是 LAC 收下两项,APS 只列正面。两个例子都能从编号和两列分数独立还原,无须读者同意关于句子语气的任何主观解释。它们还指出了为什么“较大的集合包含较小的集合”容易读错:本表的大小是跨句平均,无法把平均数之间的不等式逐行套用。
把两行分别还原成工作量也能看到不同含义。若每多返回一个候选就要核对一次,LAC 只有九句需要多查,APS 有八十三句。若要求保住每一条原来已经命中的句子,增加平均集合大小也无法满足这个要求,三个方向相反的配对例子已经足够否定它。文章没有为漏掉真类与多看一个候选指定相对价格,因此无法从这张表推导一个普遍优胜者。在固定目标的同场对照中可以报出这两种代价;若要论证相同实测覆盖时谁更省,需要新的校准设计与独立评测。
失败排查:阈值显示为一,为什么只有八十三个双标签
最容易误判的输出藏在小数位里。校准池有二十五次首选错误,另外二百三十一句首选正确。对确定性 APS,正确句的真类排第一,其累计质量小于一;错误句的真类排第二,理论累计质量恰好为一。第二百三十二个分数刚好踩进后一组。在精确算术下,这个阈值会让两个候选全部入集。实际官方实现打印的值是 0.9999999999999999,比一小一个可以表示的间隔。
独立脚本保留相同的双精度归一化这一基础运算,改用逐行加法、列表排序和显式比较来还原每个集合。审计池中,两项相加有八十三句落在一的前一个浮点数上,二百五十七句恰好为一,二十句落在一的后一个浮点数上。只有第一组的第二名通过闭区间判断。把阈值打印到两位小数再抄回程序,等于直接移动了门槛。哪怕显示的覆盖表能对上,也应检查真正参与比较的值、比较符号以及两次计算的精度。
为检验这个解释,我们追加了一个诊断:在校准与审计两侧都将最后一项累计质量明确设为一,再从头取秩。结果三百六十句均返回双标签,均覆盖,合计七百二十个标签。这个对照只用于定位数值效应,保留原注册结果作为主表。它说明八十三个双标签在这台机器上可以逐个复算,但把这些句子称为算法特别识别出的困难样本,超出了证据。改变计算设备或概率计算顺序时,应该先比对末项质量的计数,再解释覆盖差异。
源码与复现入口
固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。
安装固定依赖后,在源码目录运行:
python run.py
这条最小命令读取已保存的真实预测,输出逐句集合和汇总表。接着运行 python audit.py,可核对每个候选的归属、配对计数以及末项置一的诊断。若从原文重放模型,按说明先获取固定权重与数据,再依次执行试跑与正式推理。发布包只携带可分发的派生量;数据身份、分词配置和依赖版本都有记录。初次开发执行曾在独立脚本落盘前调用它而退出,补齐脚本后重新执行四步并保留两次退出记录。
研究问题与总结
下一次要检验确定性规则究竟能否利用样本难度,可以在新的多分类开发任务上事前冻结数值端点约定,同时记录倒数第二名和最后一名的得分。前者仍携带排序结构,后者在数学上恒为一。这样即使观察到集合大小变化,也能追问变化来自哪一项。在当前这组短句上,能够核实的是少列七十四个候选伴随净少覆盖七句,以及浮点边界改变了哪些第二候选入选。关于困难文本、其他模型或未来长影评的解释,仍需要各自的独立证据。
参考资料
检索于 2026-11-16。
- Romano、Sesia 与 Candès,Classification with Valid and Adaptive Coverage,NeurIPS 2020
- TorchCP 固定提交,APS 官方实现
- TorchCP 固定提交,LAC 官方实现
- DistilBERT 英文情感分类模型及固定版本
- Stanford NLP,SST-2 固定验证划分
作者作品推广
除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:
- 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
- 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。
更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。