可信预测实验室:从模型置信度到可检验的拒答

研究封面

同一套标称九成覆盖的规则,在一批影评上只覆盖了 99/128,在另一批却覆盖了 126/128。两批用的是同一个分类器、同一种计分方法,甚至来自同一份预测文件。该查代码,还是该改写我们对“九成”的理解?这次把二者分开:先由第二个程序核实每一次命中,再问这个百分数对谁成立。

上篇用固定名单做了一次校准,在三百六十条审计影评中覆盖了三百三十三条。这给出了一个可复算的分数,却没有告诉我们换一份校准名单会怎样。本篇只改变样本承担的角色。两百次内部划分的平均覆盖率为 90.51%,其中 82 次低于 90%。这两个读数可以同时为真。要理解它们,需要先在纸上写出抽样时哪些东西会变。

先把“保证”写成一个事件

给定一句电影短评,分类器给出正面、负面两列分数。我们允许规则交出一个标签集合,例如只交出正面,也可以把两种标签都交出来。评测者手中有数据集提供的真标签;只要它在集合里,就记一次覆盖。因此一个两个标签都收下的集合必然命中,却没有解决情感二选一的问题。覆盖率衡量有没有漏掉答案,不衡量这个答案有多具体,更不是拒答实验里“愿意回答的比例”。

分割保形预测把一部分带标签的样本专门用于决定门槛。模型与计分规则须事先固定。设输入为 xx,候选标签为 yy,模型归一化后的类别分数为 py(x)p_y(x)。我们沿用最简单的分类非符合度:s(x,y)=1−py(x)s(x,y)=1-p_y(x)。分数越高,表示这个标签与模型输出越不相符。给每一条校准样本只算真标签的分数,然后从小到大排队:

k=⌈(n+1)(1−α)⌉,q=s(k),C(x)={y:s(x,y)≤q}.k=\lceil(n+1)(1-\alpha)\rceil,\qquad q=s_{(k)},\qquad C(x)=\{y:s(x,y)\le q\}.

这里 nn 是校准条数,α\alpha 是容许的边际漏覆盖率,kk 从一开始编号,qq 是第 kk 小的分数。规则在测试时比较的是各候选标签,根本不需要知道真标签;只有算命中率时才用到真标签。本次每份校准名单有一百二十八条,容许漏掉一成,向上取整得到第一百一十七名。把门槛处的相等算作入集。若所需秩超出名单长度,应使用无穷门槛;本次没有触发这个分支。

论文给出的保证可以这样读。把校准样本和再抽的一条带标签样本摆在一起,如果互换它们的位置不改变联合分布,称它们具有交换性。对真类分数没有并列的情形,新样本在这一队分数里的名次等可能。它落在允许名次内的概率就是 117/129117/129,约为百分之九十点七。一般情形保留相等项时,通常写成下界:

Pr⁡D,(X,Y){Y∈CD(X)}≥1−α.\Pr_{D,(X,Y)}\{Y\in C_D(X)\}\ge 1-\alpha.

下标里的 DD 是随机的校准名单,(X,Y)(X,Y) 是随机的新样本及标签,集合随名单变化。这里同时对两者取概率,叫边际覆盖。如果把名单钉死,问这个门槛对未来人群能覆盖多少,条件已经变了;如果再指定某句话、某个真实类别或某一类写法,问题又变了一次。原来的不等式没有逐一回答这些条件问题。

最小实验:两种观察窗,共用一个门槛

每次划分的门槛与两套分开的覆盖计数

取公开的英文 SST-2 验证划分和已经微调的 DistilBERT 分类头。这个数据域在系列早期就用过,审计池结果也已观察过。重新洗牌不会让旧材料变成首次盲测。我们保留此前登记的探索、校准、协议审计三池,只在原来的二百五十六条校准记录里改变角色。没有把外部审计样本放回校准,没有读入目标域 IMDb,也没有添加任何语义标签。

在看本次划分结果前,协议固定两百个种子,从 12800 到 12999。将种子、冒号、样本的十进制编号拼起来取哈希,按摘要排序,前一半拟合门槛,后一半检查覆盖。这是便于复算的伪随机置换;没有按真标签分层,没有从多套种子里挑结果。每一对内部名单互不重叠,不同对却反复使用相同的原句。固定那三百六十条审计样本是第二个观察窗,每次只接收已算好的门槛,分别统计,绝不与内部留出结果合成一个总分。

两个窗口回答不同的问题。内部窗口中,拟合半池多分到一条模型打分很低的真标签,留出半池就少掉同一条记录;名单的组成和门槛都会变。固定窗口中,评测对象始终是那三百六十条,任何覆盖变化只能来自门槛变化。比较两个窗口有助于定位波动,却不能把两列均值差当成某种方法带来的提升,因为分母、具体句子和抽样机制都不同。

真正运行了什么,读数如何复查

校准池复用已有真实模型输出。审计池从锁定的公开资源开始,先在中央处理器试跑八条,再按每批十六条重跑全部三百六十条。模型处于评估模式,使用单精度,截断上限为五百一十二个词元;每批输出为行数乘二的实数矩阵。正式前向约 1.30 秒,进程峰值内存 964,608,000 字节,与历史审计输出逐项比较,正式批次的最大分数差为零。两百次变的是分工,没有两百次重新分词或重新训练模型。

统计口径(各 200 次) 平均覆盖 最少和最多命中 低于九成的划分
同池留出,每次 128 条 90.51% 99–126 / 128 82 / 200
固定审计,每次 360 条 92.04% 304–343 / 360 33 / 200

两百次划分的经验覆盖频数

横轴是一次实际命中数除以当次分母;纵轴是产生这个读数的划分数。每幅图单独数两百次,纵轴刻度也分别标出。虚线标记名义目标,没有拟合平滑曲线。第一幅图上,命中一百一十五条仍然不够九成,要到一百一十六条才越过线。第二幅图上恰好三百二十四条就是九成,统计“低于”时不包括它。仅仅把打印的百分数四舍五入后比较,就可能把一个边界问题误报成实验异常。

沿第一条日志就可以核查表格的来历。种子 12800 的门槛约为 0.93681,内部留出命中 121 条;固定审计漏掉 23 条,命中 337 条。门槛数值大,是在非符合度轴上放宽了允许范围,不是要求分类器有九成三以上的信心。将全部内部命中数相加得 23,171,除以 25,600 个评测位置,得到表中均值。这个分母是“划分与样本”的组合位置数,并没有二万五千六百条独立影评。

换一种阅读顺序:沿着样本编号往下看,某条影评被留出的次数因划分而异,实际从八十一次到一百二十一次。二百五十六条里,有二百一十八条在自己被留出的所有次数都命中,有十五条一次也没命中,其余二十三条会随门槛改变。这里固定的是同一句话及同一个官方标签,改变的是其他句子组成的名单。十五条从未命中并不证明它们各自在自然人群中正确答案出现的概率为零;这些计数只描述已经算过的门槛。相反,若把均值印在每条记录旁边,写成该句有九成机会受到保护,就丢掉了这些可以直接核对的差别。

官方代码阅读路线与独立校验

看 TorchCP 时可以先跳过训练接口,从分类计分器的两个入口读起:给定标签就取相应列,不给标签就为所有列计分。然后去公共工具里找有限样本秩,它调用第几个顺序统计量,而不是在两个相邻数之间插值。最后读分割预测器,确认拿去比较的分数方向。模型一侧只需对照 Transformers 的分类头和标签映射。读完这条路线,就可以分辨哪部分是已有的集合规则,哪部分是本文新加的重复划分。

本地分析使用双精度还原两类概率,正式独立复算则完全绕开这段概率代码:在二分类下,相反类减真类的原始分数差越大,真类的非符合度就越大。因此第二个脚本可以直接排分数差,以倒数第十二名为门槛,只在核对数值门槛时才做变换。脚本重建每一对名单,逐一对照两套未覆盖编号,最后才比对汇总。这样即使错取了负面类别那一列,也不容易在两份实现里同时蒙混过关。

失败排查:先分清算术错误和研究错误

第一次独立核对在汇总表报错。定位后,逐样本的入集判断都相同,差的是固定审计均值的最后一个浮点位:一条路径先算平均命中数再除以分母,另一条先加总所有整数再做一次除法。最终实现保留整数分子和分母,到输出时才相除。复跑后两百个阈值、九万七千六百个真类入集判断及按编号的计数都一致。这个修正不调整种子、阈值或容许误差,也没有删掉低于目标的划分。

还有一种错误不会让程序报错:把图上两端当作总体覆盖率的置信区间。两端只是这批数据与这组种子实际经历过的极值。增加种子会把同一组分数的更多排列展示出来,却不会从现实世界补进一条新的影评。尤其是内部两半互为补集,难例被分到哪一侧会同时影响两侧。我们既不把这些命中当独立伯努利试验来给总体均值画误差线,也不把八十二次低于线解释为定理有百分之四十一的机会失效。

研究问题与总结

作者的解释是:一个固定池的平均数可以接近名义覆盖,同时若干固定样本持续漏掉;“接近目标”和“每个对象都受到同样保护”不是同一个假设。想检验新来源上的覆盖,需要预先锁定新来源、预测配置和审计名单。想检验某类短评,则要先定义类别或长度规则,再逐组报告分母,不能先找今天最差的十几条再给它们起一个语义名称。这两项都超出此次重划分的证据范围。

下一步可检验的问题更小:保持计分器不动,只减少校准名单的长度,记录向上取整后的名次何时跳动,集合大小是否也跟着跳。今天的实验刻意没有改变长度,因此能把波动归到名单及门槛,却还没有证据把它归到样本量。留住这个区别,比再挑出一份恰好覆盖九成的名单更有用。

源码与复现入口

固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。

进入源码目录执行 python run.py,可从随包的真实输出重建划分明细、逐编号计数和汇总表;执行 python audit.py 可独立复查。需要重做分词和推理时,按说明获取固定版本的模型和原始数据。源码不分发模型权重或原句。

参考资料

检索日期为 2026-11-13。

  • Angelopoulos、Bates,《A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification》,2021 年首次公开。分割保形的构造与覆盖定理见第一节,重复划分评测见第三节。作者全文
  • SUSTech-ML,TorchCP,固定版本的分类计分器。LAC 实现
  • Hugging Face,英文 SST-2 分类头与标签配置。模型固定版本
  • Stanford NLP,SST-2,validation 划分与数据身份。数据固定版本

作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。