
一共有三百六十条短影评,模型把其中三十条的情感判错。如果只准回答二百七十条,读者会看到多少错误?把影评打乱再选,本次留下十八个错误。让同一个模型优先回答分数最高的影评,留下八个错误。两组给出的答案一样多,选进来的影评不同。这十个错误的差额,比单独报告“拒答以后准确率上升”更能说明置信度在这批数据上有什么用。
先把两个问题分开
假想每次判错就往桌上放一枚筹码。现在从已经判好的三百六十张答题卡里抽走九十张,桌上的错误筹码只会减少或维持原数。单凭错误总数下降,很难看出抽卡的人是否有挑选能力。更有意思的问题是,每读一百张留下的卡,大约还会遇到几张错卡?如果抽走的都是正确答案,桌上的错误数虽然没增加,余下答案却变得更不可靠。
上一项实验研究的是温度参数能否在模型或提示模板之间借用。这次退回一个明确的二分类头,冻结每条影评的两个输出和预测类别,只改变哪些答案可见。读者可以把同一份预测交给两个人,一人按最大概率排序,另一人只拿到编号。等二人交回相同数量的答案,再打开标签计数。这样既控制了模型,也控制了回答量。
从两个分数到两个分母
模型为每条影评输出负面、正面两个原始分数,统称 logits。它们可以是负数,也不必加起来等于一。用 softmax 沿类别维度归一化后,取较大的概率作排序分数。对第 条样本,记第 类的原始分数为 ,本实验类别编号为零和一:
表示两个候选类别中模型更偏向一方的程度。实现中先减去行内最大值再求指数,两类概率之比不变。模型仍然对所有影评做了前向计算,拒答只是评测脚本对输出的筛选。这里没有让模型生成拒答文本,也没有节省这批影评的推理次数。
设共有 条影评,规则接受的编号集合为 ,数量为 。用 表示预测与官方标签不同这一事件的零一指示值。经验覆盖率 和经验选择性风险 分别为
覆盖率回答“交了多少张卡”,风险回答“交回的卡里错了多少”。两个比例中的分母分别是全体与接受集。若无人获得回答,覆盖率是零,风险无法定义。把空集的错误数零写成零风险,会让什么都拒绝的规则在图上占据一个虚假的最佳位置。
冻结哪批数据,比较哪两种规则
实验使用 Stanford NLP 的 SST-2 验证划分,按照项目首次预测前登记的样本编号哈希顺序,使用协议审计池的最后三百六十条。另有两个各二百五十六条的池,分别承担探索与校准。本次没有重新切分,也没有用校准池拟合参数。该数据集在历史项目中已经使用,审计池的总体成绩和部分阈值结果也已经观察过。本篇检验的是一个新设的等数量对照,不能把重跑写成首次揭盲。IMDb 的三个池均未参与本次实验。
在计算新曲线之前,我们写下主要读数:两条排序各取前四分之三,即二百七十条。其次看一半、九成和全部接受时的结果,并保存每一个整数前缀。第一条排序按最大概率从高到低,相同分数按编号从小到大。第二条取固定字符串与编号的哈希,按摘要排列。它模拟一次与标签无关的打乱,编号固定下来就能原样重放,没有从多个打乱结果里挑一个。排序用未舍入的分数,文中的百分比只供展示。

另留一条理论参照线。假如从三百六十条中等概率、不放回地抽取二百七十条,每个错误都有四分之三的机会被抽到。三十个错误合计,平均会抽到二十二点五个。期望可以带小数,实际运行中的错误数一定是整数。把期望除以二百七十,得到全池错误率。这个推理对任意正的接受数量都成立,所以理论线是水平的;固定打乱那一条却会上下走动。两条线同时画出来,可避免把一次恰好较好的打乱当作随机选择的一般水平。
实测结果:同样回答二百七十条
| 接受数 / 总数 | 置信度顺序:错误数 / 接受数 | 打乱顺序:错误数 / 接受数 |
|---|---|---|
| 180 / 360 | 3 / 180(1.67%) | 12 / 180(6.67%) |
| 270 / 360 | 8 / 270(2.96%) | 18 / 270(6.67%) |
| 324 / 360 | 17 / 324(5.25%) | 27 / 324(8.33%) |
| 360 / 360 | 30 / 360(8.33%) | 30 / 360(8.33%) |
置信度排序比打乱顺序少错十条,经验风险低三点七零个百分点。再从未回答的那一侧算一次:按置信度暂缓的九十条里,有二十二条原本会答错,另有六十八条本来会答对。打乱规则同样暂缓九十条,其中只有十二条原本会答错。若把拒答一律算作答对,就丢掉了六十八个正确答案被扣下的事实。若把拒答一律算作答错,又引入了一种本实验没有定义的代价。读者可以按自己的问题赋予代价,但应先保留这几个整数。

从左往右读图,就是逐张把答题卡放回去。置信度排序的前一百四十九条全部正确,第一百五十条才出现第一个错误。它的编号是五百四十四,模型给较大一类的概率约为零点九九九六六。看到这一点,再回头看横轴左端的一段零值,就知道为什么不能据此宣布找到了安全阈值。那个端点是读完标签才能定位的;对另一批影评,第一个错误完全可能出现得更早。
曲线上的锯齿也有具体含义。加入正确卡片时,分母加一,分子不变;加入错误卡片时,两者同时加一。随着接受量增加,错误总数单调不减,错误率可以往两个方向走。表中抽出的几个位置显示了整体趋势,逐点保存可以让读者检查中间的回落。相邻位置共享此前所有卡片,把它们当成几百次独立试验会夸大证据量。图上没有画置信区间,打乱曲线也没有充当置信区间的上下界。
固定阈值回答的是另一道题
再换一种读法:只有当最大概率达到预先规定的门槛时才回答。门槛取零点五时,二分类必有一个概率至少达到一半,本次全部接受。门槛为零点九时,接受三百四十三条,错二十三条,覆盖率约百分之九十五点二八,接受风险约百分之六点七一。提高到零点九九,仍有三百零四条越线,其中十四条判错,风险约百分之四点六一。门槛取一时,接受数为零,程序把风险记作空值。四个条件按原计划全部保留。
阈值告诉我们每条影评能否独自过线;固定数量告诉我们在这一批影评里哪些排在前面。假如再来一批短句,同一个门槛可能接受完全不同的数量,前四分之三却要等知道整批排序才有意义。两种规则不能直接按同一个百分数对号入座。尤其是零点九九的门槛,既没有令错误率自动降到百分之一,也没有令覆盖率等于百分之九十九。用这一行当作新影评的风险承诺,需要额外的数据和协议。
官方代码阅读与最小复现
先看模型配置的标签映射,再看 Transformers 的 DistilBertForSequenceClassification。编码器给出每个位置的隐藏向量,分类头取首位置,经过预分类线性层、激活、随机失活层与最终分类层。在评测模式下关闭随机失活。批次输出有两列,每一行对应一条输入。若把归一化轴错写成批次轴,一条影评的概率就会随同批的其他影评变化。这里形状检查之外还有逐行独立重算,可以直接在分数层发现这类问题。
模型与分词器使用同一固定版本,数据文件摘要和每条影评的文本摘要分别核对。本次先用八条短句在 CPU 上试跑,再按原批大小十六重放全部三百六十条。整池重放的两个原始分数逐项与历史文件相同,小批试跑的最大绝对偏差约为二点四乘十的负七次方,预测类别一致。前向阶段使用单精度和四个计算线程,不训练,不做温度缩放。计时含批次分词、前向与提取结果,整池约一点四八秒;导入后到完成输出约一点八三秒,记录到的进程峰值常驻内存约九百五十六兆字节。复用了已核对的资源缓存,下载和安装耗时不计入这两个数。
源码与复现入口
固定版本已公开,可从本篇源码目录进入,按复现说明运行,或对照公式与官方代码映射检查实现。
在源码目录执行 python run.py && python audit.py 即可得到两条逐点曲线、对应编号顺序、固定阈值表和独立核对结果。只重算这些统计量时,Python 标准库就够用;若要从原始句子重放模型,按说明安装固定依赖、获取锁定权重与验证划分,再执行八条试跑和整池重放。包内只有派生预测与身份摘要,原始句子按数据卡入口获取。图的绘制脚本只读保存的曲线,使得改动图例或颜色不需要再次运行模型。
失败排查与研究边界
复现时先检查身份,再看指标。如果行数一样、总错误数也一样,仍可能是把原始编号误当作筛选后的行号。源码先比对审计清单的完整顺序,再核对预测和标签的映射。独立脚本从两个原始分数的差重新求概率,用大小关系求预测,再分别对每一个前缀直接求和。它不调用主程序的累计函数;两种路径对全部七百二十二个点和四个阈值都给出了相同结果。读者还可以查同一编号在哪个前缀首次进入,定位具体一处排序差异。
这次执行还碰到一个环境问题:旧临时环境能找到解释器,但首次导入缺少深度学习框架;恢复解释器配置后,分词器仍无法导入。我们重新安装记录的固定依赖,保留失败日志,再做八条真实模型试跑。这个顺序有实际意义:统计脚本通过只能说明旧分数能复算,无法证明当前解释器能够分词并运行分类头。反过来,模型输出正常也不能证明累计器把空接受集处理正确,两条检查都有自己的失败条件。
论文中,Geifman 与 El-Yaniv 在分类器之外设置选择函数,并研究如何在抽样假设下控制风险。他们在视觉分类数据上检验了相关算法。本实验借用风险和覆盖率的定义,只测量固定文本池上的经验曲线。作者据此推断,最大概率在这批短影评上包含有用的错误排序信息;现有结果不足以解释这些错误来自否定句、讽刺还是原标签分歧。要解释语言现象,需要先定义类别、抽样方式和人工判断流程,不能只凭几个编号替影评贴标签。
小结与可检验的下一步
本次能留下的结论有一个明确的条件:在指定的审计池、同一分类头和相同回答数量下,按置信度选出的答案比固定打乱少错十条。代价也可核对:为将三十个可见错误减到八个,同时暂缓了六十八个原本正确的答案。下一步可以冻结样本、回答量与打破并列的规则,只改变用于排序的分数。如果两种分数只是同一数值的单调变换,它们理应给出完全相同的接受集合;若结果不同,应先查有限精度和并列处理,再讨论模型能力。这是下一项实验可以直接推翻或确认的预期。
参考资料
以下一手资料检索于 2026-11-07。
- Geifman、El-Yaniv,2017,风险与覆盖率的定义见第二节,风险控制算法见第三节。Selective Classification for Deep Neural Networks
- Hugging Face,DistilBERT SST-2 英文情感分类检查点与模型卡。固定模型版本
- Stanford NLP,SST-2 验证文件与数据卡。固定数据版本
- Hugging Face Transformers,DistilBERT 分类头与前向过程。固定提交的官方实现
作者作品推广
除了写科研博客,我也独立开发了两款日常工具。日常收支小记用来记录收入与支出,安排预算和储蓄目标。在 App Store 了解。一事微光让你按当下的时间和精力选一件小事,完成后记下自己的感受。在 App Store 了解。想继续读技术文章,或了解我做的其他个人作品,欢迎访问作者个人网站。