两种校准映射的科研装置示意

复现目标:校准集上更漂亮,能否带到下一组样本?

上一实验说明,几十条样本可能把温度推到搜索边界。本篇再增加一个受控问题:如果允许校准函数弯曲、形成平台,它是否比只有一个参数的温度缩放更可靠?我们固定模型、原始预测、校准身份和审计身份,只更换后处理方法,同时保留一个预先登记的小样本条件。

本次实际验证给出的答案是否定的,但范围有限:使用完整二百五十六条校准样本时,保序回归在拟合数据上损失更低,在三百六十条审计样本上却没有超过温度缩放;它还给七个错误答案分配了确定性的错误概率。这是一次可复算的方法实验,不是所有数据集上的方法排名,也不是开放生成可靠性的结论。

核心思想:一个旋钮与一条可以弯曲的曲线

温度缩放只改变两个类别分数之间的距离。正温度不会翻转大小关系,因此类别预测保持不变。保序回归则寻找一个非递减映射:原正类概率更大的样本,校准后的正类概率不能更小;但相邻样本可以落到同一平台。这里的“保序”允许并列,不等于严格保存全部排序,也不保证原来的分类阈值保持有效。

论文报告方面,Guo、Pleiss、Sun 与 Weinberger 在二〇一七年的研究中发现,单参数温度缩放在其多项实验中有效。这是选择简单对照的理由,不是本实验结果的替代证据。论文与会议记录

官方文档将保序回归定义为带单调约束的最小二乘问题,并提醒校准样本少时应注意过拟合。这里我们直接调用固定版本的官方实现,而不是把教学近似当作该库。保序回归文档、概率校准文档

公式与评测对象

对每个输入,模型产生两个原始分数,也就是 logits。记它们为 zi0,zi1z_{i0},z_{i1},正类标签为 yi∈{0,1}y_i\in\{0,1\},分数差为 di=zi1−zi0d_i=z_{i1}-z_{i0}。温度变换为:

pi(T)=11+exp⁡(−di/T),T>0.p_i(T)=\frac{1}{1+\exp(-d_i/T)},\qquad T>0.

这里 pi(T)p_i(T) 是正面情感类别的概率,TT 是在校准子集上拟合的一个标量;模型批量输出形状是 [B,2][B,2],后处理概率向量形状是 [B][B]。我们继承有界逆温度求解器,用校准集负对数似然确定参数,边界与迭代规则均不依赖审计结果。

保序回归使用原始正类概率 pip_i 作为横坐标,寻找映射 ff:

min⁡f∑i=1n(f(pi)−yi)2,pi≤pj⇒f(pi)≤f(pj).\min_f\sum_{i=1}^{n}(f(p_i)-y_i)^2,\qquad p_i\le p_j\Rightarrow f(p_i)\le f(p_j).

nn 是本次拟合样本数,f(pi)f(p_i) 是该样本的校准概率。函数约束方向显式设为递增,不让程序根据相关性自动选择。两种方法优化目标不同,故这是常用方法整体比较,不能解释成只增加参数数量的纯因果实验。

主要指标为双类别求和 Brier 分数,即概率与标签之间的平方距离:

BS=2m∑i=1m(qi−yi)2.\mathrm{BS}=\frac{2}{m}\sum_{i=1}^{m}(q_i-y_i)^2.

mm 是评测样本数,qiq_i 是某方法输出的正类概率;因子二来自两个类别的误差相加。辅助指标为负对数似然,即 NLL。对真正的零真类概率,数学上的损失是无穷大。为了仍能比较有限表格,协议另外预设 ε=10−6\varepsilon=10^{-6},只在计算展示用 NLL 时将真类概率限制到 [ε,1−ε][\varepsilon,1-\varepsilon]。拟合、Brier、分类与边界计数始终使用未截断概率。

官方代码阅读路线

先读固定提交中的 IsotonicRegression._build_y:排序、合并重复横坐标、进行带权保序拟合,再删去不影响预测的冗余平台点。随后读 _build_f 与 _transform:官方预测会在保留结点之间线性插值,超出校准横坐标范围时,本实验明确选择端点截取。因此“保序函数是阶梯”只是直观示意,不能据此自行实现为处处阶梯常数。固定源码

本次核验了版本一·六·一对应的真实提交,并逐字节确认安装的模块与官方文件一致。标签对象与提交对象不同,首次直接用带注释标签对象读取文件返回不存在,解析实际提交后成功;该失败保留在核验记录中。源码地图区分官方库调用、继承的自写温度求解器与独立复算脚本,许可证为官方 BSD 三条款及各继承模块记录的许可。

最小实验:同数据、同模型、不同映射

校准拟合与独立审计的数据路线

模型沿用固定 DistilBERT SST-2 检查点;数据沿用官方 validation 的身份清单。原始划分按身份哈希固定,探索池二百五十六条、校准池二百五十六条、协议审计池三百六十条互不相交。本篇只复用后两池在前篇保存的真实 logits,不重新筛选句子,不新增语义标注。

SST-2 已在历史实验中使用,审计结果也在前两篇被观察。因此这里的“独立”只指未进入当前校准拟合,不能写成从未见过的测试集。IMDb 三池本次均未推理,最终确认池保持未使用。

本篇预先冻结身份排序规则,取哈希前三十二条和完整二百五十六条形成嵌套条件。每个条件同时拟合温度与保序回归,完整输出原始概率对照。不换种子寻找更典型案例,不根据审计集选样本量、映射或截断参数。三十二条恰好全部预测正确,是执行后发现并保留的现象,不是挑出的“最佳校准集”。

运行使用已有固定模型缓存,先校验文件哈希,再执行八条真实 CPU 试跑,重新取得形状为八行两列的输出。正式方法比较复用六百一十六条历史模型预测;不能称为今天重新完成六百一十六次模型前向。本次新增分析实测约零点零二五秒,进程峰值内存约九十六 MiB;八条试跑前向约零点零七五秒,导入后的流程约零点五四八秒,完整环境与内存记录随源码保存。下载使用已校验缓存,本次不报告新的下载耗时。新增执行的是四次拟合、十二组评测以及独立算术核验,没有模型训练或付费计算。

结果:更低的拟合误差没有转化为更好的审计表现

下表均是三百六十条审计样本的实际结果。NLL 列使用预设截断规则,所有方法共享相同分母;未经截断的保序 NLL 在两种样本量下都为无穷大。

校准量 方法 Brier 截断 NLL 正确数
不拟合 原始概率 0.154001 0.384113 330
32 温度缩放 0.166945 1.145233 330
32 保序回归 0.154905 0.614199 330
256 温度缩放 0.135151 0.237136 330
256 保序回归 0.137395 0.420606 329

完整校准池上,保序回归拟合 Brier 为零点一一五八六七,低于温度缩放的零点一四七三八五;审计集排序却反过来。其审计输出有二百四十九条处于零或一,其中七条把真实类别概率置零。温度为约二点四八一九时,输出没有边界概率。这说明不能只看校准集曲线是否贴合标签,也不能只报告被截断后的有限 NLL。

小样本条件更值得保留。三十二条全部正确,把温度推到零点零五的下界;保序回归则在拟合样本上取得零 Brier。二者到了审计集都比原始概率差。保序回归有十一条真类概率为零,但 Brier 只略微变差:平方损失有界,对数损失对绝对错误的确信极其敏感,两者回答的是不同问题。

温度的小样本结果还暴露了数值陷阱。有限 logits 与正温度在数学上不会产生精确零概率,但浮点 sigmoid 可以舍入到一,随后用一减它会得到零。因此新增一个明确标记的事后数值诊断:用稳定 softplus 直接从 logits 算未截断 NLL。该条件稳定未截断 NLL 为七点二七一三一四,仍然很差,但有限。它不改变预登记主指标、不重新选择温度,也不把舍入事件误报成数学上的无穷损失。

失败排查与独立复算

第一步应检查身份,不是调参数。确认两种方法使用完全相同的校准编号,校准与审计不重叠,输入文件哈希与协议一致。第二步检查概率对象:这里校准的是正类概率,不是最大类别置信度;混用二者会改变标签含义。第三步检查插值与外推规则,尤其是重复横坐标和校准范围之外的预测。

独立审计没有再次调用官方拟合器,而是用保序最小二乘的区间平均最小最大表述重建拟合值,再独立插值,逐项核对所有输出与指标。最大概率差约为一乘十的负十六次方。模型试跑另与历史八条输出按身份比较,允许有记录的浮点误差,但要求类别一致。算术审计不是人工标签审查;本篇未产生需要真人判断的新语义标签。

源码与复现入口

公开固定版本已核验:源码目录、README、SOURCE_MAP。配套包包含统一入口、官方模型下载与试跑脚本、固定依赖、配置、协议、源码地图、逐样本派生结果和审计脚本。最小运行命令为:

python -m pip install -r requirements.txt
python run.py
python audit.py

预期生成 results.json、analysis_environment.json 与 audit_result.json。模型缓存可用时另执行 python model_run.py smoke --cache .cache;首次使用先运行对应的 prepare 命令。下载约需二百七十兆模型资源,默认 CPU 四线程,预算三十分钟与六 GiB 内存。原始句子因数据卡许可不明确不随包分发,下载脚本固定官方 revision,已有缓存必须通过哈希检查。

还有一个容易混淆的地方是标签阈值。温度缩放仍以原始分数差的正负作分类,保序回归却可能移动概率跨越二分之一的位置,也会制造平台并列。本篇统一约定严格大于二分之一才预测正类,相等时预测负类。因此完整池条件下正确数从三百三十降到三百二十九,是实际映射及阈值共同产生的结果,不应将它悄悄改回原始类别后再报告准确率。

同样,审计样本量较大并不自动意味着比较可靠。两种方法共享审计样本,损失差是配对观测;本篇没有为差值构造区间,也没有对多组候选作显著性检验。零点零零二左右的 Brier 差只能作为本次固定样本的描述。边界错误更适合帮助提出下一步假设,不能替代跨划分、跨数据域的验证。

可检验的后续问题与总结

作者推断是:灵活映射在稀疏分数区域缺少错误观察时,更容易把局部纯净误当确定性。但当前只有一个固定小样本子集与一个完整池,不能估计这一现象的发生频率,更不能宣布方法普遍胜负。后续若要比较平滑保序、概率截断或更多校准样本,应另行登记候选与选择规则,不能拿本篇审计结果反复选出最好组合后继续称独立评测。

下一篇将改变校准集类别比例,检查全局温度能否同时照顾两类。本篇留下的可审查结论更克制:相同数据下,拟合误差下降不保证审计概率质量提高;边界概率与数值舍入必须分开;分类正确数、平方损失、对数损失也不能互相替代。这些失败本身就是连续研究需要保存的证据。

参考资料

检索与源码核验日期:2026-11-04。

  1. Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. 2017. On Calibration of Modern Neural Networks,ICML / PMLR 70。
  2. scikit-learn 官方:Isotonic regression 与 Probability calibration。动态文档只作概念来源,实际执行版本固定为 1.6.1。
  3. scikit-learn 1.6.1:固定提交源码。
  4. DistilBERT 固定模型卡。
  5. SST-2 固定数据版本。

作者作品推广

以下是作者自有产品推广。除了科研博客,我也独立开发日常小工具:日常收支小记用于记录收支、安排预算与储蓄目标;一事微光帮助按时间、精力选择小行动,并记录完成后的感受。欢迎按自己的需要了解,也可以到个人网站阅读更多文章与作品介绍。这些产品与本文论文、实验结果及研究机构没有背书关系。