
复现目标:一个参数也会被小样本带偏
上一篇在固定的二分类模型上,用二百五十六条校准样本拟合出约二点四八的温度,审计集的负对数似然随之下降。很容易据此产生一个直觉:既然只有一个参数,几十条标注应该也够用。今天只检验这个直觉,不更换模型,不尝试新的校准方法,也不挑出表现最好的随机种子。
本次实际验证发现,十六条样本的五十次抽样中,有十次校准子集恰好没有模型错误。这十次的拟合温度全部到达预设下界,应用到同一审计池后,概率损失显著恶化。问题不是分类答案突然改变,而是错误答案得到更接近一的概率。这个负结果说明,参数少不等于数据提供的信息充分。
本文的可审查产物是二百五十次拟合记录:每次包含样本身份、温度、边界标记、校准错误数和审计损失。结论限定于固定公开模型、固定有限样本池和当前抽样协议,不把一次局部实验写成通用样本量建议。
核心思想:把数据波动与优化失败分开
温度缩放是对分类器的 logits,也就是归一化前的类别分数,统一除以一个正数后再计算概率。Guo 等人在二〇一七年的论文中研究了这种后处理方法;论文报告的有效性来自其具体实验,不能替代当前模型的小样本检验。
这里冻结 DistilBERT SST-2 检查点、分词器、标签映射、截断长度和真实预测缓存,只改变参与拟合的样本身份与数量。同一规模重复抽样,可以观察估计量对样本组成有多敏感。与此同时,用另一种数值方法独立求解,检查异常温度究竟是优化器没收敛,还是目标函数确实偏好边界。
这两种解释的应对方式不同。算法错误需要修实现;数据中没有足够错误样本,则不能靠多迭代几次补出缺失信息。我们不在看到审计结果后调整温度边界,保留原先的约束,便于与上一篇对照。
公式与模块:零错误为何会推高自信
对第 条样本,设两类分数为 和 ,标签 取零或一。定义分数差 ,逆温度 ,则正类概率为
这里 是温度, 是正标量;每批原始输出形状为 ,概率仍对应两个固定情感标签。它不是开放文本生成的正确概率。温度保持为正,因此理论上不会改变两个分数的大小关系。
拟合目标是校准子集上的平均负对数似然,简称 NLL:
是本次拟合使用的样本数。实现采用稳定的 softplus 计算,避免大指数溢出;主求解器使用导数二分法,独立审计使用黄金分割搜索,不导入主拟合函数。
第二式说明目标对逆温度是凸的。如果所有样本都被严格正确分类,每项一阶导数都为负,增加逆温度会继续降低训练目标。于是受约束最优解落在逆温度上界,也就是温度下界。这不是“模型真的完全可靠”的证据,而是有限样本上目标函数的行为。若存在分数相等或完全退化的样本,还需要单独讨论,本次不把这些情形混入解释。
最小实验与评测协议
原始 validation 的八百七十二条样本早已按固定身份哈希划分:探索池二百五十六条、校准池二百五十六条、协议审计池三百六十条。本篇只读取上一篇校准与审计的真实 logits。SST-2 在历史项目中已经使用,审计池也已在上一篇观察,因此这里属于探索性方法实验,不能称从未见过的测试集。IMDb 的三个池本次均未访问。
在计算新子集之前,我们保存协议与输入哈希。种子固定为 11800 至 11849;每个种子根据种子和样本编号的 SHA-256 排序,再取前 16、32、64、128、256 条。这样同一种子内的小子集是大子集的前缀,便于配对追踪。没有按标签或错误数分层,也没有删除不理想的子集。
每个规模拟合五十次,逆温度区间沿用 ,二分一百轮;温度对应同样的数值区间,但上下端互换。主要指标预先定为温度的样本标准差;同时报告中位数、范围、边界次数、零错误次数以及统一审计池上的 NLL。审计结果不会回流到拟合步骤。

图是方法示意,末端散点不代表测量结果。新实验总共二百五十次标量拟合,没有重新训练分类器。另执行八条真实 CPU 推理,核对缓存与当前模型加载路径;所有正式统计仍来自固定的六百一十六条已有预测,不能将缓存分析记成新模型推理。
本次实际验证:均值掩盖了边界失败
| 校准数量 | 温度中位数 | 温度标准差 | 温度范围 | 边界次数 | 审计 NLL 中位数 |
|---|---|---|---|---|---|
| 16 | 2.7254 | 1.4284 | 0.0500–5.3817 | 10/50 | 0.25797 |
| 32 | 2.6012 | 0.7061 | 0.0500–4.4586 | 1/50 | 0.24192 |
| 64 | 2.5430 | 0.3619 | 1.4686–3.3428 | 0/50 | 0.23881 |
| 128 | 2.5407 | 0.1994 | 2.1111–2.8738 | 0/50 | 0.23786 |
| 256 | 2.4819 | 约零 | 2.4819–2.4819 | 0/50 | 0.23714 |
十六条时温度均值约二点四四,看起来接近全池估计,实际却混合了两种很不同的结果:部分子集把概率软化,十个零错误子集则把概率大幅锐化。因此只写平均温度会隐藏失败。三十二条时仍出现一次相同边界事件,六十四和一百二十八条时在这五十个子集中没有观察到。
原始审计 NLL 约为 0.38411。十六条和三十二条两组的最坏值均为 7.27131,恰好对应温度下界;其余两种较大子集的最大值分别约为 0.28393 和 0.24201。审计池三百三十条正确预测在全部二百五十个温度下保持不变,说明准确率不能揭示这次概率质量退化。
全池标准差约零不是“二百五十六条足够”的证明。每个种子使用的是完全相同的二百五十六条,只改变排列;微小数值差来自浮点求和次序。它是有限池抽样设计的必然端点。我们没有取得五十份独立新数据,也没有估计未来总体上的温度方差。
官方代码阅读路线
先读论文温度缩放部分,再读作者仓库的 temperature_scale 与 set_temperature:前者执行分数除温度,后者收集验证 logits 并优化交叉熵。随后进入 Transformers 的 DistilBERT 分类头,核对首位置隐状态经过预分类层、激活、dropout 和二分类层的路径。实际推理运行官方库,本文没有用教学网络替代检查点。
本地实现保留上一篇有界逆温度求解器,区别于作者示例的 GPU LBFGS。差异写入源码地图,不宣称逐行复刻官方实验。新增入口负责哈希抽样、结果汇总和资源记录,独立脚本负责重新构建子集并复算损失。模型与数据的完整 revision、文件哈希、依赖和许可证均随代码提供。
源码与复现入口
本篇已公开的固定版本入口:源码目录、README.md、SOURCE_MAP.md。二十六个分发文件已从固定提交匿名下载,并与本地归档逐文件核对;公开副本的独立复算与八条真实模型重放通过。
最小分析命令为 python run.py,随后执行 python audit.py。预期得到逐次拟合记录、五个规模的汇总和独立审计结果。真实模型重放需安装依赖,执行 python model_run.py prepare --cache .cache 与 python model_run.py smoke --cache .cache;缓存可复用,但必须通过资源哈希验证。原始文本因数据许可未明确而不随包分发,下载脚本固定官方来源。
失败排查:先检查记录,再解释机制
遇到边界温度,第一步应查看校准错误数及目标导数,而不是立即归因于学习率。当前十一个边界事件均来自零错误子集,独立优化核对支持其为约束最优。第二步检查概率计算是否稳定:极小温度会造成指数下溢,不能直接取已经舍入成零的概率再求对数,应从 logits 稳定计算损失。
第三步检查身份是否漂移。相同数量不代表相同样本;本篇保存所有抽样编号,并核对校准与审计不重叠。第四步检查是否偷偷使用审计损失选择种子、温度范围或报告规模。一旦这样做,原本用于评价的池便参与了方法选择,需要新的确认数据,不能继续沿用原来的证据地位。
独立脚本使用不同的损失表达式与求解路径,并保存输入哈希和退出码。这是确定性算术复核,不是人工语义审核。本次没有新建语义标签或改写文本,使用官方原始标签,因此不存在由自动脚本冒充人的标签保持判断。
实际运行另记录操作系统、解释器、框架版本、张量形状、耗时和进程峰值内存。八条重放的前向耗时约零点零七六秒,导入后的总过程约零点五六六秒;八条重放与原缓存的最大分数差约为四点七七乘十的负七次方,预测类别全部一致;当前八条批次与原十六条批次的填充形状不同,记录保留浮点差异,不声称逐字节相等。这只是当前机器的一次测量,不是性能基准。输入资源复用已验证缓存,因此本次没有测量重新下载所需时间,读者首次运行仍需预留模型文件下载空间。
研究问题与证据边界
作者推断是,小样本估计的不稳定性至少部分与错误样本是否被抽到有关;当前凸目标分析提供了零错误子集的机制解释。但不同子集同时改变了类别比例、分数间隔和文本组成,不能把所有温度波动都归因于一个因素。若进一步检验,应预先固定错误比例或间隔分层方案,而不是看完审计损失后重新拼凑“理想校准集”。
另一个可检验问题是,带有预先确定正则项的温度估计是否能减少边界失败,同时维持概率质量。当前没有运行这个方案,不提供想象中的提升数字。下一篇将按既定顺序比较温度缩放与保序回归,使用相同数据边界,研究灵活方法的小样本风险;今天的审计观察不能包装成下一篇的盲测保证。
五十次抽样之间共享有限池,嵌套规模之间更是配对相关。表中标准差只是当前抽样分布的描述,不是均值的标准误,也不是百分之九十五置信区间。不能据“六十四条未出现失败”推断其失败概率为零,更不能把这个数字推荐给其他数据集、模型或类别数。
总结
只拟合一个参数,仍可能因为校准集中没有错误而产生极端概率。今天的贡献是把平均表现之外的失败留下来:固定输入、预先登记抽样、报告全部边界解、用独立求解器复核,并明确有限池与历史暴露的限制。可靠的复现实验不只是给出一个温度,更要说明换一小批校准样本之后,结论还能保留多少。
参考资料
检索日期:2026-11-03。论文观点、官方实现与本次实验结果分别说明。
- Guo, Pleiss, Sun, Weinberger. 2017. On Calibration of Modern Neural Networks,ICML,PMLR 70。
- 作者温度缩放实现,固定提交,MIT。
- Transformers DistilBERT 官方实现,Apache-2.0。
- 固定 SST-2 模型卡。
- 固定 SST-2 数据卡。
作者作品推广
以下是作者自有产品推广。除了科研写作,我也独立开发了两款日常工具:日常收支小记用于记录收支、安排预算与储蓄目标;一事微光帮助你按时间与精力选择小行动,并记录完成后的感受。它们承载的是我对日常记录的兴趣,不代表本文的研究结论或论文机构背书。更多技术文章与个人作品,欢迎访问个人网站。