截断预算的实验装置

复现目标:让长度成为唯一干预变量

上一篇把固定的短句分类器迁移到长影评,发现概率质量与准确率需要分别检查。但那里还有一个容易被忽略的条件:模型最多读取五百一十二个词元。词元是分词器产生的输入单位,不等于一个英文单词。一篇影评经过分词后可能远超模型上限;程序照常返回两个概率,并不表示它读过完整影评。

本次只问一个受控问题:对完全相同的影评,减少输入长度,到底只改变模型的犹豫程度,还是连预测类别也改变?我们冻结模型、分词器、样本身份、标签、批次顺序和精度,只把最大长度设为一百二十八、二百五十六和五百一十二。主要产物是三千条配对预测、逐条截断计数和独立审计脚本,不是一次新的模型竞赛。

结果先说清楚:短预算同时改变答案和置信度。相对最长预算,两个短预算分别出现一百三十九次和四十七次类别翻转。这个结果只能描述本次固定模型与探索样本;我们没有给截断后的文本重新标注,也没有判断被删掉的句子是否一定包含转折或结论。

核心思想:截断是输入干预,不是概率后处理

温度缩放只调整已有分数的尺度,而截断发生在模型前向计算之前。少了后面的词元,注意力可利用的上下文、池化表征和分类分数都可能变化。即使最终类别相同,概率也未必相同;反过来,两个条件都很自信,也可能自信地给出相反答案。官方分词文档区分填充与截断:前者为批处理对齐长度,后者限制真实输入。Transformers 文档

设原始非特殊词元序列为 xix_i,总长度为 mim_i。本实验使用右侧截断,并为起止标记预留两个位置:

xi(L)=xi[1:min⁡(mi,L−2)],di(L)=max⁡(0,mi−L+2).x_i^{(L)}=x_i[1:\min(m_i,L-2)],\qquad d_i^{(L)}=\max(0,m_i-L+2).

其中 ii 表示样本,LL 是包括特殊标记的长度上限,di(L)d_i^{(L)} 是确实未送入模型的词元数。该计数衡量输入删除量,不能衡量语义信息损失。程序把实际输入逐项与完整分词结果的前缀比较,避免只相信配置文件写了“右截断”。

模型输出 zi(L)∈R2z_i^{(L)}\in\mathbb{R}^{2},两列分别对应负面与正面。我们使用未经温度调整的概率:

pic(L)=exp⁡(zic(L))∑j=01exp⁡(zij(L)),y^i(L)=arg⁡max⁡cpic(L).p_{ic}^{(L)}=\frac{\exp(z_{ic}^{(L)})}{\sum_{j=0}^{1}\exp(z_{ij}^{(L)})},\qquad \hat y_i^{(L)}=\arg\max_c p_{ic}^{(L)}.

这里 cc 为类别,置信度定义为两列概率的最大值。并列时选择较小的标签索引。负对数似然使用原始完整影评标签对应的概率;它衡量在当前可见前缀下预测原任务标签的损失,并不证明这个前缀本身应当继承原标签。

主要配对指标是相对最长预算的翻转率与置信度绝对变化均值:

FL=1n∑i1[y^i(L)≠y^i(512)],DL=1n∑i∣max⁡cpic(L)−max⁡cpic(512)∣.F_L=\frac1n\sum_i\mathbf{1}[\hat y_i^{(L)}\ne\hat y_i^{(512)}],\qquad D_L=\frac1n\sum_i|\max_c p_{ic}^{(L)}-\max_c p_{ic}^{(512)}|.

nn 为本次一千条探索样本。绝对值避免一部分置信度升高、一部分降低相互抵消;但这个均值仍可能掩盖少量剧烈变化,不能解释为每条样本都只变化这么多。

官方代码阅读路线

先看固定模型卡,确认这是在英文情感分类数据上微调的 DistilBERT,而不是开放生成模型。随后进入固定提交的分类前向函数,查看隐藏状态如何经过分类头得到两列分数;最后看快速分词器中设置截断和批量编码的实现。源码地图给出实际核验的提交、文件位置、许可证和本地调用关系。模型卡

本地没有重新实现 Transformer,而是直接调用官方分类类。独立教学代码负责锁定样本、循环长度、保存预测和计算指标。这样阅读时可以把问题拆开:模型网络是否一致、输入是否一致、统计是否一致。框架文件与当前安装文件逐字节核对;仅知道版本号相同还不足以排除本地修改。

最小实验与评测协议

IMDb 三个池沿用上一篇在首次预测前冻结的身份文件,各一千条,先按电影分组与规范化文本摘要去重,再按稳定哈希顺序分配。本次只读取探索池的正文与标签。目标域校准池不拟合,最终确认池仍封存到系列末篇。电影去重改变了抽样分布,因此不能把这一千条当成官方完整测试集成绩。

源域 SST-2 曾被此前研究使用,这段历史不会因为重新划分而消失。当前检查点及分词器固定在同一版本,IMDb 使用官方第一版压缩包的已核验摘要。公开文本可能进入过模型预训练,本文没有零污染证据。数据包保留在共享缓存,源码只分发身份摘要和派生预测,不重新分发影评全文。

协议在运行前写入配置:三个长度全部报告,不按表现挑一个;处理顺序固定为短到长;每批十六条,四个处理器线程,单精度、评估模式、确定性算法和普通注意力实现。每个条件先运行八条试跑,估算完整预算后再处理一千条。没有训练、目标域校准或提示模板搜索。本次最长条件也重新前向计算,而非拿旧结果拼成对照。

同一批影评的长度预算对照

本次实际验证:答案变化不能被均值掩盖

最大词元数 对原标签正确数 相对512的翻转数 置信度绝对变化均值 负对数似然
128 829/1000 139 0.03141 0.74291
256 877/1000 47 0.01667 0.51091
512 890/1000 0 0 0.44102

表中都是本次真实运行结果,不是论文报告。置信度平均变化约三个百分点,看起来不大,却伴随接近百分之十四的预测翻转。原因之一是置信度只取最大概率,丢失了“最大概率属于哪个类别”的信息;两个方向相反的高置信预测可以具有相近的最大概率。因此监测置信度漂移时,应同时保存完整概率向量与类别身份。

短预算相对最长预算,一百条由对变错,三十九条由错变对,净减少六十一条正确预测。中等预算对应三十条由对变错、十七条由错变对。二分类下,标签固定且预测发生翻转,恰有一个条件正确;审计脚本用这条关系核对翻转数。它是一条算术检查,不是人工语义审核。

即使使用预先固定的原始置信度零点九门槛,三个长度仍分别接受九百三十七、九百三十七、九百四十五条,其中错误为一百四十二、九十七、八十九条。接受量近似相同不代表拒答质量相同。这里没有重新选择阈值,也没有把这个探索性门槛包装成总体风险保证。

丢弃了什么,节省了什么

三个条件分别有八百九十五、四百二十五、一百零九条发生截断,总丢弃词元为一六八〇九〇、八四五二六、二五三〇五。最长条件仍未读完所有影评,所以它只是本次预算基准,不是完整上下文的金标准。不能把短预算与它的差异直接称为全部截断损失。

推理循环实测约九点八八、二十二点八九、五十六点一八秒。这一计时包含分批编码与模型计算,不包含此前的完整文本分词、模型加载和数据读取。运行日志另记总墙钟时间、进程峰值内存、批次形状和填充词元量。峰值内存是同一进程累计值,不能伪装成每个长度独立的内存测量。

从真实日志绘制的翻转与耗时

这是一轮固定顺序测量,没有多次重复、顺序随机化或置信区间,因此不能据此宣称精确的硬件加速比。动态填充还使成本取决于同批最长样本,保留词元总数与实际填充后的计算规模并不相等。工程读者复跑时应先对齐批次和线程,再比较耗时,而不是只检查最大长度。

失败排查与证据边界

完整分词计数阶段出现超过模型长度上限的警告。这里没有把超长序列送入模型:前向输入重新按每个预算截断,并记录张量形状;逐条断言验证特殊标记之外的输入等于原序列前缀。若警告出现在实际前向阶段,应先检查输入长度与位置编码边界,不能简单隐藏日志。

另一个常见误区是把标签不变当成语义不变。本实验保留官方完整影评标签,只用于评价“读前缀预测原任务”的表现。它没有建立前缀的独立金标,没有检查删掉的部分是否包含否定,也没有把翻转归因于结尾反转。若后续研究需要这种因果解释,应先准备人工标注指南和待审样本,收到真实判断后再形成结论。

独立审计不导入主评测函数,而是从两列分数重建归一化概率、正确数、损失、翻转和删除计数,并核对探索池身份。全部三千条通过。审计支持文件内部一致性,不能替代来源核验,也不能证明模型理解了文本。耗时与内存属于测量值,语义机制属于尚未验证的解释,两者需要分开呈现。

源码与复现入口

打开本篇固定版本源码,按README 复现说明运行;SOURCE_MAP 源码地图列出官方实现与本地模块的对应关系。

最小离线命令为 python run.py analyze && python audit.py,重建结果并独立核对已存的真实分数。新推理先按说明安装固定依赖,运行下载校验,再执行三个长度的试跑与正式实验。预期产物包括逐样本分数、输入摘要、分组结果和运行环境记录。本文实际执行了每个长度八条试跑及每个长度一千条正式推理;没有把只运行语法检查称为模型复现。

可检验研究问题与总结

下一步值得检验的假设是:预测翻转是否主要集中在确实发生截断的样本,以及相同类别但置信度明显变化是否会扰动既有拒答规则。应先固定分组、变化阈值和主要统计量,再用允许的开发数据检查。若要比较头部与尾部窗口,还必须控制词元预算和窗口数量,避免把更多计算误认为更好的选择策略。

本次留下的可靠结论很具体:在锁定的一千条探索影评上,缩短输入同时改变类别与概率,速度收益伴随原任务正确数下降;少量样本却在短输入下变得正确。较长上下文没有逐样本必胜保证,较高置信度也不能证明截断无害。把输入身份、长度与预测一起保存,才有机会把这些现象转化为可复查的小研究问题。

参考资料

检索日期:2026-11-18。论文报告、官方接口说明与本次实测已在正文区分。

  1. Andrew L. Maas、Raymond E. Daly、Peter T. Pham、Dan Huang、Andrew Y. Ng、Christopher Potts,2011,Learning Word Vectors for Sentiment Analysis,ACL,IMDb 数据出处。
  2. Hugging Face,DistilBERT SST-2 模型卡,实际权重版本与文件摘要见源码锁定记录。
  3. Hugging Face,Transformers 4.49.0,Padding and truncation,输入控制规则。
  4. Hugging Face,固定提交的分类器实现,具体调用和许可见源码地图。
  5. Chuan Guo、Geoff Pleiss、Yu Sun、Kilian Q. Weinberger,2017,On Calibration of Modern Neural Networks,ICML,概率校准背景;本文不重新拟合温度。

作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。