
摘要
上一實驗給兩個固定檢查點計算了配對區間,卻沒有回答一個更早的問題:為什麼偏偏比較這兩個?如果研究者換過提示詞、示例順序和答案表示,再挑最高分寫進摘要,區間即使算對,也可能沒有覆蓋選擇過程帶來的樂觀。本篇把十種協議的全部開發結果放在一起,選定一個方案後,才打開此前保留的128條確認樣本。目標是復現一次可審計的“搜索—凍結—確認”,不是證明做過搜索的提升一定消失。
復現價值:把挑選過程也視為實驗
選擇偏差指評估對象經過數據驅動的篩選後,篩選時的成績不再像事先指定對象的成績那樣容易解釋。它不要求訓練模型,也不要求故意隱瞞:多改幾次提示詞、只記住最順眼的一行,已經在做選擇。
論文報告:Cawley與Talbot在2010年的研究指出,有限樣本上的模型選擇準則也會被過擬合,選擇步驟必須納入性能評估設計。[1] 本篇借用這個問題框架,沒有復現其核方法實驗,更沒有把論文中的偏差規模套到語言模型上。
本次實際驗證:複用真實SmolLM2-135M-Instruct及公開SST-2數據,十種設置只接觸64條開發題;選擇之後僅評估勝者與固定零樣本基線。與前篇相比,改變的是評測協議的選擇過程,凍結的是原始模型、數據劃分和語義準確率定義。新增產物是包含全部嘗試、選擇時間和源碼哈希的凍結文件。
核心思想與公式:最高分不是免費得到的
設第種設置在開發集上的準確率為,選擇規則是
這裡表示一整套提示與答案計分協議,是被選擇的協議編號;同分按預先列出的順序選第一個。即使各設置的估計沒有系統偏移,取最大值也傾向於保留有利波動。一個基本關係是
期望是對重複抽樣而言,不是對這十個數字簡單求均值;設置之間可以相關,這個不等式仍成立。但它沒有告訴我們本次樂觀了多少,更不意味著所有設置真實能力相同。把十次試驗當作十枚獨立硬幣,通常不符合共用模型、題目和模板的事實。
模型如何給出答案也要固定。對上下文和候選答案,採用
是凍結權重,是第個候選token,是其長度;只求候選部分的對數概率和,不把題目token算進去。兩候選取較大者,再映射回原始負面或正面標籤。字母A/B只是顯示位置,換序時標籤映射隨之改變。

官方代碼閱讀路線:先追數據,再追分數
從固定版本的SST-2任務配置讀起:它聲明公開GLUE數據、原始問題模板、兩個文本候選和準確率。[4] 接著看_encode_pair怎樣處理上下文與續寫邊界,再看_loglikelihood_tokens取哪些位置的概率,最後進入process_results核對argmax和標籤。
本篇直接調用官方HFLM.loglikelihood與ConfigurableTask.process_results,沒有把整個simple_evaluate運行器都稱為已復現。獨立路徑另外做一次真實Transformer前向計算,檢查候選token、因果位移和得分。源碼地圖給出已實際下載核對的永久文件行號;七個官方文件與安裝版本逐字節一致。統計部分再讀SciPy的bootstrap:配對開關決定兩個方案是否使用同一批重採樣題號。[5]
最小實驗:十種設置究竟是什麼
模型與tokenizer固定在12fd25f…,GLUE固定在bcdcba79…;完整revision和12個資源文件哈希見資源鎖。仍按最初的題號哈希順序取64條開發樣本、後128條確認樣本,二者沒有交集。數據來自公開驗證劃分,不能稱官方測試榜單。[6][7]
九種歷史協議來自前面的示例順序和選項實驗,重複的原始零樣本協議只算一次。新增第十種只寫Review: {sentence},下一行寫Sentiment:,候選仍為negative與positive。全部設置在本次新推理前寫入配置,沒有看確認成績後補候選。兩組四示例只取訓練集,沿用已經固定的題號和順序。
| 開發設置 | 正確數/64 |
|---|---|
| 原始零樣本 | 32 |
| 四示例A:正序/逆序 | 31/37 |
| 四示例B:正序/逆序 | 33/44 |
| 列出選項、答文本:正序/逆序 | 31/32 |
| 列出選項、答字母:正序/逆序 | 32/33 |
| 簡短提示詞 | 52 |
這張表保留了全部十項,包括低於基線的結果。簡短提示詞以52/64勝出。歷史九項成績此前已經看過,因此這不是事前註冊的全新十臂研究;準確說,它是對回顧性候選集合做一次前瞻確認。舊模型微調結果沒有混入本表,人工評分器也沒有參與挑選。
評測協議與真實結果
運行順序是開發集兩題乘十條件試跑、開發集全量評測、寫入選擇文件,最後才做確認。凍結記錄時間為2026年10月14日09:16:38,記錄勝者、基線、全部得分、待確認題號及執行源碼哈希。確認入口拒絕試跑模式,也拒絕源碼身份變化;保留的新聞64題沒有使用。
本次實際驗證:確認集上,簡短提示詞89/128,原基線65/128;勝者新增正確28題、退步4題、其餘96題結果相同。配對提升為18.75個百分點,95%百分位區間為[10.9375,26.5625]個百分點。確認集正負各64題,恆選正面只能得到64/128,這個簡單診斷也一併報告。
開發集提升是31.25個百分點,確認後的提升縮小但仍為正。因此不能寫成“選擇偏差讓優勢完全消失”,也不能把開發集81.25%的絕對準確率沿用到確認結論;確認準確率實際為69.53125%。作者推斷:這支持當前凍結模型和當前任務下,簡短提示相對原模板更合適;它不識別提升究竟來自措辭、長度還是模型預訓練習慣。
一個容易遺漏的邊界是“未使用”的含義:確認樣本早已下載,前篇還用其文本進行不依賴標籤的精確重疊排除;它此前沒有參與模型成績選擇,也沒有推理記錄。這是本地研究流程中的留出,並非第三方保管的秘密盲測。如今它已被消費,後續不能一邊查看錯題一邊繼續宣稱它未見。
前向計算使用CPU、float32、eager注意力、四線程和batch size 1;不套聊天模板,不加BOS/EOS,不生成回答,也不訓練。最大輸入512,超過就停止而非靜默截斷。十條件開發正式運行包含640次題目協議評測、1280個候選;確認只比較兩個凍結方案,共256次評測、512個候選。獨立與官方得分最大差為零。
資源也屬於證據。開發階段導入後131.505秒、峰值RSS約1.91GB;確認階段32.995秒、約1.38GB。首題logits形狀分別為[1,36,49152]和[1,23,49152],依次是批量、輸入長度與詞表大小。耗時隨負載變化,不能當吞吐基準。原始零樣本、四示例和簡短提示的開發候選輸入token總量分別為4506、26522、3588;獨立復算又計算了一遍,這些數字不是整個進程的總運算量。預算不同,因此本篇比較的是可選協議,不是等計算量下的示例因果效應。
區間回答什麼,不回答什麼
對第條確認題,令為勝者是否正確減去基線是否正確,則
,正一是勝者新增正確,負一是退步,零是兩者同對或同錯。以題目為單位同時重採樣兩列正確性,固定隨機種子9900,計算兩萬次差值的百分位區間。全部重採樣結果與直接共享索引實現一致;獨立標準庫腳本還用離散分佈卷積復算經驗區間。[2][5]
這個區間描述已經選定的固定協議在當前按行抽樣假設下的差異,沒有重演每次搜索,所以不覆蓋整個研究策略的不確定性。接口沒有電影或來源分組標識,按行獨立只是條件假設;預訓練是否見過這些評論也無法排除。即使確認優勢保留,也不能據此聲稱中文情感、其他模型或其他任務都提高。
開發到確認的變化混合了抽樣難度、類別組成與篩選效應,不能把兩次提升相減就命名為“選擇偏差的精確估計”。若想估計搜索策略,應在新的外層劃分中重新完成內層挑選,而非只給當前贏家多畫一條誤差線。反覆看確認分數再改提示,會把確認集重新變成開發集;可重複使用留出數據需要額外方法與假設,本篇沒有實現那類機制。[3]
失敗排查:先排身份錯,再解釋模型
本次首先遇到臨時環境文件被清理,隨後新解析到的PyArrow版本與固定NumPy不兼容。錯誤發生在模型運行之前;恢復兼容版本後,試跑與正式運行才繼續。測試驅動還曾把本地選擇腳本誤識別為同名標準庫,已只修復加載方式,凍結實驗源碼未改。失敗命令與退出碼都保留。
復跑若不一致,按資源哈希、題號集合、示例ID、上下文哈希、候選token和語義映射逐層排查。不能為了對齊結果而直接修改期望哈希。八個破壞測試檢查錯分、重複題、缺題、錯誤標籤及確認題洩漏,能證明確定性檢查會拒絕壞記錄,卻不能替代對自然語言語義的真人判斷。
可檢驗的後續問題
簡短提示勝出至少有兩個解釋:它更符合模型熟悉的補全文體,或者較少的上下文減少了無關競爭。本次同時改變表述和長度,無法區分。後續可在新保留數據上預先安排同長度改寫與同措辭長度對照,再報告全量條件;已經消費的128題不能重新包裝成未見確認集。
另一個問題是贏家是否穩定。重排開發集或改變隨機劃分後,勝者可能不同。可以先在現有開發數據上做探索性穩定性分析,但它不能挽回已經看過的確認集。若資源只允許一次確認,就承認只有一個獨立確認結果,保留失敗邊界,比事後追加條件直到顯著更有研究價值。
源碼與復現入口
完整公開源碼已固定到提交4d027f931e0f:本篇目錄、README與完整運行步驟、SOURCE_MAP官方實現映射。51個公開文件已匿名下載並與本地源碼及歸檔逐項核對,公開副本的審計和真實模型試跑均通過。
最小離線命令為python audit.py,輸出候選求和、標籤映射、選擇結果和確認差值的獨立審計。真實模型入口為python run.py --cache ./cache --phase development --smoke --out smoke-new,先按README安裝鎖定依賴並運行prepare.py。預期保存逐題記錄、階段狀態、環境與身份文件。配套包包含完整自寫模塊、下載器、配置、許可證及源碼地圖;不分發模型權重、原始評論或隱含本機路徑。
總結
搜索本身不是錯誤,省略搜索過程才會讓證據難以判斷。本篇把十種嘗試、一個凍結勝者和一次留出比較分開記錄。可檢驗的結論來自確認數據及其限制;開發集上的最高分負責提出候選,不應獨自承擔最後的證明。
參考資料
檢索與實際訪問日期:2026-10-14。
- Gavin C. Cawley、Nicola L. C. Talbot,2010:On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation,JMLR 11,2079–2107;全文。
- Rotem Dror、Gili Baumer、Segev Shlomov、Roi Reichart,2018:The Hitchhiker’s Guide to Testing Statistical Significance in Natural Language Processing,ACL。
- Cynthia Dwork等,2015:Generalization in Adaptive Data Analysis and Holdout Reuse。本篇僅引用問題背景,未運行其算法。
- EleutherAI:固定提交SST-2任務配置。
- SciPy:1.13.1版bootstrap文檔。
- HuggingFaceTB:固定版本SmolLM2-135M-Instruct模型卡。
- NYU/GLUE:固定版本數據卡;Richard Socher等,2013:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank,EMNLP。