封面圖

  • 日期:2026-09-22
  • 適合讀者:研究生、科研新人和工程型研究者
  • 復現範圍:重放《Adversarial Robustness:攻擊沒成功,模型就魯棒嗎?》的合成實驗摘要,驗證日誌、統計表與配對區間;不重新訓練模型。

摘要

“平均提升兩個點”並不是完整的實驗結論。兩個點來自哪些運行?是否使用同一測試集?誤差線表示種子間波動,還是均值的不確定性?失敗的運行有沒有被悄悄刪掉?本文圍繞一個可執行目標組織報告:給定保存的實驗日誌,自動生成有明確統計含義的表格,並讓每個數字都能追溯到計數、協議與來源文件。我們復現報告流程,不聲稱復現強化學習論文的性能。

目錄

  1. 復現價值與論文問題
  2. 核心思想與統計公式
  3. 官方代碼閱讀路線
  4. 最小實驗與日誌契約
  5. 評測協議與實際結果
  6. 誤差線、失敗排查與驗證記錄
  7. 可複用報告模板
  8. 後續科研問題與總結

一、復現價值與論文問題

論文報告。 Agarwal、Schwarzer、Castro、Courville 與 Bellemare 在 NeurIPS 2021 討論了少量運行下的強化學習評測:只比較均值或中位數這樣的點估計,會隱藏有限樣本造成的不確定性。論文提出區間估計、性能分佈和四分位截尾均值等工具,併發布 rliable。[1]

四分位截尾均值,簡稱 IQM,是保留排序後中間一半分數再求均值的穩健彙總思路。它適合討論異常任務對彙總指標的影響,卻不能修復測試洩漏、錯誤分母或挑選最好的種子。本篇只有一個合成任務,不為了使用某個指標而把五種擾動預算偽裝成五個獨立任務。

本次實際驗證。 輸入來自《Adversarial Robustness:攻擊沒成功,模型就魯棒嗎?》已有的三個模型運行,每個運行包含五個擾動預算和四種攻擊,總共六十條摘要。目標是恢復二十個條件組的均值、樣本標準差,並檢查弱攻擊與強攻擊之間的配對差值。模型性能沿用舊日誌,本次新增的證據是報告器計算與審計結果。

二、核心思想與統計公式

報告前先定義估計對象:我們關心同一合成生成機制下,完整實驗運行變化時,某種攻擊得到的魯棒準確率如何變化。魯棒準確率記為 RA,本例分母包含全部測試樣本;原本就分類錯誤的樣本也計入失敗。

rs,e,a=Ns−Fs,e,aNs,rˉe,a=1S∑s=1Srs,e,a.r_{s,e,a}=\frac{N_s-F_{s,e,a}}{N_s},\qquad \bar r_{e,a}=\frac1S\sum_{s=1}^{S}r_{s,e,a}.

其中,種子索引為 (s),擾動預算為 (e),攻擊方法為 (a),(N_s=2048) 是測試樣本數,(F) 是失敗數,(S=3)。彙總張量形狀為 [3,5,4]:三個運行、五個預算、四種攻擊。不能把這六十格直接當作六十次獨立重複。

SD=∑s(rs−rˉ)2S−1,SE=SDS.\mathrm{SD}=\sqrt{\frac{\sum_s(r_s-\bar r)^2}{S-1}},\qquad \mathrm{SE}=\frac{\mathrm{SD}}{\sqrt S}.

SD 是樣本標準差,描述觀察到的運行間波動;SE 是均值標準誤,在獨立同分布運行的假設下估計均值的不確定性。上式中的 (r_s) 固定預算和方法。二者單位相同,含義不同,任何一個都不能直接改名為“百分之九十五置信區間”。NeurIPS 檢查表要求明確變異來源、計算方法和誤差線類型。[2]

比較兩種攻擊時,先算 (d_s=r_{s,A}-r_{s,B}),再對 (ar d=S^{-1}\sum_s d_s) 估計區間。這裡每對結果共享模型、測試樣本與預算;同一數字的種子名本身並不足以證明其他項目也具備這種配對條件。

三、官方代碼閱讀路線

先讀 rliable README 的輸入約定:通常是“運行數 × 任務數”的矩陣,並查看指標函數如何消費它。[3] 接著讀 metrics.py:aggregate_mean 先求每個任務的運行均值再求任務均值,aggregate_median 則取這些任務均值的中位數,aggregate_iqm 使用截尾操作。[4] 閱讀重點是軸和權重,而不只是函數名字。

再到 library.py 的 get_interval_estimates。數組輸入走 StratifiedBootstrap,默認不重採樣任務;這對應固定任務集合、重做運行的估計問題。多數組輸入則走 StratifiedIndependentBootstrap,分別抽取輸入樣本,不能直接拿來假定保留了方法間配對。[5]

最後對照 SciPy bootstrap 文檔:paired=True 才會共享抽樣索引,默認區間方法為 BCa;rliable 入口默認是 percentile,即百分位方法。[6] 本文腳本不調用這些庫,而是顯式枚舉三個配對的重採樣,避免把不同默認值混為一談。

本次閱讀的是檢索日的官方倉庫 master,未固定提交;源碼閱讀已經完成,官方庫運行及版本兼容性待人工核驗。不能把本文的標準庫運行記錄寫成 rliable 的復現記錄。

四、最小實驗與日誌契約

論文結果報告流程

圖中先校驗日誌,再形成種子分數,計算配對差值並重採樣。圖標和誤差線僅示意數據關係,不承載數值結果;報告端不能反饋選擇“更好看”的實驗配置。

從本篇目錄執行:

python3 code/report.py
python3 code/audit.py
PYTHONPYCACHEPREFIX=/tmp/080-pycache python3 -m py_compile code/report.py code/audit.py

僅需 Python 標準庫,無須模型下載或加速卡。輸入和依賴說明見 code/README.md。input/source_summary.json 是原始摘要的字節副本;manifest.json 記錄來源哈希與協議;runs.jsonl 將嵌套結果整理為每行一個條件。

每行保留運行身份、方法、預算、數據劃分、指標、樣本數、失敗數、狀態和協議哈希。腳本檢查計劃網格是否完整,並驗證分數能否由失敗計數恢復。哈希只能發現內容變化,不能證明上游實驗正確;上游預測審計屬於《Adversarial Robustness:攻擊沒成功,模型就魯棒嗎?》的證據範圍。

原實驗使用三個不同種子同時生成訓練、驗證、測試數據及初始化,普通邏輯迴歸訓練一千步,取最終檢查點,驗證集僅用於記錄。因此本篇的 SD 混合了數據抽樣與初始化等運行變化,不能解釋為“純初始化方差”。四種攻擊共享每個運行的數據與權重;零梯度診斷樣例已按明確規則排除。

五、評測協議與實際結果

預算全部保留為 0、0.05、0.1、0.2、0.3,正文展示 0.2,完整表保存在 results/table.csv。這是一篇基於已知結果的教學回放,不能宣稱預註冊或獨立確認性實驗。方法與顯示條件均在說明中披露,沒有以測試分數選擇新檢查點。

本次實際驗證。 以下數值由保存的計數重算。表內均值單位為百分比,SD 單位為百分點,三個運行等權;兩列不是“均值加減置信區間”。

攻擊設置 運行數 RA 均值(%) 運行間 SD(百分點)
隨機搜索 16 次 3 97.998 0.169
弱 PGD,2 步 3 99.105 0.149
FGSM,單步 3 76.969 1.237
PGD,20 步、3 次重啟 3 76.969 1.237

PGD 是投影梯度攻擊,FGSM 是快速梯度符號攻擊。此處比較攻擊評測器,較高 RA 可能表示攻擊漏掉了失敗,不表示模型變強。兩種強攻擊同分是該線性模型與威脅設置的結果,不能推廣為任意神經網絡上的等價性。

弱 PGD 減強 PGD 的三個配對差值分別為 20.898、22.461、23.047 個百分點,均值為 22.135。腳本窮舉有放回抽取三個運行的全部 (3^3=27) 個等概率序列;按逆經驗分佈函數取兩端分位點,得到名義百分之九十五百分位區間 [20.898,23.047] 個百分點。固定隨機種子 80 的一萬次抽樣也保留在驗證記錄中。

這不是精確覆蓋率的保證。“窮舉”只消除了這個經驗重採樣分佈的抽樣誤差,沒有增加真實實驗次數。三個原始運行仍然太少;論文也展示了少運行時區間覆蓋不足的風險。[1] 本文不據此發佈顯著性勝負結論。

六、誤差線、失敗排查與驗證記錄

若要畫正式結果圖,應將每個種子畫成散點,再疊加明確定義的區間;圖注寫出統計單位、運行數、區間算法和預算。對配對差值畫差值區間,而不是憑兩根單方法誤差線是否重疊判斷差異。方法圖中的裝飾性符號不能當作數據圖引用。

例如,同一個模型在兩千個樣本上測得準確率,增加測試樣本能降低某些抽樣噪聲,卻不會憑空產生第二次模型訓練。相反,如果兩個方法各自換了一份測試集,分數差還混入了題目難度變化。統計單位必須與研究問題對應,代碼能運行並不意味著選擇的單位合理。

首先排查身份問題:追加日誌可能重複同一運行,排序變化可能錯配兩種方法。腳本使用顯式鍵對齊,亂序後結果保持不變。其次檢查失敗記錄:未完成、空值、非有限值不能填零後繼續平均,也不能靜默剔除;本示例會停止聚合,要求先說明缺失原因。

再次檢查統計層級:同一模型下的測試樣本、檢查點和攻擊預算具有相關性。重採樣測試樣本可以回答固定模型在樣本抽樣下的變化,卻不能替代重新訓練的方差。若數據來自同一患者、文檔或對話,還應考慮按組重採樣,不能機械照搬逐行抽樣。

本次在 Python 3.9.6、CPU 上完成語法檢查和 smoke test。九類錯誤日誌被拒絕;恆定配對差值、相同方法和日誌亂序檢查通過。獨立審計腳本不用報告器函數,通過整數失敗計數、分數運算和多項式權重複核六十條記錄、二十組統計與二十七份重採樣概率質量,最大差異低於 1e-14。逐樣本預測回放、重新訓練和區間覆蓋率實驗未運行,待人工核驗。

七、可複用報告模板

附帶的 REPORT_TEMPLATE.md 將報告分成研究問題、運行協議、證據索引、結果、失敗與邊界六部分。每張結果表應能回答三個問題:比較的條件是什麼,統計單位是什麼,從哪裡重新生成。

模板中的結論應採用“在什麼設置下,觀察到多大變化,由什麼證據支持,尚未排除什麼解釋”的句式。例如,本例可以說弱攻擊在三個保存運行中均報告更高的魯棒準確率,差值由同模型配對計算;不能寫成新防禦方法優於基線。若數據尚不足以分辨兩個方法,保留不確定性本身也是有效結果,不必通過截斷縱軸或增加小數位製造勝負。

正式項目還應記錄代碼提交、數據版本、環境鎖定文件、硬件與執行時間,以及所有失敗和重試。若進行了超參數搜索,報告搜索空間、選擇所用劃分及額外成本;不能只記錄最終一次成功運行。若時間或峰值內存沒有可靠記錄,寫“未測量”,不要憑運行規模補估計數字。

八、後續科研問題與總結

作者推斷。 下一步可固定測試集,僅改變初始化,再與重新抽取訓練集的設置對照,拆分不同隨機因素。另一個問題是增加真實運行數後,配對區間的覆蓋率是否接近標稱值;這需要重複完整實驗,而不是把 bootstrap 次數從一萬調到百萬。

多任務研究還需要決定任務等權還是樣本等權,明確結論針對既定任務集合還是新的任務總體。任務選擇、歸一化和缺失處理改變的是估計對象,不能交給繪圖庫默認決定。

可靠的結果報告從日誌契約開始,到證據邊界結束。一個可追溯的均值、解釋清楚的誤差線和公開保留的失敗記錄,比沒有統計對象的更多小數位更有科研價值。

參考資料

檢索日期:2026-09-22。以下一手頁面與源碼均已實際打開;論文按會議發表版本引用,倉庫按檢索日 master 閱讀,動態版本兼容性待人工核驗。

  1. Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron C. Courville, Marc G. Bellemare. Deep Reinforcement Learning at the Edge of the Statistical Precipice, NeurIPS 2021:會議頁面、論文 PDF。
  2. NeurIPS. Paper Checklist:統計顯著性與實驗可復現性,在線指南,檢索日版本。
  3. Rliable Authors. 官方倉庫與 README,配套開源實現。
  4. Rliable Authors. metrics.py,指標聚合實現。
  5. Rliable Authors. library.py,分層與獨立重採樣實現。
  6. SciPy Developers. scipy.stats.bootstrap,頁面顯示 v1.18.0;本文未安裝或執行該版本。