封面圖

  • 日期:2026-09-21
  • 適合讀者:研究生、科研新人和工程型研究者
  • 復現範圍:二分類線性模型、連續擾動與評測審計;文本模板提供設計樣例,模型推理待人工核驗。

摘要

給輸入加一點噪聲,模型仍然答對,不足以說明它能抵抗有目的的擾動。更隱蔽的錯誤是:攻擊程序步數太少、梯度斷開或預算單位錯了,卻把攻擊失敗當作模型成功。本文訓練一個可解析的分類器,把隨機搜索、單步梯度和多步攻擊逐條對照最壞情況解。目標是建立可信的評測鏈,而非復刻大型視覺模型的榜單成績。

目錄

  1. 復現價值與論文問題
  2. 核心公式與威脅模型
  3. 官方代碼閱讀路線
  4. 最小實驗與運行方式
  5. 評測協議
  6. 實際結果與失敗分析
  7. 文本攻擊模板的語義邊界
  8. 失敗排查與驗證記錄
  9. 後續科研問題與總結

一、復現價值與論文問題

對抗樣本是按照某種限制主動尋找的錯誤輸入,和隨機噪聲具有不同目的。論文報告。 Goodfellow 等人的工作提出快速梯度符號法,即 FGSM,並用線性累積解釋小擾動的影響;Madry 等人將問題寫成魯棒優化,分開“尋找壞輸入”和“學習好參數”兩個環節。[1][2]

AutoAttack 進一步指出,步長、目標函數和梯度問題會影響評測,組合互補攻擊可以揭示單一攻擊漏掉的失敗。[3] 這仍不是所有擾動均被排除的數學證明。本文選擇簡單模型,是因為它有精確答案:我們能直接檢查評測器是否漏報,而不必先相信另一種更強的攻擊。

二、核心公式與威脅模型

威脅模型規定攻擊者知道什麼、能改什麼、改多大,以及怎樣算成功。本次允許讀取權重與真實標籤,屬於白盒、非定向攻擊;攻擊輸入特徵,不修改訓練數據、標籤或模型參數。非定向意味著只要求預測錯誤,不指定錯誤類別。

魯棒訓練的常見目標為:

min⁡θE(x,y)[max⁡∥δ∥∞≤ϵL(θ,x+δ,y)].\min_\theta\mathbb E_{(x,y)}\left[\max_{\|\delta\|_\infty\leq\epsilon}L(\theta,x+\delta,y)\right].

這裡參數為 θ,樣本及標籤為 x、y,擾動為 δ;無窮範數約束每一維的絕對改變量不超過 ε。內層增大損失,外層調整參數。本文只訓練普通分類器,然後檢驗內層求解,沒有執行對抗訓練。

設二十維輸入的分數為 f(x)=wᵀx+b,標籤為正負一,邏輯損失為 log(1+exp(−yf(x)))。批量輸入形狀為 [N,20],權重為 [20],分數和標籤均為 [N]。有符號間隔 m=yf(x) 為正表示分類正確,數值越小越接近失敗。

在不額外裁剪輸入域時,最小間隔可精確寫為:

m∗=y(w⊤x+b)−ϵ∥w∥1,δ∗=−ϵy sign(w).m_* = y(w^\top x+b)-\epsilon\|w\|_1, \qquad \delta_*=-\epsilon y\,\mathrm{sign}(w).

權重絕對值之和決定預算能削減多少間隔。每一維都沿不利方向移動,正好達到這個下界。這裡的精確性依賴二分類線性分數、單調邏輯損失與所聲明的擾動集合,不能直接推廣到深層網絡。本次數據沒有零間隔並列;一般實現需明確並列如何判類。

FGSM 使用一次輸入梯度的符號;投影梯度攻擊 PGD 則重複“沿梯度上升,再投影回原始輸入附近”。雖然名字沿用梯度下降縮寫,攻擊步驟是在增大損失。每步投影圍繞原始 x,不能圍繞上一步重新劃預算,否則總擾動會越界。

三、官方代碼閱讀路線

先讀 MadryLab 的 pgd_attack.py。[4] LinfPGDAttack 保存預算、步數、步長和隨機起點配置;tf.gradients 求的是損失對輸入的梯度。perturb 中先更新輸入,再裁剪到 x_nat±epsilon,最後裁剪到像素區間。前者限制攻擊強度,後者保證輸入合法,兩者職責不同。

該實現返回最後一步,不能據此假定它已經保留所有歷史失敗。本文補上逐樣本最差候選記錄,再檢查 AutoAttack 的 run_standard_evaluation:[5] 它先用乾淨預測初始化 robust_flags,隨後把被任一攻擊擊敗的樣本標為失敗。這是失敗集合的並集,不是幾種攻擊準確率的平均。

閱讀時還要追蹤 set_version:當前標準配置會覆蓋部分構造器默認值,不能只抄初始化中的重啟數。兩個倉庫均為檢索時的 master,未鎖定提交;這裡完成了靜態閱讀,官方框架、權重和動態依賴兼容性均待人工核驗。

四、最小實驗與運行方式

對抗魯棒性評測流程

圖中乾淨輸入同時進入基線、攻擊和解析核對分支。攻擊候選通過預算檢查後才交給凍結模型;解析分支與實際預測共同進入失敗審計。交叉線不是匯合點,鎖表示同一組固定參數。圖標僅示意特徵變化,不代表真實圖像實驗。

固定種子 79、80、81,每次獨立生成訓練、開發、測試集,數量為一千零二十四、二百五十六、二千零四十八。標籤等概率取正負一;第一維是標籤加標準差零點六的高斯噪聲,其餘十九維是零點一五倍標籤加標準差零點三的獨立噪聲。完整輸入行檢查無重複。

這些是抽象測量特徵,取值域為整個實數空間,未標準化,也不裁剪到像素範圍。標籤代表生成時的潛在類別,擾動後仍沿用它。這是明確規定的測量干擾任務,不是已經證明人類語義保持的自然數據。預算數值因此不能和圖像像素預算直接比較。

模型只有二十一個參數,使用普通邏輯損失加 L2 正則;全批梯度下降一千步,學習率零點二,正則係數零點零一。開發集只記錄分數,沒有選參數;統一取最後一步。三次運行共同改變數據與初始化,標準差描述該合成設置的重複變化。

在文章目錄執行:

python3 -m pip install -r code/requirements.txt
python3 code/robustness.py
python3 code/audit.py

實際環境為 Python 3.12.14、NumPy 2.3.5、CPU 雙精度,已有依賴,無須安裝。腳本打印關鍵形狀,保存所有劃分、權重、訓練軌跡與最差攻擊候選。文件解釋見 運行說明。

五、評測協議

預先固定五個預算:零、零點零五、零點一、零點二、零點三。隨機基線每條輸入採十六個均勻擾動;弱 PGD 從乾淨輸入走兩步,步長為預算的二十分之一;FGSM 走一次完整預算;充分 PGD 使用三個隨機起點,每次二十步,步長為預算的五分之一。

對每種搜索,始終把乾淨輸入也列入候選;PGD 保留全部迭代和重啟中的最低間隔。這樣,後續步驟偶然把預測改回正確,也不會擦除已發現的失敗。本次每條樣本的分數都能和解析下界比較,除正確率外還報告漏掉的可攻擊樣本數。

經驗魯棒準確率以整個測試集為分母,要求乾淨輸入和被搜索到的候選均正確;原本就錯的樣本也算失敗。條件攻擊成功率只以乾淨分類正確的樣本為分母。一般情況下,有限搜索得到的魯棒準確率是該測試集真正最壞情況魯棒準確率的上界,攻擊越弱,上界可能越松。

這些配置在讀測試結果之前寫入腳本,沒有挑最好種子或回調參數。不同攻擊計算預算並不相同,因此表格用於審計充分性,不能作為速度排名。若要比較效率,應另外保存梯度次數、前向次數與運行時間。

六、實際結果與失敗分析

本次實際驗證。 三次運行的乾淨準確率為 0.9946±0.0018。下面固定擾動預算零點二,報告均值及種子間樣本標準差,非置信區間;詳情見 實驗結果。

候選搜索方式 經驗魯棒準確率 條件攻擊成功率
隨機十六次 0.9800 ± 0.0017 0.0147
兩步、小步長 PGD 0.9910 ± 0.0015 0.0036
FGSM 0.7697 ± 0.0124 0.2262
二十步、三起點 PGD 0.7697 ± 0.0124 0.2262

FGSM 與充分 PGD 的每條間隔都達到解析下界;隨機搜索平均漏掉約四百三十一條可攻擊樣本,弱 PGD 約四百五十三條。兩步總位移只有預算的一成,即使方向正確也可能走不到邊界。“用了梯度”不是攻擊充分性的證據。

這裡 FGSM 和充分 PGD 相等有模型結構上的原因,不能解釋成多步攻擊普遍無用。隨預算增大,三個模型的解析魯棒準確率均不升;這個規律針對嵌套的完整擾動集合,分別隨機採樣的有限搜索曲線卻不一定單調。

我們還加入故障樣例:直接返回原輸入,模擬攻擊沒有移動。它顯示零成功率,卻漏掉平均約四百六十一條可攻擊樣本。它只驗證審計器能否識別明顯失效,不是對某種真實防禦存在梯度遮蔽的實證。

七、文本攻擊模板的語義邊界

連續特徵中的小距離不能直接解釋文本中的小語義變化。CheckList 區分保持行為的測試與預期行為改變的測試,為設計文本實驗提供了參考。[6] 例如“電影”換成“影片”預期仍為正面評價;把“很精彩”換成“不精彩”則改變了標籤,不能繼續把負面預測記為攻擊成功。

附帶 六條模板記錄,包含標點、空白、近義詞、指令格式,以及否定、反義詞兩個標籤變化控制。每條保留原文、候選、修改預算和預期標籤;這些標籤是作者設計判斷,待人工核驗。這裡只檢查記錄格式,沒有調用語言模型,因此沒有文本攻擊成功率。

真正運行時應按模板族劃分開發和測試,先固定總查詢預算、輸出解析規則與解碼種子。只在原本答對且標籤保持的樣本上算條件成功率,同時報告無效改寫比例。改變語義、輸出格式變化與答案錯誤應分開,否則一個高攻擊率可能只是金標沒有更新。

八、失敗排查與驗證記錄

先檢查威脅模型:歸一化之前和之後的預算不是同一個量;像素域裁剪會改變可行集合。本次審計另設邊界樣例,證明實數域解析式不能不加修改地用於被裁剪的像素。再檢查梯度和統計:不要在攻擊階段禁用輸入求導,也不要用平均損失改善代替逐樣本失敗檢查。

兩個腳本通過語法與 CPU 檢查。獨立審計不導入訓練代碼,用標量運算重算十五萬三千六百條候選預測和三百零七萬二千次座標預算檢查;最大數值差約 4.44e−15。訓練與輸入梯度的有限差分檢查最大誤差約 7.25e−12,詳見 驗證記錄。

保存的是各搜索最終選中的最差候選,未持久化所有中間路徑;獨立審計也沒有重新訓練模型。這些限制應和結果一起交付。本次未運行官方神經網絡、真實圖像、GPU、AutoAttack 集成或語言模型,也不聲稱復現任何原論文的基準數值。

九、後續科研問題與總結

作者推斷。 下一步可換成小型非線性網絡,保持數據、預算和候選記錄規則,觀察 FGSM 與多重啟 PGD 的差距;此時解析答案失效,需要新的驗證方法。再比較不同訓練目標,才能討論魯棒訓練是否改善了失敗集合,不能把更弱的攻擊當作訓練收益。

文本方向應先解決改寫有效性:同一預算下,人工認可的標籤保持比例是否隨模板族變化?失敗是否集中於否定、實體替換或輸出解析?讓每次攻擊留下可回查的證據,才能把“模型沒被打破”改寫成更準確的科研結論:在已聲明的約束與搜索預算下,我們發現了什麼,又仍然排除不了什麼。

參考資料

以下一手來源均於 2026-09-21 檢索並實際打開;正文中的數字全部來自本地實驗。

  1. Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy. Explaining and Harnessing Adversarial Examples. ICLR 2015;預印本始於 2014,本次讀取 v3(2015-03-20)。版本頁;全文。支撐 FGSM 與線性分析。
  2. Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, Adrian Vladu. Towards Deep Learning Models Resistant to Adversarial Attacks. ICLR 2018;預印本始於 2017,本次讀取 v4(2019-09-04)。版本頁;全文。支撐魯棒優化與 PGD。
  3. Francesco Croce, Matthias Hein. Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks. ICML 2020,PMLR 119:2206–2216。會議頁。支撐評測陷阱與組合攻擊。
  4. MadryLab 官方 pgd_attack.py,master,未鎖定提交。支撐梯度、投影與像素域裁剪閱讀。
  5. AutoAttack 官方 倉庫;autoattack.py,master,未鎖定提交。支撐失敗集合累計與標準配置閱讀。
  6. Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. ACL 2020:4902–4912。會議頁;全文。支撐行為測試的分類,不支撐本文未運行的文本成績。