封面圖

日期:2026-08-25
適合讀者:研究生、科研新人、希望把 Transformer 內部診斷做紮實的工程讀者
檢索日期:2026-08-25

摘要

Attention 熱力圖很容易讓人產生一種錯覺:顏色越亮,那個 token 就“解釋”了模型為什麼這樣預測。這個說法只對了一半。熱力圖確實展示了某一層、某個 head 在 softmax 後給不同 Key 位置分配的權重;但它通常不能單獨證明輸入特徵對最終輸出的因果貢獻。本文的復現目標不是下載一個大模型展示漂亮截圖,而是把注意力矩陣的來源、形狀、可視化協議和解釋邊界拆清楚:先用最小腳本生成可檢查的 toy attention,再對照 BERTViz、Hugging Face 輸出格式和解釋性論文,建立一套“能看、會疑、可複查”的實驗記錄。

本次實際驗證受限於本地環境:torch、numpy、matplotlib 均未安裝,因此沒有運行真實 BERT 或導出 toy PNG 熱力圖;配套腳本的標準庫形狀與 mask 檢查已通過,圖像導出路徑需安裝依賴後人工核驗。文章所需的正式封面和方法圖已用內置 imagegen 補齊,並完成視覺檢查。

目錄

  1. 為什麼 Attention 圖值得復現
  2. 熱力圖到底畫的是什麼
  3. 最小代碼:從 score 到矩陣
  4. 官方工具怎麼讀:BERTViz 與 Transformers
  5. 解釋邊界:診斷不等於因果
  6. 評測協議與失敗排查
  7. 可以繼續研究的問題
  8. 總結與參考資料

為什麼 Attention 圖值得復現

注意力機制最初的吸引力之一,是它把序列中“誰看誰”的關係變成了一個概率分佈。《Attention Is All You Need》中的 scaled dot-product attention 會對 Query 與所有 Key 的相似度做歸一化,再用這些權重加權 Value。於是研究者自然想把權重畫成矩陣:行是 Query token,列是 Key token,顏色越深表示該 Query 越多地使用該 Key 的 Value。

這張圖的復現價值在於調試,而不是美化論文。對工程讀者來說,它能快速暴露三類問題:mask 是否寫反,padding 位置是否仍被關注,某些 head 是否退化為只看自己或只看特殊符號。對研究生來說,它是一種提出假設的入口:如果某個 head 總是關注分隔符,它可能承擔句邊界聚合;如果某個 head 常看相鄰位置,它可能近似局部卷積。但這些都只是可檢驗假設,不是最終解釋。

本文把目標限定為“可視化協議復現”。我們不聲稱復現 BERT 論文中的語法 head 數字,也不把 toy 結果外推到真實語言模型。可信的復現記錄應先回答:矩陣從哪裡取、形狀是什麼、softmax 維度是否正確、圖中顏色是否保留了數值含義、結論是否經過替代歸因方法或干預實驗對照。

熱力圖到底畫的是什麼

Transformer 自注意力的核心公式是:

A=softmax(QKTdk+M)A=softmax\left(\frac{QK^T}{\sqrt{d_k}}+M\right)
O=AVO=AV

其中 Q、K、V 分別是 Query、Key、Value;若 batch 大小為 B,序列長度為 T,head 數為 H,每個 head 維度為 D,則 QK^T 的形狀是 [B,H,T,T]。最後兩個維度最重要:第一個 T 是正在提問的 Query 位置,第二個 T 是可被查看的 Key 位置。M 是 mask,通常在 softmax 前把不可見或 padding 的 Key 加上極小值。

熱力圖畫的是 A 中某一層、某個 head、某個樣本的 [T,T] 切片。它不是 embedding 相似度圖,也不是梯度圖,更不是 token 重要性排行榜。因為最終輸出 O 還會經過 Value 向量、輸出投影、殘差連接、LayerNorm、前饋網絡以及後續層。一個 Key 獲得高權重,只說明它的 Value 被當前 Query 位置較多混入;它是否推動了最終分類 logit,還要看後續計算。

Hugging Face Transformers 的模型輸出文檔也把 attentions 描述為每層一個張量,形狀為 [batch_size, num_heads, sequence_length, sequence_length],並說明它是 attention softmax 後用於加權平均的權重。這一定義適合作為工程復現實驗的接口契約:若你的可視化工具期望同樣佈局,就能和大多數 Hugging Face 模型對接。

Attention 可視化復現實驗流程

最小代碼:從 score 到矩陣

配套腳本位於 code/attention_visualization_toy.py。它不下載模型,也不依賴 PyTorch 計算圖,只用標準庫構造一組 token、手寫 Q/K 向量、計算 scaled dot-product score,並對 [PAD] 列施加 mask。默認檢查命令是:

python3 code/attention_visualization_toy.py --check-only

腳本會打印 token 列表、矩陣形狀、每行 softmax 是否求和為 1、被屏蔽的 [PAD] 列最大概率是否為 0。這個檢查比一張圖更基礎:如果行和不是 1,說明 softmax 維度或數值穩定性有問題;如果 padding 列不是 0,說明 mask 語義可能寫反;如果形狀不是 [T,T],說明 Query/Key 維度已經混亂。

安裝 matplotlib 後可以導出一個教學熱力圖:

python3 -m pip install -r code/requirements.txt
python3 code/attention_visualization_toy.py --out-dir code/outputs --save-png

這張圖只能說明繪圖管線可用,不能說明任何真實模型行為。真實復現時,應把 toy 矩陣替換為模型返回的 outputs.attentions[layer][batch, head],同時保存模型名、revision、tokenizer 版本、輸入文本、特殊 token、是否啟用 dropout、設備和隨機種子。

官方工具怎麼讀:BERTViz 與 Transformers

BERTViz 是 Jesse Vig 發佈的開源 Transformer attention 可視化工具,對應 ACL 2019 系統演示論文。它提供 head view、model view 和 neuron view:head view 適合看單層單頭的 token 對齊,model view 適合概覽多層多頭,neuron view 則進一步追蹤 Query 與 Key 向量中特定維度如何貢獻 attention score。閱讀它的官方倉庫時,應先看 README 的數據流:加載 Hugging Face 模型,設置 output_attentions=True,tokenize 輸入,運行模型,取出 attention,再把 tokens 與 attention 傳給 model_view 或 head_view。

這條路線提醒我們,可視化工具不是“解釋器”,而是一個交互式張量瀏覽器。BERTViz 倉庫也明確提示,attention 權重不一定是預測解釋;長輸入或大模型還會帶來響應速度和可視化規模問題。工程復現時不要一次顯示所有層和所有頭,而應先選擇少量輸入、固定層頭、保存截圖和原始矩陣,再逐步擴大範圍。

Hugging Face 文檔提供了另一個關鍵約束:模型輸出中的 attentions 是 tuple,每層一個張量。不同模型可能有 encoder attention、decoder attention 和 cross attention;句子對任務還會涉及 token type 和特殊符號。如果沒有把 token 列表與矩陣軸嚴格對齊,熱力圖的行列標籤就會錯位,後續解釋全部失效。

解釋邊界:診斷不等於因果

Jain 與 Wallace 在 NAACL 2019 的《Attention is not Explanation》中直接挑戰了“attention 等於解釋”的常見說法。他們報告,學習到的 attention 權重經常與梯度類特徵重要性不相關,而且可以找到很不一樣的 attention 分佈,卻產生近似相同的預測。這並不意味著 attention 圖毫無價值,而是說明標準 attention 權重不能自動升級為因果解釋。

Clark 等人在 BlackboxNLP 2019 對 BERT attention 做了更細的觀察:一些 head 會關注分隔符、固定位置偏移或廣泛分佈,也有 head 與句法、共指等語言現象對應得較好。這裡的關鍵是“對應”與“導致”不同。一個 head 看起來像句法關係,說明模型內部存在可診斷模式;若要證明它對預測必要,還需要遮蔽、置換、head ablation、counterfactual input 或梯度歸因等實驗。

Captum 這類解釋工具提供了另一種視角:它關心某個輸出標量相對於輸入特徵的歸因,例如 Integrated Gradients 會沿基線到輸入的路徑積分梯度。注意力熱力圖和梯度歸因回答的問題不同:前者問“這個模塊如何混合 Value”,後者問“輸入變化如何影響某個輸出”。可信分析最好把兩者並列,而不是用其中一個替代另一個。

評測協議與失敗排查

Attention 可視化復現至少應記錄六項協議。

檢查項 記錄內容 常見失敗
輸入 原文、token、特殊符號 WordPiece 後標籤錯位
張量 layer、head、shape [B,H,T,T] 軸順序讀錯
mask padding 或 causal 規則 True/1 語義寫反
數值 行和、最大值、熵 softmax 維度錯誤
圖像 colormap、歸一化範圍 每張圖獨立縮放導致誤讀
結論 診斷、推斷、實測區分 把亮色格子當因果證據

最常見的失敗是軸讀反。許多圖默認把 x 軸畫在下方、y 軸畫在左側,但論文或工具可能把 Query 和 Key 的方向說法不同。寫文章時必須明確“行是 Query,列是 Key”,並用一個手工構造的矩陣驗證方向。

第二類失敗是顏色歸一化。若每個 head 單獨按最大值歸一化,弱信號也可能顯得很亮;若所有層統一色標,局部結構又可能不明顯。科研報告中最好保存原始數值,並說明色標策略。

第三類失敗是選擇性展示。只挑一張符合敘事的 head 圖,很容易製造故事。更穩妥的做法是先定義選擇規則,例如固定第 6 層第 3 頭,或按熵、對角線權重、特殊 token 權重排序,再報告多個樣本。

第四類失敗是把模型處於訓練態。dropout 會讓 attention 權重不穩定;正式可視化前應切到 eval 模式,並記錄版本和 seed。本次腳本沒有運行真實模型,因此這些真實模型結論均標註為待人工核驗。

復現實驗記錄還應避免“截圖即數據”。建議每次可視化同時保存三份材料:一份 JSON 或 CSV 原始矩陣,一份帶 token 標籤的 PNG,一份簡短日誌說明輸入、模型、層、頭、色標範圍和選擇理由。PNG 適合閱讀,矩陣適合複查,日誌適合讓他人在一個月後知道你當時到底畫了什麼。若只保存 notebook 輸出,後來模型權重、tokenizer 或依賴版本變化時,很難判斷差異來自模型行為還是環境漂移。

對於論文報告,最好把結論分成三檔。第一檔是直接觀測,例如“該 head 在這個樣本上對 [SEP] 分配了最高權重”。第二檔是統計描述,例如“在 200 個樣本中,該 head 的分隔符平均注意力更高”。第三檔才是解釋性推斷,例如“該 head 可能承擔句邊界聚合功能”。只有第三檔需要格外謹慎,最好配合 ablation 或替代歸因方法;否則讀者會把一個可視化現象誤讀成機制證明。

可以繼續研究的問題

  1. 對同一輸入,attention 權重、Integrated Gradients、occlusion 和 head ablation 的排序一致性有多高?
  2. 哪些 head 的模式跨樣本穩定,哪些只是在個例圖中看起來有解釋性?
  3. 如果遮蔽最高權重連接,輸出變化是否顯著大於遮蔽低權重連接?
  4. 長上下文模型中,attention 可視化是否能幫助診斷 lost-in-the-middle,還是會被稀疏和高效 attention 後端限制?
  5. 多模態模型的 cross attention 圖能否對應圖像區域證據,還是同樣需要干預實驗驗證?

這些問題的共同點是:先把可視化變成可復現測量,再討論解釋。熱力圖是研究入口,不是結論本身。

總結

Attention 熱力圖最適合承擔三件事:檢查實現、發現模式、生成假設。它可以告訴我們某層某頭如何分配權重,也能幫助定位 mask、token 對齊和特殊符號依賴問題。但它不能單獨回答“模型為什麼預測這個類別”。從復現角度看,最重要的不是畫出漂亮矩陣,而是保存原始 attention、明確 Query/Key 方向、固定可視化協議,並把論文報告、本次實際驗證和作者推斷分開。

本文的最小腳本已完成標準庫 smoke test;正式配圖已補齊並通過檢查。下一步若要擴展成真實模型復現實驗,應在安裝依賴後運行 toy heatmap 導出命令,再接入 Hugging Face 模型的 output_attentions=True 輸出,保存原始矩陣、PNG 和協議日誌。

參考資料

檢索日期:2026-08-25。以下鏈接優先採用論文頁面、官方倉庫或官方文檔;動態文檔和倉庫內容可能更新,正式實驗應記錄訪問日期、模型 revision 與本地依賴版本。

  1. Ashish Vaswani et al., Attention Is All You Need, arXiv 2017,當前 arXiv 頁面顯示 v7 修訂於 2023-08-02。
  2. Sarthak Jain and Byron C. Wallace, Attention is not Explanation, NAACL 2019。
  3. Kevin Clark et al., What Does BERT Look at? An Analysis of BERT’s Attention, BlackboxNLP 2019。
  4. Jesse Vig, A Multiscale Visualization of Attention in the Transformer Model, ACL System Demonstrations 2019。
  5. Jesse Vig, BERTViz official repository,attention 可視化工具與示例。
  6. Hugging Face, Transformers model outputs documentation,attentions 輸出格式說明。
  7. Captum, Model Interpretability for PyTorch API,梯度、擾動和層歸因方法索引。