封面圖

日期:2026-06-26
適合讀者:研究生、LLM 應用研究者、安全工程師、Agent/RAG 系統開發者
檢索日期:2026-06-26

摘要

Prompt Injection 最早像是一個“提示詞工程”問題:用戶在輸入裡寫一句“忽略上文”,模型就可能偏離開發者意圖。到 2025-2026 年,這個問題已經演化成 Agent Security 的核心議題:LLM 不再只是生成文本,而是在瀏覽器、郵件、代碼倉庫、MCP 工具、數據庫和長期記憶之間調度權限。真正危險的不是模型“說錯話”,而是未受信任的網頁、郵件或工具描述影響了帶權限的動作參數,比如收件人、轉賬賬戶、命令行、文件路徑、API endpoint。

近一年研究的主線很清晰:攻擊從直接注入轉向間接注入、工具投毒、記憶投毒和多步狀態汙染;評測從靜態 prompt 集合轉向真實任務環境、瀏覽器代理和利益相關方視角;防禦從“過濾惡意文本”轉向指令層級、結構化通道、能力沙箱、來源追蹤、最小權限和運行時授權。工程上最重要的啟發是:不要把 LLM 當作安全邊界,安全邊界應該在工具、數據流、權限和可審計執行層。

目錄

  • 研究背景:為什麼 Agent 放大了注入風險
  • 近一年路線圖
  • 代表論文分組解讀
  • 方法對比表
  • 關鍵技術趨勢
  • 工程落地啟發
  • 侷限與爭議
  • 接下來值得關注的問題
  • 參考資料

研究背景:從 prompt 混淆到權限混淆

Prompt Injection 的根因是“指令”和“數據”共享同一個自然語言上下文。傳統 Web 安全裡,SQL 注入危險是因為數據被解釋成代碼;LLM 應用裡,外部文本被解釋成更高優先級的任務指令。Simon Willison 在 2022 年將這一類問題命名為 prompt injection;Greshake 等人在 2023 年的 indirect prompt injection 論文進一步指出,攻擊者不必直接向模型輸入惡意 prompt,只要把指令藏在網頁、郵件、文檔或檢索結果裡,應用在讀取外部數據時就可能被劫持。

Agent 讓問題升級。普通聊天機器人最多輸出錯誤文本;Agent 可以讀取郵箱、發請求、寫文件、調用支付或部署接口。此時安全問題不再只是“模型是否拒答”,而是“誰有權讓哪個參數進入哪個工具調用”。OWASP 2025 將 Prompt Injection 放在 LLM 應用風險首位,並把 Excessive Agency、敏感信息洩露、供應鏈和工具調用風險一併納入治理視角;MCP 官方安全實踐也強調用戶同意、least privilege、confused deputy 和 token passthrough 風險。NCSC 更早提醒過:Prompt Injection 可能是 LLM 技術的內生問題,不能只靠更強提示詞完全消除。

近一年路線圖

研究路線圖

2024 年的重點是定義問題和建立環境:Instruction Hierarchy 把系統、開發者、用戶、工具/第三方內容區分成不同權限層級;StruQ 用結構化查詢訓練模型只服從 prompt 區域的指令;AgentDojo 把郵件、銀行、旅行等工具任務放進可擴展環境,評估 agent 在未受信任數據下的攻擊與防禦。

2025 年,研究明顯轉向“真實 agent 場景”。WASP 聚焦 Web Agent,把攻擊者能力限制在更貼近網頁內容操縱的條件下;CaMeL 把可信用戶請求解析成控制流和數據流,再用 capability 限制未受信任數據影響程序流程;MCP Safety Audit 則把 MCP 生態作為新攻擊面,討論惡意工具、工具描述投毒、憑據竊取和遠程執行風險。

2026 年上半年出現了更細粒度的系統化研究:AgentPI 這類 SoK/benchmark 強調 context-dependent task,即真實 agent 必須讀取環境上下文才能完成任務,簡單隔離外部內容會損害 utility;PACT、AuthGraph、SafeAgent、SecureClaw 等預印本把重點放到參數級 provenance、授權圖、運行時控制器和讀寫雙邊界。它們還需要更多獨立復現,但方向很值得關注:安全不只是輸入分類器,而是執行軌跡上的權限約束。

代表論文分組解讀

1. 攻擊:從直接注入到狀態汙染

直接注入攻擊通常來自用戶輸入,目標是覆蓋系統或開發者指令;間接注入攻擊來自外部數據,威脅更接近真實部署。Indirect prompt injection 的經典結論是:只要應用把網頁、郵件或檢索文檔放進同一上下文,攻擊者就可能讓模型執行“用戶沒有授權但 agent 有能力做”的動作。

近一年攻擊面繼續擴張。Web agent 需要解析頁面視覺元素、隱藏文本、表單和導航狀態;MCP agent 需要信任第三方 server 暴露的 tool descriptions;帶長期記憶的助手可能把惡意規則寫入未來會話。ASB 把系統 prompt、用戶 prompt、工具調用和記憶檢索都納入攻擊階段,說明 agent 安全必須看完整生命週期,而不能只在入口做一次過濾。

2. Benchmark:從靜態集合到任務環境

Prompt Injection 早期 benchmark 往往像分類題:給一段文本,判斷模型是否被誘導。AgentDojo 的貢獻是把任務、工具和攻擊組合成動態環境,並區分 task utility 與 security。論文公開摘要中列出 97 個現實任務和 629 個安全測試用例,這使研究者能比較“能否完成正常任務”和“能否抵抗攻擊”之間的張力。

WASP 更進一步關注瀏覽器代理。其摘要報告了一個有意思的現象:一些 agent 會在 16%-86% 的情況下開始執行惡意指令,但真正端到端達成攻擊目標的比例只有 0%-17%。這不是安全性的勝利,而是提醒我們:當前 agent 能力不足會“偶然降低攻擊完成率”;一旦基礎能力提升,同樣的安全設計可能迅速失效。

2026 年的 StakeBench/AgentPI 類工作把評測焦點從攻擊成功率擴展到受害方和上下文依賴。一個注入可以同時傷害用戶、賣家、平臺或第三方;而防禦如果粗暴屏蔽環境上下文,又會讓 agent 無法完成授權任務。未來 benchmark 應該同時報告任務成功、攻擊成功、誤拒率、延遲、權限越界類型和可審計性。

3. 防禦:三條路線正在成形

第一條路線是模型側指令優先級。Instruction Hierarchy 通過訓練讓模型識別高低優先級衝突;StruQ 則用結構化通道把“指令區域”和“數據區域”分開。它們適合作為基礎能力,但不能單獨承擔系統安全邊界。2025 年關於 fine-tuning 防禦的白盒攻擊預印本顯示,結構化或對齊式防禦在強攻擊者下仍可能被突破,具體結論需結合後續復現核驗。

第二條路線是架構側隔離。CaMeL 的核心思想是:可信請求決定控制流,未受信任數據只能作為數據參與,不應改變程序流程;capability 用來限制數據外流。這類工作對工程師最有價值,因為它把問題從“讓模型更聽話”改寫為“讓模型沒有權限犯關鍵錯誤”。

第三條路線是運行時 provenance 與授權。PACT、AuthGraph、SecureClaw 等 2026 預印本把關注點放到工具參數來源:例如郵件正文可以影響摘要內容,但不應決定轉賬賬號或外發郵箱地址。這個方向更接近傳統信息流控制、taint tracking 和 policy enforcement,可能成為 agent 平臺的基礎設施。

方法對比表

類別 代表工作 主要對象 優點 風險與待驗證點
指令層級訓練 Instruction Hierarchy 模型行為 讓模型理解權限衝突 不能替代工具授權
結構化通道 StruQ prompt/data 分離 思路清楚,易解釋 白盒攻擊魯棒性仍需核驗
動態評測環境 AgentDojo, ASB Agent 工具任務 能同時測 utility 與 security 不同任務生態可遷移性有限
Web Agent 評測 WASP, WAInjectBench, StakeBench 瀏覽器代理 更貼近真實網頁攻擊 頁面複雜度和模型版本變化快
能力沙箱 CaMeL 控制流、數據流、capability 把安全邊界移出模型 工程成本和任務覆蓋率是挑戰
來源/授權圖 PACT, AuthGraph, SecureClaw 工具參數與讀寫邊界 貼近權限系統,可審計 多為 2026 預印本,待獨立復現
協議/生態審計 MCP Safety Audit, MCP-38 MCP server 與 tool 覆蓋新興工具生態 實際 MCP 部署差異大

關鍵技術趨勢

第一,Prompt Injection 正在從“輸入安全”變成“執行安全”。把一句外部文本判定為惡意並不夠,因為同一段網頁內容在摘要任務裡是數據,在轉賬任務裡可能變成危險參數。安全策略要綁定任務、工具、參數和來源。

第二,Agent Security 正在吸收傳統安全範式:least privilege、confused deputy、capability、taint tracking、policy-as-code、審計日誌和人類確認。LLM 負責語義理解,但權限系統必須由確定性組件執行。

第三,MCP 和工具生態會成為高價值研究對象。MCP 降低了工具接入成本,也讓工具描述、server 身份、授權 scope、token 傳遞和多 server 組合成為新邊界。工具描述不應被默認當作可信事實,安裝、更新、授權和調用都需要供應鏈治理。

第四,評測會從“攻擊是否成功”轉向“誰受損、怎麼受損、能否追責”。真實平臺關心的不只是 ASR,還包括 benign task completion、誤攔截成本、用戶確認負擔、洩露路徑、恢復能力和事後取證。

工程落地啟發

  1. 把所有外部內容標成 untrusted。網頁、郵件、PDF、RAG chunk、工具返回、MCP tool description、長期記憶都不應自動提升為指令。
  2. 對工具調用做參數級授權。允許 agent 總結郵件,不等於允許郵件正文決定收件人、附件、轉賬目標或 shell 命令。
  3. 採用最小權限和分階段提交。高風險動作使用 PREVIEW -> USER_APPROVE -> COMMIT;commit 階段由可信 executor 執行規範化請求。
  4. 記錄 provenance。每個關鍵參數應能追溯到用戶輸入、系統配置、外部數據或模型生成;審計日誌要覆蓋讀取、推理、工具調用和最終輸出。
  5. 對 MCP/server 做供應鏈治理。固定 server 版本、校驗發佈者、限制 scope、禁止無提示擴權,避免把工具描述當作天然可信。
  6. 不把“系統提示詞寫得更嚴”當成主要防線。提示詞可以降低誤操作,但不能提供強安全保證。
  7. 評測要包含真實失敗模式。至少覆蓋直接注入、間接注入、工具投毒、記憶汙染、數據洩露、越權寫操作和 benign utility。

侷限與爭議

當前研究還有三個明顯缺口。第一,很多論文在不同模型、任務和工具生態上評測,結果很難橫向比較;同一個 defense 在郵件 agent 上有效,不代表在代碼 agent 或瀏覽器 agent 上有效。第二,2026 年不少系統架構論文仍是預印本,報告的 0% ASR 或高 utility 數字需要獨立復現、開源實現和更強 adaptive attack。第三,安全與可用性的矛盾尚未解決:完全隔離外部數據會讓 agent 無法完成上下文依賴任務;過度信任上下文又會帶來權限混淆。

因此,本文不把任何單一方案視為最終答案。更現實的部署形態可能是組合式:模型側指令層級作為基礎,工具層最小權限作為硬邊界,運行時 provenance/authorization 作為審計和攔截層,高風險動作交給人類確認。

接下來值得關注的問題

  • 是否會出現面向 Agent 的通用信息流控制框架,像 Web 安全裡的 CSP/權限模型一樣成為平臺默認能力?
  • MCP 生態是否會形成可驗證的工具身份、權限聲明、簽名更新和安全審計規範?
  • 長期記憶如何做可撤銷、可解釋、可隔離的安全治理?
  • Web agent 的視覺注入、隱藏文本和跨頁面狀態汙染如何被系統化評測?
  • 評測指標能否從 ASR 擴展到 stakeholder harm、誤拒成本和恢復能力?

總結

Prompt Injection 的研究重心已經從“模型會不會聽攻擊者的話”轉向“agent 的權限是否被未受信任數據間接控制”。近一年最重要的趨勢不是某個 detector 分數更高,而是安全邊界正在外移:從 prompt 到結構化上下文,從模型到工具運行時,從文本分類到參數來源和授權關係。對工程團隊來說,最穩妥的路線是承認 LLM 不是安全邊界,把 agent 看成一套有權限、有狀態、有供應鏈的軟件系統來設計。

參考資料

檢索日期:2026-06-26。

  1. Simon Willison, “Prompt injection attacks against GPT-3”, 2022. https://simonwillison.net/2022/Sep/12/prompt-injection/
  2. Kai Greshake et al., “Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection”, arXiv, 2023. https://arxiv.org/abs/2302.12173
  3. Eric Wallace et al., “The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions”, arXiv, 2024. https://arxiv.org/abs/2404.13208
  4. Sizhe Chen et al., “StruQ: Defending Against Prompt Injection with Structured Queries”, arXiv / USENIX Security 2025. https://arxiv.org/abs/2402.06363
  5. Edoardo Debenedetti et al., “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents”, arXiv, 2024. https://arxiv.org/abs/2406.13352
  6. Hanrong Zhang et al., “Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents”, arXiv, 2024. https://arxiv.org/abs/2410.02644
  7. Ivan Evtimov et al., “WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks”, arXiv, 2025. https://arxiv.org/abs/2504.18575
  8. Edoardo Debenedetti et al., “Defeating Prompt Injections by Design”, arXiv, 2025. https://arxiv.org/abs/2503.18813
  9. Brandon Radosevich and John Halloran, “MCP Safety Audit: LLMs with the Model Context Protocol Allow Major Security Exploits”, arXiv, 2025. https://arxiv.org/abs/2504.03767
  10. Yinuo Liu et al., “WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents”, arXiv, 2025. https://arxiv.org/abs/2510.01354
  11. Peiran Wang et al., “The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis”, arXiv, 2026. https://arxiv.org/abs/2602.10453
  12. Zihao Wang et al., “Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents”, arXiv, 2026. https://arxiv.org/abs/2606.13385
  13. Linfeng Fan et al., “The Granularity Mismatch in Agent Security: Argument-Level Provenance Solves Enforcement and Isolates the LLM Reasoning Bottleneck”, arXiv, 2026. https://arxiv.org/abs/2605.11039
  14. Peiran Wang et al., “Aligning Provenance with Authorization: A Dual-Graph Defense for LLM Agents”, arXiv, 2026. https://arxiv.org/abs/2605.26497
  15. Hailin Liu et al., “SafeAgent: A Runtime Protection Architecture for Agentic Systems”, arXiv, 2026. https://arxiv.org/abs/2604.17562
  16. Yuhan Ma and Stefan Schmid, “SecureClaw: Clawing Back Control of LLM Agents”, arXiv, 2026. https://arxiv.org/abs/2606.09549
  17. Yi Ting Shen et al., “MCP-38: A Comprehensive Threat Taxonomy for Model Context Protocol Systems”, arXiv, 2026. https://arxiv.org/abs/2603.18063
  18. OWASP, “LLM01: Prompt Injection”, OWASP Top 10 for LLM Applications 2025. https://genai.owasp.org/llmrisk/llm01-prompt-injection/
  19. OWASP Cheat Sheet Series, “LLM Prompt Injection Prevention Cheat Sheet”. https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html
  20. Model Context Protocol, “Security Best Practices”, specification version 2025-06-18. https://modelcontextprotocol.io/specification/2025-06-18/basic/security_best_practices/
  21. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”, NIST AI 600-1, July 2024. https://doi.org/10.6028/NIST.AI.600-1
  22. UK NCSC, “Exercise caution when building off LLMs”, 2023. https://www.ncsc.gov.uk/blog-post/exercise-caution-building-off-llms