封面圖

日期:2026-07-07
適合讀者:研究生、軟件工程與 AI 系統方向研究者、有工程背景的技術讀者
檢索日期:2026-07-07

摘要

2024 年以前,代碼大模型的主戰場主要是“補全一個函數”“通過若干單元測試”“在競賽題上寫出答案”。2024-2026 年,研究焦點明顯轉向 Software Engineering Agents:模型不再只輸出代碼片段,而是讀取真實倉庫、定位 bug、編輯多個文件、運行測試、解釋失敗、提交補丁,甚至以異步方式參與 issue、pull request 和代碼評審流程。SWE-bench、SWE-agent、AutoCodeRover、OpenHands、Agentless、SWE-Lancer、Multi-SWE-bench、SWE-smith、Terminal-Bench 等工作共同推動了這一轉向。

這篇文章的核心判斷是:軟件工程 Agent 的進展不只是“模型更會寫代碼”,而是模型、倉庫上下文、工具接口、沙箱執行、測試 oracle、評測數據和人類審查流程的共同演化。下一階段的瓶頸也會從單點代碼生成,轉向長程任務可靠性、評測汙染、跨語言生態、權限治理、成本控制和組織級落地。

目錄

  • 研究背景:從代碼補全到倉庫級任務
  • 近一年路線圖:真實任務、長程任務、組織採用
  • 代表論文分組解讀
  • 方法對比表
  • 技術趨勢:定位、補丁、驗證、沙箱和人審
  • 工程落地啟發
  • 侷限與爭議
  • 接下來值得關注的問題
  • 參考資料

研究背景:為什麼軟件工程 Agent 成為系統問題

代碼生成曾經是一個相對清晰的 NLP/PL 任務:給定 docstring 或函數簽名,模型生成一個函數,通過隱藏測試即算成功。HumanEval、MBPP、APPS、CodeContests 等基準讓研究者快速比較模型的編碼能力。但真實軟件開發並不是這樣發生的。工程師面對的是不完整的 issue 描述、歷史設計約束、隱含風格、跨文件依賴、測試不充分、CI 環境差異、兼容性要求和代碼審查意見。

SWE-bench 的重要性就在於把問題從“寫代碼題”拉回真實 GitHub issue。模型需要在一個已有 Python 倉庫裡修改代碼,使原本來自真實 pull request 的問題通過測試。早期模型在 SWE-bench 上表現很弱,這不是偶然:真實倉庫任務要求模型先理解問題,再定位相關文件,隨後提出最小補丁,最後用測試反饋修正錯誤。每一步都可能失敗。

從這個角度看,Software Engineering Agents 的研究對象並不是單個 LLM,而是一套閉環系統:

  1. 上下文系統:如何索引倉庫、檢索相關文件、壓縮歷史信息、避免把整個倉庫塞進上下文窗口。
  2. 工具接口:如何讓模型安全使用 shell、編輯器、測試框架、靜態分析器、包管理器和版本控制。
  3. 任務循環:如何計劃、定位、修改、運行測試、解釋失敗並回滾。
  4. 評測體系:如何構造不被訓練集汙染、能自動執行、又接近真實工作價值的 benchmark。
  5. 協作邊界:什麼時候由模型自主推進,什麼時候必須交給人類審查、產品決策或安全審批。

近一年路線圖:從“能修 bug”到“能參與工程組織”

2024 年的關鍵節點是 SWE-bench、SWE-agent、AutoCodeRover、Agentless、MASAI 和 OpenHands。這一年主要回答兩個問題:真實倉庫任務能否標準化評測?Agent scaffold 是否真的必要?結果很有意思:SWE-agent 強調 Agent-Computer Interface,AutoCodeRover 強調結構化代碼搜索和 fault localization,Agentless 則指出簡單的“定位-修復-驗證”管線可以成為強基線。也就是說,複雜 Agent 不是天然勝利,好的上下文工程和驗證流程同樣重要。

2025 年的變化更像“數據和評測工業化”。Multi-SWE-bench 將 issue resolving 擴展到 Java、TypeScript、JavaScript、Go、Rust、C、C++ 等語言;SWE-smith 試圖自動合成大規模訓練任務;SWE-rebench 和 SWE-Bench++ 開始關注持續抽取新任務、降低汙染、擴大語言和倉庫覆蓋;SWE-Lancer 則把任務映射到真實 freelance 軟件工程工作價值,提醒大家“解決 benchmark”不等於“創造經濟價值”。

2026 年截至本次檢索,研究繼續向兩個方向延伸。第一是通用終端/長程任務評測,例如 Terminal-Bench 和 TUA-Bench,把軟件工程 Agent 放到更寬的命令行環境裡考察。第二是組織採用研究,例如關於 GitHub 上 agent-authored PR 的大規模數據集與採用率研究,以及命令行 coding agents 在企業內部 rollout 的實證研究。這些 2026 年論文和產品信息仍處於快速變化期,本文只把它們作為趨勢信號,具體數字需要發佈前人工複核。

代表論文分組解讀

1. 倉庫級評測:SWE-bench 家族

SWE-bench 提供了一個清晰範式:給定 issue 和倉庫快照,模型必須提交 patch,並由測試判定是否解決問題。它讓“真實 GitHub issue”成為可重複評測對象。隨後 SWE-bench Verified 由人工過濾出更可靠的子集;SWE-bench Multimodal 引入前端、圖形和用戶界面相關的視覺問題;Multi-SWE-bench 擴展到多語言生態。SWE-bench 官方站點到 2026 年仍維護 Verified、Multilingual、Lite、Full、Multimodal 等 leaderboard,並明確說明不同子集的實例數量和 resolved 指標。

但 SWE-bench 家族也暴露出評測難題。真實 issue 可能描述不完整,原始測試可能只覆蓋部分行為;benchmark 一旦長期公開,模型訓練、prompt 調參和 scaffold 適配都會帶來汙染風險;leaderboard 的“resolved”也不等價於補丁可維護、可讀、無副作用。對研究者來說,SWE-bench 更適合作為一類系統能力測試,而不是最終工程質量的唯一代理指標。

2. Agent scaffold:SWE-agent、OpenHands、MASAI

SWE-agent 的貢獻不是簡單“讓模型調用 shell”,而是提出 Agent-Computer Interface 的觀點:LLM agent 是一種新的計算機用戶,需要專門設計的查看文件、編輯文件、執行命令、解析反饋的接口。它說明同一個模型在不同接口下會表現出不同能力。

OpenHands 則把軟件開發 Agent 做成開放平臺,強調沙箱執行、多 Agent 協作、瀏覽器和命令行工具、benchmark 集成等工程要素。這類平臺對研究很關鍵:如果每篇論文都從零搭 scaffold,就很難比較模型本身、檢索策略和工具策略的貢獻。

MASAI 代表另一條路線:把軟件工程任務拆成多個有明確職責的子 Agent。定位、編輯、驗證、總結可以使用不同提示、不同上下文和不同策略。它符合工程直覺,但也帶來成本、狀態同步和錯誤傳播問題。對於生產系統,多 Agent 不是越多越好,關鍵是任務邊界是否可驗證。

3. “少即是多”的反例:Agentless

Agentless 的價值在於給複雜 Agent 降溫。它不用讓模型自由規劃長動作序列,而是把任務固定為三階段:localization、repair、patch validation。論文在 SWE-bench Lite 上展示了強競爭力,說明很多問題並不需要完全自主的長程探索,反而需要高質量定位、候選補丁生成和嚴格驗證。

這對工程落地尤其重要。企業接入 coding agent 時,第一版往往不應該追求“全自動工程師”,而應該把 agent 限制在可觀察、可回滾、可測試的管線裡。例如只允許它修 lint、補測試、升級小依賴、生成遷移草案,而不是一開始就讓它改核心架構。

4. 數據飛輪:SWE-smith、SWE-rebench、SWE-Bench++

軟件工程 Agent 的訓練數據比聊天數據難得多,因為每個樣本不只是“輸入-輸出文本”,還需要可復現環境、依賴安裝、測試 oracle、失敗軌跡和可執行補丁。SWE-smith 從 Python 倉庫自動合成會破壞測試的任務,併發布大規模訓練實例、軌跡和模型資產。SWE-rebench 強調持續從 GitHub 抽取新任務,關注去汙染評測。SWE-Bench++ 則嘗試從開源 PR 自動生成多語言倉庫級任務。

這條線很可能決定開源 software agents 的上限。沒有大規模、可執行、去汙染、跨語言的數據,研究只能圍繞少數公開 benchmark 反覆調 scaffold。未來更有價值的不是“又一個 leaderboard 結果”,而是可審計的數據生成管線、環境構建器、測試 oracle 質量控制和失敗軌跡標註。

5. 真實價值和長程能力:SWE-Lancer、HCAST、Terminal-Bench

SWE-Lancer 把任務從 GitHub issue 推向 freelance 軟件工程工作,並用真實 payout 估計任務價值。這能緩解 benchmark 與經濟價值脫節的問題,但也更難完全開放,且任務分佈可能受平臺、時間和客戶需求影響。

HCAST 和 METR 的 long-task 研究提供了另一種視角:不要只問“通過率是多少”,還要問“這個任務人類專家通常要花多久,模型在這個時間尺度上有多可靠”。Terminal-Bench 進一步把 agent 放在真實命令行環境中,考察安裝、運行、調試、數據處理等更雜的任務。這類評測對 software engineering agents 很重要,因為真正的工程工作經常失敗在環境和流程,而不是失敗在某一行代碼。

方法對比表

路線 代表工作 核心思想 優勢 風險
倉庫級 benchmark SWE-bench、SWE-bench Verified、Multi-SWE-bench 真實 issue + 可執行測試 任務接近真實開發,便於橫向比較 測試不完備、汙染、語言覆蓋不足
交互式 Agent SWE-agent、OpenHands 讓模型使用 shell、編輯器、測試工具 可閉環調試,適合複雜任務 軌跡長、成本高、權限風險高
結構化 SE 管線 AutoCodeRover、Agentless 先定位,再修復,再驗證 可解釋、可控、成本較低 對複雜跨模塊任務彈性不足
模塊化 / 多 Agent MASAI 等 子 Agent 分工處理定位、編輯、驗證 任務邊界清晰,可替換模塊 協調成本和錯誤傳播
數據合成與持續抽取 SWE-smith、SWE-rebench、SWE-Bench++ 擴大可執行訓練和評測任務 支持訓練、RL、去汙染 任務質量控制困難
產品化異步協作 Codex、Claude Code、GitHub Copilot cloud agent、Jules 從 issue/任務到 branch/PR 的工作流 貼近日常開發流程 可用性、計費、權限和審查需治理

技術趨勢:真正的護城河在系統閉環

軟件工程 Agent 框架圖

第一,代碼定位比生成更關鍵。 很多失敗不是模型不會寫 patch,而是改錯文件、漏掉隱含調用鏈、沒有理解測試意圖。未來系統會更依賴 LSP、AST、調用圖、測試覆蓋率、歷史 commit、issue 討論和運行時 trace,而不是隻靠向量檢索。

第二,測試執行正在成為 Agent 的核心感官。 Software agents 必須把 pytest、go test、npm test、mypy、eslint、CI log、benchmark script 變成可解析反饋。單純“讓模型看報錯”不夠,系統需要結構化提取失敗測試、堆棧、最近改動、環境缺失和 flaky 跡象。

第三,異步多任務會成為產品默認形態。 OpenAI Codex、GitHub Copilot cloud agent、Claude Code 和 Jules 的官方資料都在強調雲沙箱、並行任務、分支/PR、日誌和人類 review。未來開發者可能不再只和一個聊天窗口互動,而是管理多個正在跑的 agent session。

第四,評測會從靜態題庫轉向新鮮任務和組織指標。 SWE-rebench、SWE-Bench++、Terminal-Bench、AIDev 和 2026 年採用研究說明,研究社區正在把目光從“模型在公開題庫上拿多少分”轉向“真實倉庫裡 agent 產生了什麼 PR、是否被合併、有沒有引入迴歸、成本是多少”。這些指標更接近生產,但也更難開放復現。

第五,安全從 prompt policy 進入工程權限治理。 Coding agent 能讀源碼、跑命令、安裝依賴、訪問 issue、創建 PR,權限面明顯大於聊天助手。沙箱、網絡訪問、secret 隔離、審計日誌、命令 allowlist、dependency pinning、代碼所有權規則,會成為企業接入的基礎設施。

工程落地啟發

對團隊來說,最穩妥的落地路徑不是“買一個 Agent 替代工程師”,而是把任務分層。

第一層是低風險、強驗證任務:補測試、修格式、改文檔、升級小版本依賴、生成遷移草案、解釋 CI 失敗。這類任務有明確驗收條件,適合異步 agent 批量處理。

第二層是中等風險的 bug fix 和小 feature:要求 agent 先輸出計劃,說明要改哪些文件、跑哪些測試,再由人批准執行。關鍵不是讓模型一次做對,而是讓它產生可審查、可回滾的 diff。

第三層是架構級變更、核心安全邏輯和跨服務改造:目前仍應以人類主導,Agent 做代碼搜索、影響面分析、測試補全和備選方案生成。把這類任務完全交給 agent,往往會在需求理解、隱含約束和長期維護性上出問題。

工具上,團隊至少要準備四件事:

  1. 可復現開發環境:容器、setup script、鎖定依賴和測試命令,比 prompt 更重要。
  2. 倉庫級說明文件:類似 AGENTS.md、CLAUDE.md、Copilot custom instructions,明確代碼風格、測試命令、禁止事項和 review 標準。
  3. 權限和審計:默認無 secret、最小網絡訪問、所有命令和測試輸出留痕。
  4. 質量指標:不要只看生成行數,要看通過測試、review 返工率、回滾率、線上缺陷、token/算力成本和人類節省時間。

侷限與爭議

第一,benchmark resolved 不等於真實質量。一個 patch 可以通過測試但破壞未覆蓋行為;也可以寫出過擬合測試的補丁。真實工程還關心可讀性、可維護性、性能、兼容性和安全。

第二,公開 benchmark 的汙染問題會越來越嚴重。模型訓練集、檢索增強、手工 prompt 調參都可能間接看過題目或答案。持續抽取新任務、held-out 倉庫和商業閉源評測會變重要,但也會降低開放復現性。

第三,Agent 成本和可靠性仍然不穩定。長軌跡會放大 token 成本、工具調用成本和環境等待時間;一次失敗的自主探索可能比人類手動修復更貴。2026 年關於企業 rollout 和命令行 agent 的研究數字仍需發佈前人工核驗,不能把單一組織的結果直接推廣到所有團隊。

第四,安全邊界尚未成熟。Coding agent 可能誤刪文件、洩露上下文、執行惡意依賴、把 prompt injection 當成倉庫說明,或在 PR 中引入供應鏈風險。前一輪系列已經討論過 Prompt Injection 與 Agent Security;在軟件工程場景中,這些風險會更具體地落到 shell、CI、secret 和依賴系統上。

接下來值得關注的問題

  1. 跨語言和跨生態能力:Python 以外的構建系統、包管理器、測試框架和靜態類型系統會改變 agent 設計。
  2. 真實新鮮任務評測:如何在開放復現和去汙染之間取得平衡。
  3. 補丁質量評價:能否超越 pass/fail,自動評估可維護性、最小性、安全性和 review 成本。
  4. Agent 訓練數據飛輪:失敗軌跡、人工 review 評論、CI 日誌能否成為高質量 post-training 數據。
  5. 組織協作模式:未來工程經理需要管理的可能不是“是否使用 AI”,而是 agent session 隊列、權限、預算和審查 SLA。

總結

Software Engineering Agents 是 2026 年 AI 系統與 Agent 基礎設施中最值得長期跟蹤的主題之一。它把 LLM 能力、真實軟件工程流程、執行環境、評測體系和組織治理綁在一起。短期內,最有價值的應用不是全自動替代工程師,而是讓 agent 接管可驗證、可回滾、可審查的工程子任務。長期看,如果數據生成、去汙染評測、沙箱權限、長程可靠性和人機協作機制持續改進,軟件開發會從“人寫代碼、AI 補全”走向“人定義目標和邊界,Agent 在受控環境中提出、驗證並提交可審查變更”。

需要保守看待的是:leaderboard 會快速變化,產品能力和定價會快速變化,2026 年新論文中的組織採用數字也可能受樣本和制度強烈影響。發佈前建議再次核對官方文檔、arXiv 版本、代碼倉庫狀態和 leaderboard 數據。

參考資料

檢索日期:2026-07-07。

  1. Carlos E. Jimenez et al., “SWE-bench: Can Language Models Resolve Real-World GitHub Issues?” arXiv, 2023. https://arxiv.org/abs/2310.06770
  2. SWE-bench Official Leaderboards. https://www.swebench.com/
  3. John Yang et al., “SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering.” arXiv, 2024. https://arxiv.org/abs/2405.15793
  4. Yuntong Zhang et al., “AutoCodeRover: Autonomous Program Improvement.” arXiv, 2024. https://arxiv.org/abs/2404.05427
  5. Chunqiu Steven Xia et al., “Agentless: Demystifying LLM-based Software Engineering Agents.” arXiv, 2024. https://arxiv.org/abs/2407.01489
  6. Daman Arora et al., “MASAI: Modular Architecture for Software-engineering AI Agents.” arXiv, 2024. https://arxiv.org/abs/2406.11638
  7. Xingyao Wang et al., “OpenHands: An Open Platform for AI Software Developers as Generalist Agents.” arXiv, 2024. https://arxiv.org/abs/2407.16741
  8. John Yang et al., “SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?” arXiv, 2024. https://arxiv.org/abs/2410.03859
  9. Daoguang Zan et al., “Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving.” arXiv, 2025. https://arxiv.org/abs/2504.02605
  10. Samuel Miserendino et al., “SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?” arXiv, 2025. https://arxiv.org/abs/2502.12115
  11. openai/SWELancer-Benchmark. https://github.com/openai/SWELancer-Benchmark
  12. John Yang et al., “SWE-smith: Scaling Data for Software Engineering Agents.” arXiv, 2025. https://arxiv.org/abs/2504.21798
  13. Ibragim Badertdinov et al., “SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents.” arXiv, 2025. https://arxiv.org/abs/2505.20411
  14. Lilin Wang et al., “SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories.” arXiv, 2025. https://arxiv.org/abs/2512.17419
  15. Xiang Deng et al., “SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?” arXiv, 2025. https://arxiv.org/abs/2509.16941
  16. David Rein et al., “HCAST: Human-Calibrated Autonomy Software Tasks.” arXiv, 2025. https://arxiv.org/abs/2503.17354
  17. Thomas Kwa et al., “Measuring AI Ability to Complete Long Tasks.” arXiv, 2025. https://arxiv.org/abs/2503.14499
  18. Mike A. Merrill et al., “Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces.” arXiv, 2026. https://arxiv.org/abs/2601.11868
  19. Shoufa Chen et al., “TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents.” arXiv, 2026. https://arxiv.org/abs/2606.28480
  20. Romain Robbes et al., “Agentic Much? Adoption of Coding Agents on GitHub.” arXiv, 2026. https://arxiv.org/abs/2601.18341
  21. Hao Li et al., “AIDev: Studying AI Coding Agents on GitHub.” arXiv, 2026. https://arxiv.org/abs/2602.09185
  22. Emerson Murphy-Hill et al., “Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI.” arXiv, 2026. https://arxiv.org/abs/2607.01418
  23. OpenAI, “Introducing Codex.” 2025-05-16. https://openai.com/index/introducing-codex/
  24. GitHub Docs, “About GitHub Copilot cloud agent.” https://docs.github.com/en/copilot/concepts/agents/cloud-agent/about-cloud-agent
  25. Anthropic Docs, “Claude Code overview.” https://docs.anthropic.com/en/docs/claude-code/overview
  26. Google Jules official site. https://jules.google/

注:2026 年論文、產品可用性、leaderboard 排名、模型名稱和組織採用數字變化較快,本文已按 2026-07-07 檢索結果寫作,正式發佈前建議再次人工核驗。