封面圖

  • 日期:2026-06-23
  • 適合讀者:研究生、科研讀者、LLM 應用工程師、知識庫與搜索系統開發者
  • 檢索範圍:重點覆蓋 2025-06 至 2026-06 公開論文與項目資料;為保持脈絡,保留 2020-2024 的必要基礎工作。

摘要

過去一年,RAG(Retrieval-Augmented Generation)的研究重點正在從“把相關文檔塞進上下文”轉向“構建可診斷、可組合、能推理的知識系統”。早期 RAG 關心檢索器和生成器如何聯合工作;2024 年之後,GraphRAG、LightRAG、RAPTOR、Self-RAG、CRAG 等工作把問題拆成了結構化索引、查詢改寫、遞歸摘要、自我反思與錯誤修正。到 2025-2026 年,論文重心繼續外擴:表格和多源文檔的結構化檢索、SQL 與工具調用式檢索、面向複雜任務的推理式搜索、細粒度評測,以及在長上下文模型時代重新定義“什麼時候需要檢索”。

本文不做榜單式 SOTA 羅列,而是按路線拆解 RAG 的研究脈絡:檢索前處理、索引組織、迭代推理、生成後校驗、評測與安全。工程上的核心啟發是:RAG 已經不是一個向量數據庫加提示詞模板,而是一套“查詢規劃 + 證據管理 + 上下文預算 + 結果歸因 + 失敗診斷”的系統工程。

目錄

  1. 研究背景:RAG 為什麼還沒有被長上下文替代
  2. 近一年路線圖:五條主線
  3. 代表論文分組解讀
  4. 方法對比表
  5. 關鍵技術趨勢
  6. 工程落地啟發
  7. 侷限與爭議
  8. 接下來值得關注的問題
  9. 參考資料

研究背景:RAG 為什麼還沒有被長上下文替代

RAG 的經典定義來自 2020 年 Lewis 等人的論文:模型在生成答案前檢索外部知識,以減少純參數記憶帶來的過時和幻覺問題。今天的大模型上下文窗口已經明顯變長,但 RAG 沒有消失,原因主要有三點。

第一,長上下文解決的是“能放進去”,不等於“能用好”。研究和工程實踐都反覆顯示,模型在長文檔中的定位、跨段證據聚合、衝突證據處理上仍會出錯。RAG 通過檢索、重排、摘要、引用和校驗,把原本隱式的注意力分配變成顯式管線。

第二,企業知識庫不是一篇長文檔,而是持續變化的異構系統:PDF、網頁、表格、數據庫、代碼倉庫、工單、郵件、API 文檔同時存在。直接拼上下文既昂貴,也難以保證權限、版本和可追溯性。

第三,可靠 AI 應用需要診斷面。用戶問錯、檢索召回錯、切塊錯、重排錯、生成器誤讀證據,都會造成錯誤答案。沒有 RAG 管線,就很難定位失敗發生在哪一層。

因此,近一年的 RAG 研究不是被長上下文吞併,而是轉向與長上下文、工具調用、知識圖譜和評測框架協同。

近一年路線圖:五條主線

RAG 路線圖

1. 從向量召回到查詢規劃

傳統 RAG 把用戶問題編碼後做向量相似度檢索。新工作更關心“檢索前應該問什麼”。RAG-Fusion 使用多查詢和倒排融合緩解單一查詢表達不足;Self-RAG 讓模型學習何時檢索、何時批判生成內容;CRAG 引入檢索評估器,在檢索質量不夠時觸發糾錯和補充搜索。到 2025 年之後,ReSearch 一類工作把搜索過程進一步變成可學習的推理循環:模型不只拿文檔,而是圍繞中間結論繼續生成搜索請求。

工程啟發是:複雜業務問題不要只做一次 embedding search。至少需要查詢改寫、子問題拆解、召回融合和失敗回退策略。

2. 從平鋪切塊到層級與圖結構索引

RAPTOR 將文檔組織成樹形摘要結構,使系統能在不同粒度上檢索;GraphRAG 把文檔中的實體、關係和社區摘要組織成圖,強調全局問題的回答;LightRAG 則試圖用更輕量的圖結構和雙層檢索降低 GraphRAG 的成本。HippoRAG 借鑑海馬體記憶機制,把開放知識圖譜與個性化 PageRank 風格檢索結合,用於多跳問題。

這條線的共同點是反對“固定 chunk 是唯一索引單元”。當問題需要跨文檔聚合、比較和歸納時,文檔片段本身不夠,系統需要中間知識層:實體、關係、摘要節點、主題社區或時間線。

3. 從文本 RAG 到結構化數據 RAG

2025-2026 年值得關注的增量之一,是表格、數據庫和結構化文檔。2024 年的 TableRAG 討論百萬 token 表格理解中的 schema 與 cell retrieval;2025 年另一篇 TableRAG 進一步面向文本與表格混合文檔,使用查詢分解、文本檢索、SQL 編程與執行、中間答案組合來處理異構文檔推理。這裡不宜只把表格轉成 Markdown chunk,因為表格問題往往需要過濾、聚合、排序和連接操作。

工程上,結構化 RAG 應優先保留數據類型和操作語義:日期、金額、枚舉、主外鍵、列描述、聚合規則都應進入檢索和生成約束,而不只是作為自然語言片段。

4. 從一次生成到推理式搜索

複雜問題常常不是“找一段證據就回答”,而是需要多步推理:先識別缺口,再查資料,再修正假設。ReSearch 等工作把 search operation 作為 reasoning chain 的一部分,並用強化學習訓練模型在推理中決定何時搜索、如何搜索。與普通 agent 不同,RAG 場景中的 agentic 行為應圍繞證據鏈:每一次檢索都要說明為什麼查、查到什麼、是否足以支持下一步。

這也是 RAG 和 Tool Learning 的交叉地帶。檢索器不再只是工具之一,而成為模型推理過程中的外部記憶和事實檢查器。

5. 從整體分數到細粒度診斷

RAG 評測正在從“答案對不對”轉向“哪一層錯了”。RAGChecker 將 RAG 輸出拆成 claim 級別,區分檢索器是否找到足夠證據、生成器是否忠實使用證據、答案是否完整。CRAG、RAGChecker、TREC RAG Track 等工作也在推動更貼近真實檢索和答案生成的評測。

工程啟發是:只看最終準確率會掩蓋問題。生產系統至少要記錄 query、檢索候選、重排結果、上下文片段、引用來源、生成答案和用戶反饋,才能做可復現診斷。

代表論文分組解讀

基礎線:RAG、Self-RAG、CRAG

Lewis 等人的 RAG 論文奠定了“參數知識 + 非參數知識”的範式。Self-RAG 的貢獻在於把檢索和自我批判變成可學習行為,讓模型在需要時檢索並評估自身輸出。CRAG 則更工程化:如果檢索結果質量不足,系統應主動糾錯,而不是把低質量片段硬塞給生成器。

這類工作的價值不在於某個固定模塊,而在於提出了一個原則:RAG 系統必須知道自己什麼時候證據不足。

索引線:RAPTOR、GraphRAG、LightRAG、HippoRAG

RAPTOR 的樹形摘要適合長文檔和層級主題;GraphRAG 強調實體關係和社區摘要,適合“全局概覽”“跨文檔歸因”類問題;LightRAG 試圖減少圖構建與檢索成本;HippoRAG 更偏認知啟發和多跳檢索。它們說明,RAG 的核心瓶頸往往不是向量庫性能,而是知識組織形式是否匹配問題類型。

對工程團隊來說,可以按問題類型選索引:FAQ 與事實查找用 dense + sparse 混合檢索即可;制度、合同、論文綜述可加入層級摘要;跨業務實體、供應鏈、項目依賴等問題更適合圖結構。

長上下文線:LongRAG 與上下文預算

LongRAG 等工作提出一個現實問題:既然模型上下文變長,是否可以少切塊、多放上下文?答案不是簡單的“是”。更長的上下文降低了切塊導致的信息斷裂,但增加了成本和注意力噪聲。合理策略是把 RAG 看成上下文預算管理:先用檢索確定候選,再用長上下文容納更完整的局部證據,而不是盲目擴大 top-k。

結構化線:TableRAG 與 SQL 化檢索

表格 RAG 的難點是答案經常依賴計算,而不只是語義相似。TableRAG 系列工作反映出一個趨勢:RAG 正在從“文本搜索增強生成”擴展成“數據訪問增強推理”。其中 2025 年 TableRAG 論文頁面顯示其版本在 2025-09-30 修訂,並標註 accepted by EMNLP 2025;具體 benchmark 數字建議讀者以論文與倉庫為準,本文不轉述未經複核的實驗數值。

評測線:RAGChecker、TREC RAG Track

RAGChecker 的 claim-level 診斷值得工程系統借鑑:不要只問最終答案是否正確,還要問每個事實斷言是否有證據支持。TREC RAG Track 則體現了評測社區對真實檢索場景的持續關注。對於企業系統,評測集應包含領域內高頻問題、長尾問題、過期文檔問題、權限邊界問題和衝突證據問題。

方法對比表

路線 代表工作 解決的問題 適合場景 工程代價
多查詢 / 查詢改寫 RAG-Fusion、Self-RAG 用戶問題表達不足、召回不穩 開放問答、客服知識庫 中等,需要重排與去重
糾錯式 RAG CRAG 檢索結果質量差仍被生成器誤用 高風險問答、事實核驗 中等,需要檢索質量評估器
層級摘要 RAPTOR 長文檔跨層級信息聚合 論文、報告、政策文檔 中高,需要離線摘要構建
圖 RAG GraphRAG、LightRAG、HippoRAG 跨實體、跨文檔、多跳關係 企業知識圖譜、綜述、調查分析 高,需要抽取、消歧、圖維護
長上下文 RAG LongRAG chunk 斷裂和上下文不足 長報告、代碼倉庫、法律材料 中高,推理成本上升
結構化 RAG TableRAG 表格過濾、聚合、SQL 訪問 BI、金融、科研數據問答 高,需要 schema 與權限治理
細粒度評測 RAGChecker、TREC RAG Track 無法定位 RAG 失敗層 生產監控、模型迭代 中高,需要日誌和標註體系

關鍵技術趨勢

第一,RAG 的邊界正在擴大。檢索對象不再只是文本 chunk,而是實體、關係、表格、SQL 查詢結果、網頁、工具返回值和歷史交互記憶。

第二,索引會越來越任務化。同一批文檔可以同時擁有向量索引、關鍵詞索引、層級摘要索引和圖索引,運行時按問題選擇組合。

第三,評測會從離線準確率走向在線診斷。真正有價值的指標包括:證據召回率、引用忠實度、無答案拒答率、過期知識識別率、權限違規率、延遲和成本。

第四,長上下文不會替代 RAG,而會改變 RAG 的最佳實踐。過去工程師需要切得很碎以適配窗口;未來更重要的是“少而準地檢索,再給模型完整證據”。

第五,agentic RAG 會成為複雜任務入口,但必須剋制。每多一次檢索和工具調用,系統就多一個失敗點。沒有可觀測性和預算控制的 agentic RAG,很容易變成慢且不可靠的循環。

工程落地啟發

  1. 先建立失敗分類,再選論文方法。很多團隊直接上 GraphRAG,但真實瓶頸可能只是 query rewrite 或 metadata filter 沒做好。

  2. 混合檢索仍然是強基線。dense retrieval 對語義相似友好,BM25 對術語、編號、代碼、法律條款更穩。沒有強理由時,不要只依賴一種召回。

  3. chunk 策略要和引用策略一起設計。若最終答案需要可點擊引用,chunk 不能只為 embedding 效果服務,還要保留章節、頁碼、表格行列和版本信息。

  4. 圖 RAG 適合“關係密集型問題”,不適合所有知識庫。若文檔中的實體關係抽取質量不穩定,圖會放大噪聲。

  5. 表格和數據庫場景應儘量走結構化查詢。把 CSV 或 SQL 錶轉成文本再向量化,通常會丟失類型、約束和聚合語義。

  6. 評測集要包含“檢索不到”的問題。可靠系統不只會回答,還要會拒答、追問和標註證據不足。

  7. 生產日誌必須能回放。至少保存用戶問題、改寫後的查詢、召回文檔 ID、重排分數、進入上下文的片段、模型答案、引用和最終反饋。

侷限與爭議

RAG 論文的最大爭議之一,是實驗設置與真實系統差距很大。許多論文在公開 QA 數據集上驗證,但企業知識庫中的文檔版本、權限、噪聲 OCR、重複內容和用戶模糊問題更復雜。另一個問題是成本:GraphRAG、層級摘要和 agentic RAG 往往需要離線構建、在線多輪調用和額外評測器,未必適合低延遲場景。

此外,RAG 並不能自動解決幻覺。若檢索證據錯誤、過時或被提示注入汙染,生成器仍可能給出看似有引用的錯誤答案。Prompt Injection 與 Agent Security 將是本系列安全專題重點討論的話題。

接下來值得關注的問題

  1. 長上下文模型下,RAG 的最優粒度會如何變化?
  2. 圖 RAG 的實體抽取、消歧和增量更新能否形成穩定工程範式?
  3. 評測能否從 answer-level 走向 claim-level、source-level 和 workflow-level?
  4. Agentic RAG 如何設置調用預算、停止條件和安全邊界?
  5. 多模態 RAG 如何處理圖片、表格、視頻和版面結構?
  6. 企業知識庫中的權限控制和引用溯源如何與 RAG 管線深度結合?

總結

近一年 RAG 的主線不是“更大的向量庫”或“更多 top-k 文檔”,而是從單次檢索走向證據驅動的推理系統。基礎檢索仍然重要,但真正的差異開始來自索引結構、查詢規劃、工具化數據訪問、細粒度評測和安全治理。對工程團隊而言,最穩妥的路線是:先把混合檢索、引用、日誌和評測做紮實;再按問題複雜度逐步引入層級摘要、圖索引、結構化查詢和 agentic loop。RAG 的未來形態,更像一個帶記憶、帶審計、帶預算的研究助理,而不是一個簡單的提示詞模板。

參考資料

檢索日期:2026-06-23。以下鏈接優先選擇論文、官方項目頁、官方文檔或評測項目頁。預印本論文的機構、代碼狀態和實驗數字可能更新,使用前建議再次核對。

  1. Patrick Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, arXiv, 2020. https://arxiv.org/abs/2005.11401
  2. Akari Asai et al., “Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection”, arXiv / ICLR 2024. https://arxiv.org/abs/2310.11511
  3. Yanfei Yu et al., “Generate rather than Retrieve: Large Language Models are Strong Context Generators”, arXiv, 2022. https://arxiv.org/abs/2209.10063
  4. Shao Zhang et al., “Corrective Retrieval Augmented Generation”, arXiv, 2024. https://arxiv.org/abs/2401.15884
  5. Parth Sarthi et al., “RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval”, arXiv, 2024. https://arxiv.org/abs/2401.18059
  6. Darren Edge et al., “From Local to Global: A Graph RAG Approach to Query-Focused Summarization”, arXiv, 2024. https://arxiv.org/abs/2404.16130
  7. Microsoft GraphRAG project documentation / repository. https://github.com/microsoft/graphrag
  8. Zihan Zhao et al., “LightRAG: Simple and Fast Retrieval-Augmented Generation”, arXiv, 2024. https://arxiv.org/abs/2410.05779
  9. HKUDS LightRAG repository. https://github.com/HKUDS/LightRAG
  10. Gabriele Gutierrez et al., “HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models”, arXiv, 2024. https://arxiv.org/abs/2405.14831
  11. Wei Liu et al., “LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs”, arXiv, 2024. https://arxiv.org/abs/2406.15319
  12. Yixuan Su et al., “RAG-Fusion: A New Take on Retrieval-Augmented Generation”, project / paper reference. https://github.com/Raudaschl/rag-fusion
  13. Xiang Chen et al., “RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation”, arXiv, 2024. https://arxiv.org/abs/2408.08067
  14. RAGChecker project repository. https://github.com/amazon-science/RAGChecker
  15. Luyu Gao et al., “Retrieval-Augmented Generation for Large Language Models: A Survey”, arXiv, 2023/2024. https://arxiv.org/abs/2312.10997
  16. Si-An Chen et al., “TableRAG: Million-Token Table Understanding with Language Models”, arXiv, 2024. https://arxiv.org/abs/2410.04739
  17. Xiaohan Yu et al., “TableRAG: A Retrieval Augmented Generation Framework for Heterogeneous Document Reasoning”, arXiv, 2025. https://arxiv.org/abs/2506.10380
  18. Jinheon Baek et al., “Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering”, arXiv, 2023. https://arxiv.org/abs/2306.04136
  19. Mingyang Chen et al., “ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning”, arXiv, 2025. https://arxiv.org/abs/2503.19470
  20. TREC RAG Track official page, NIST. https://trec-rag.github.io/
  21. LangChain RAG tutorial documentation. https://python.langchain.com/docs/tutorials/rag/
  22. LlamaIndex documentation. https://docs.llamaindex.ai/
  23. OpenAI File Search tool documentation. https://platform.openai.com/docs/guides/tools-file-search