前一篇我們已經把 Function Calling、Tool Use 和 Agent 的邊界拆開了。
如果說工具調用解決的是“大模型如何與外部能力交互”,那 RAG 解決的就是另一個更高頻的問題:
模型明明很強,但一旦遇到私有知識、最新信息、專業文檔或者長篇業務資料,它還是會答錯、答舊、答得像是“半懂不懂”。
這不是模型突然變笨了。
而是因為參數化模型天然有幾個邊界:
- 訓練數據不是實時更新的
- 模型參數不是企業私有知識庫
- 長文檔即使塞進上下文,也會有成本、長度和注意力稀釋問題
- 單靠微調,並不能高效覆蓋高頻變化的業務知識
所以很多團隊最後都會走到 RAG。
但一提到 RAG,很多討論又容易過於簡化,好像它只是“先檢索一下,再把資料塞給模型”。
真正上線之後,問題馬上就來了:
- 為什麼明明做了向量檢索,回答還是不準?
- chunk size 到底設多大?overlap 要不要開?
- embedding 模型到底怎麼選?維度越大越好嗎?
- top-k 是越大越穩,還是越大越亂?
- reranker 值不值得加?
- 檢索到了很多材料,怎麼拼進上下文才不浪費 token?
- 生成階段 temperature、max tokens、system prompt 又該怎麼配?
這篇就把 RAG 按工程鏈路拆開講清楚。
我會重點講四件事:
- RAG 到底在補什麼,不要把它理解成“外掛知識庫”這麼簡單
- 檢索鏈路怎麼設計:切塊、embedding、召回、重排分別負責什麼
- 關鍵參數怎麼調:chunk size、overlap、top-k、embedding dim、max context 等
- 生產部署裡最容易踩的坑:召回準但回答差、檢索多但上下文亂、成本高但收益低
如果你正在做知識庫問答、企業文檔助手、客服問答、論文檢索、代碼知識助手,RAG 基本繞不過去。
一、先說結論:RAG 不是讓模型“記住更多”,而是讓模型在回答前先“看資料”
很多人第一次接觸 RAG,會把它理解成一種“給模型擴容知識”的方法。
這個說法不算全錯,但不夠精確。
RAG 更準確的本質是:
不要強迫模型把所有知識都壓在參數裡,而是在回答時先從外部知識庫裡找相關材料,再基於材料生成答案。
所以它不是直接修改模型參數,而是在推理階段增加了一個“先查再答”的過程。
這和微調的思路不一樣。
- 微調是把某類能力或風格寫進模型參數
- RAG 是把外部知識在推理時動態注入上下文
因此兩者擅長解決的問題也不同。
1)RAG 更適合“知識經常變、內容很多、要求可追溯”的任務
典型場景包括:
- 企業內部規章、產品文檔、接口文檔
- 法律條款、醫療指南、論文資料
- FAQ、客服知識庫、售後手冊
- 代碼倉庫文檔、架構說明、變更記錄
- 每天都在更新的數據、公告和報告
這類問題的共同點是:
- 知識更新頻繁
- 原始文檔比較長
- 需要引用原文依據
- 不適合每次改一點內容就重新微調模型
RAG 在這裡的優勢非常直接:
知識和模型解耦。
你更新知識庫,不一定需要改模型;你換模型,知識庫也不需要重建一遍業務邏輯。
2)RAG 不是萬能補丁,它補的是“外部知識訪問”,不是所有能力缺陷
要避免另一個常見誤區:
不是模型答不好,就都靠 RAG 補。
RAG 擅長解決的是:
- 知識新舊問題
- 私有數據訪問問題
- 長文檔定位問題
- 證據可追溯問題
但它不天然解決:
- 複雜邏輯推理弱
- 多跳規劃不穩定
- 工具執行錯誤
- 輸出格式不穩定
- 幻覺完全消失
如果底模太弱、提示設計太差、問題本身需要執行 SQL 或調用 API,單靠 RAG 也救不了。
一句話說:
RAG 是給模型補“資料”,不是給模型補“智商”。
二、一個完整 RAG 系統通常不是一段檢索,而是四段鏈路
很多 demo 會把 RAG 畫成兩步:
- 檢索
- 生成
但在真實工程裡,至少應該拆成四層:
- 數據入庫層:文檔清洗、切塊、元數據抽取、向量化、建立索引
- 召回層:根據用戶問題檢索候選片段
- 重排層:從候選片段中篩出最相關的一小批
- 生成層:把片段組織進 prompt,讓模型基於證據回答
只要其中一層做得粗糙,最後回答質量就會明顯掉。
1)數據入庫層決定“知識能不能被找出來”
入庫不是把 PDF 扔進去就結束了。
至少要處理這些問題:
- 文檔結構能不能保留標題層級
- 表格、代碼塊、公式、圖片說明是否丟失
- 文本里有沒有大量頁眉頁腳、目錄、重複水印
- 不同文檔是否帶上來源、時間、部門、版本號等元數據
如果原始文本很髒,後面檢索再高級也很難救回來。
2)召回層解決“從海量材料裡先粗篩出可能相關的內容”
召回階段通常追求的是:
寧可先多找一些候選,也不要一開始就把關鍵證據漏掉。
所以這裡更看重 recall,而不是最終排序絕對精準。
常見做法包括:
- 稀疏檢索:BM25、關鍵詞倒排
- 稠密檢索:embedding 向量相似度搜索
- 混合檢索:關鍵詞召回 + 向量召回並集或加權
很多業務裡,混合檢索往往比單一向量檢索更穩。
因為關鍵詞檢索對精確術語、編號、錯誤碼、產品型號特別有效;而向量檢索更擅長語義近似和表達改寫。
3)重排層解決“候選很多,但真正最該看的只有少數幾段”
召回出來的前 20 段、前 50 段,往往並不能直接丟給模型。
原因很簡單:
- token 成本太高
- 噪聲太多會沖淡關鍵信息
- 相似片段過多會讓上下文變得冗餘
所以通常還需要 reranker。
reranker 會基於“query + 文檔片段”的相關性做更細排序。
它和 embedding 檢索的差別在於:
- embedding 更像粗召回,追求快和覆蓋
- reranker 更像精排,追求前幾名真的相關
在高質量問答系統裡,reranker 經常是最划算的增益模塊之一。
4)生成層解決“怎麼把證據變成答案”
即使檢索完全正確,生成層也可能把答案做壞。
常見原因包括:
- prompt 沒要求“僅基於給定材料回答”
- 沒要求引用來源
- 上下文拼接順序混亂
- 模型看到太多無關材料後開始自由發揮
- temperature 太高導致證據約束變弱
所以 RAG 的最後一公里,不是“把檢索結果餵給模型”這麼簡單,而是:
如何設計一個讓模型優先尊重證據、而不是優先發揮語言流暢性的生成環境。
三、切塊為什麼是 RAG 的基本功:chunk 切得不對,後面全是補救
很多 RAG 系統效果不好,根因不是模型不行,而是 chunk 策略太粗糙。
因為檢索的基本單位,不是整本手冊,而是你切出來的片段。
片段切得差,會出現兩類問題:
- 該在一起的信息被拆散,召回後不完整
- 不該在一起的信息被混在一塊,召回後噪聲太大
1)chunk size 不是越大越好,也不是越小越好
chunk 太小的問題:
- 上下文不完整
- 指代丟失
- 一個結論和它的條件、表格、備註被拆開
- 模型讀到證據時缺背景
chunk 太大的問題:
- 噪聲增多
- 一個片段包含多個主題
- 檢索命中後會把很多不相關文字一起帶進來
- embedding 表示被平均化,區分度下降
工程上常見的起點配置大概是:
- 通用中文文檔:300~800 tokens
- FAQ 或短說明文:150~400 tokens
- 技術手冊、論文段落:400~1000 tokens
- 代碼與接口文檔:更適合按函數、類、章節做結構化切分,而不是純固定長度切塊
這不是絕對數值,但可以作為第一輪實驗基線。
2)overlap 的意義,是避免關鍵信息剛好被切斷
很多信息天然跨段落存在。
比如:
- 定義在上一段,約束在下一段
- 標題在前一段,細節在後一段
- 一個表格說明和表格主體被切開
這時 overlap 就很重要。
常見經驗值:
- 10%~20% 的重疊比例是比較常見的起點
- 太小,補不上邊界信息
- 太大,會造成庫裡片段高度重複,增加召回冗餘
如果你的文檔結構很規整,overlap 可以適當小;如果文檔是 PDF 轉文本、段落邊界不穩定,overlap 往往要更保守一點。
3)比固定長度更重要的,是結構感知切塊
高質量 RAG 系統通常不會只按字符數或 token 數硬切。
更好的策略通常是:
- 先按標題層級切
- 再按段落邊界切
- 超長段再做二次切分
- 表格、代碼塊、列表儘量保持整體
- 給每個 chunk 帶上父標題、章節路徑、來源鏈接等元數據
因為用戶問問題時,真正需要的往往不只是某幾句話,而是:
這段話屬於哪一章、哪一節、哪份文檔、哪個版本。
這些結構信息對後續重排和生成都很有價值。
四、embedding 到底在做什麼:它不是“理解一切”,而是把語義映射到可檢索空間
embedding 的作用可以簡單理解成:
把文本變成向量,讓語義相近的內容在向量空間裡也更靠近。
這樣用戶問題也轉成向量之後,就可以做近鄰搜索。
1)embedding 模型選擇,先看領域匹配,再看成本和延遲
很多人會先問:維度越大是不是越強?
不一定。
更關鍵的通常是:
- 這個 embedding 模型是否適合你的語言
- 是否適合你的領域術語
- 對長文本片段表現如何
- 推理成本和吞吐能不能接受
比如中文、代碼、法律、醫學文檔,對 embedding 模型的偏好往往不同。
如果業務裡術語密度很高,領域適配通常比單純追求“大維度”更重要。
2)embedding dim 會影響精度、存儲和檢索效率
embedding 維度越高,通常意味著:
- 向量索引更佔空間
- 檢索內存和帶寬壓力更大
- 建庫和更新成本更高
有時也可能帶來更強表達力,但不一定線性提升。
所以不要把維度當成唯一指標。
更合理的思路是:
- 在同一批評測集上比較 Recall@k、MRR、nDCG
- 同時觀察建庫時間、查詢延遲、內存佔用
- 選擇“效果—成本”更平衡的一組
3)query 和 document 是否使用同一套編碼方式,也會影響效果
有些 embedding 方案針對 query 和文檔會用不同模板或前綴。
如果編碼方式沒對齊,檢索質量會明顯下降。
所以落地時要非常確認:
- 入庫文本和查詢文本是否用了同一套預處理
- 是否添加了推薦的 instruction/prefix
- 中英文標點、空白、代碼格式是否被過度清洗
RAG 很多時候不是“模型不行”,而是 preprocessing 把語義搞壞了。
五、top-k、混合檢索、reranker:召回參數到底怎麼調
檢索參數最常見的誤區,是一味追求“多拿一點總沒錯”。
其實未必。
1)top-k 不是越大越好
top-k 太小的問題是:
- 真正證據可能沒進候選集
- 多跳問題缺少補充背景
top-k 太大的問題是:
- 噪聲越來越多
- reranker 成本上升
- 生成時上下文選擇更困難
- 模型更容易被次相關內容帶偏
工程上常見起點:
- 僅檢索不重排:top-k = 3~8
- 檢索後帶 reranker:召回可先放到 20~50,再精排出 3~8 段進入生成
也就是說:
- 粗召回可以稍大
- 最終餵給模型的證據數量要剋制
2)混合檢索對真實業務通常更穩
尤其在這些場景裡:
- 用戶會問產品名、接口名、錯誤碼、文檔編號
- query 中有精確短語
- 業務術語拼寫很固定
如果只做向量檢索,模型可能找到“語義接近但不是那一條”的內容。
所以一個常見穩妥方案是:
- BM25/關鍵詞檢索召回一批
- embedding 檢索再召回一批
- 兩邊做並集、加權或融合排序
這通常比“純向量一把梭”更抗業務噪聲。
3)reranker 特別適合解決“召回看似都相關,但優先級不對”
很多系統的失敗,不是完全沒召回,而是最關鍵的一段沒有排到前面。
比如用戶問:
“退款規則裡,課程開通後還能不能退?”
召回結果可能都和退款有關,但真正關鍵的是那一段包含“開通後不可退 / 某條件下可退”的條款。
這種時候 reranker 往往能明顯提升首條命中率。
如果你只能優先加一個模塊,我通常會建議優先驗證:
混合檢索 + reranker 能不能把前 3 條命中率顯著抬起來。
六、上下文怎麼拼,比“檢索到什麼”還更影響最終答案
很多團隊做到檢索準確率還不錯,但用戶仍然覺得回答一般。
原因往往出在 context packing。
1)不要把所有召回結果機械拼接
常見錯誤是:
- 直接按相似度從高到低把 10 段全文拼進去
- 不去重
- 不按來源組織
- 不管是否相互矛盾
這樣做的問題是:
- prompt 很長
- 重複信息很多
- 不同文檔互相打架
- 真正關鍵的句子反而埋在裡面
更合理的做法通常包括:
- 相鄰 chunk 合併,減少碎片感
- 重複內容去重
- 同文檔片段優先聚合
- 把高可信來源放前面
- 如果有時間維度,優先最新版本
2)生成 prompt 要明確“答案必須以證據為邊界”
RAG prompt 裡最關鍵的不是“請你回答下面問題”,而是約束邊界。
例如應該明確要求:
- 僅根據提供資料回答
- 如果資料不足,明確說不知道或信息不足
- 優先引用原文關鍵表述
- 給出來源標題或編號
- 避免使用模型自身未驗證知識補洞
因為一旦約束不清,模型就會把“檢索證據”和“自己腦補”混在一起。
3)max context 不是越塞滿越值錢
上下文窗口很大,不等於就應該儘量塞滿。
上下文越長,往往意味著:
- prefill 成本更高
- 延遲更大
- 證據密度下降
- 模型注意力分散
在很多任務裡,高密度的 3~6 段有效證據,比十幾段鬆散材料效果更好。
所以 context packing 的目標不是“塞滿窗口”,而是“提高證據密度”。
七、生成參數怎麼配:RAG 任務裡要優先穩,不要優先花哨
RAG 不是創意寫作。
它更像基於證據的受限生成。
因此生成參數通常要比普通對話更保守。
1)temperature 通常建議偏低
常見經驗:
- 事實型問答:0.0~0.3
- 證據總結、報告抽取:0.1~0.4
- 如果需要更自然的表述,但仍基於資料:0.3~0.5
temperature 太高時,模型會更願意“補充得更像人話”,但這也意味著更容易脫離證據。
2)max tokens 要和回答任務匹配
太短會截斷答案。
太長則會讓模型在核心答案說完後繼續擴寫,增加幻覺風險。
可以按任務拆:
- FAQ 類:200~500 tokens
- 文檔問答解釋類:400~1000 tokens
- 長摘要或多點歸納:800~1500 tokens
重點不是固定數字,而是不要無上限放任生成。
3)system prompt 最好明確處理“不知道”的策略
高質量 RAG 系統的一個標誌,不是它什麼都能答,而是:
資料不足時,它能老老實實承認不足。
所以 system prompt 通常應該明確:
- 未找到證據時,不要猜
- 證據衝突時,指出衝突來源
- 如果問題超出資料範圍,直接說明範圍限制
這類約束會顯著降低“看起來很完整、其實不靠譜”的回答。
八、RAG 上線後最常見的四類問題
1)檢索指標不錯,但用戶答案滿意度還是低
這通常說明問題不在召回,而在生成。
要檢查:
- prompt 是否鼓勵模型自由發揮
- context 是否冗餘太大
- 最終送入模型的片段是否順序混亂
- 是否缺少來源引用與邊界約束
2)召回總是差一點,但不是完全錯
這通常說明需要看:
- chunk 是否切壞了
- embedding 是否不適合領域
- 是否應該加關鍵詞檢索
- 是否需要 reranker
- query 是否需要重寫或擴展
很多時候,問題並不在模型,而在召回鏈路過於單薄。
3)成本和延遲太高
RAG 很容易出現“每個問題都查很多、拼很多、排很多”。
要優化時,優先看:
- top-k 是否過大
- reranker 是否對所有請求都啟用
- 是否可以先做輕量召回,再按置信度決定是否進入精排
- chunk 是否太碎導致候選數暴漲
- 是否可以緩存熱門 query 或熱門文檔向量
RAG 不是模塊越多越好,而是鏈路越合理越好。
4)回答引用了資料,但還是答偏
這通常是因為“檢索相關”不等於“回答可用”。
比如召回來的片段確實談的是同一個主題,但並不是回答該問題所需的那一段。
所以評測不能只看是否召回到相關文檔,還要看:
- 關鍵證據是否在前幾名
- 最終答案是否真的用到了關鍵證據
- 來源引用是否對應答案結論
九、評測 RAG,不能只看大模型主觀覺得“像對的”
RAG 系統特別容易被 demo 幻覺欺騙。
因為很多回答讀起來很流暢,但不代表真的建立在正確證據上。
更穩的評測思路通常至少分三層:
1)檢索層評測
看召回質量:
- Recall@k
- Precision@k
- MRR
- nDCG
- 關鍵證據是否進入候選集
2)重排層評測
看最關鍵證據能否排到前面:
- top-1 / top-3 命中率
- reranker 前後排序變化
- 首條證據是否可直接支持答案
3)生成層評測
看回答是否真的忠於資料:
- 是否引用正確來源
- 是否出現資料中沒有的結論
- 資料不足時是否會拒答
- 用戶問題中的關鍵點是否被完整覆蓋
如果業務足夠重要,最好自己做一小套標註集。
別隻依賴“問幾個樣例感覺還行”。
十、什麼時候該用 RAG,什麼時候不該強上
適合用 RAG 的情況:
- 知識量大,更新頻繁
- 文檔是主要信息來源
- 需要可追溯證據
- 業務問答高度依賴私有資料
- 不希望頻繁微調模型
不適合只靠 RAG 的情況:
- 任務本質是執行,不是問答
- 問題依賴實時數據庫操作或業務動作
- 需要複雜工作流編排
- 輸出需要嚴格結構化或調用外部系統
這類場景通常應該是:
- RAG 負責找資料
- Tool Use 負責執行動作
- Agent 負責多步協調
也就是說,RAG 不是所有系統的終點,它更像知識訪問層。
十一、落地建議:如果你現在要做一個企業知識助手,我會建議這樣起步
先不要一上來就堆最複雜的架構。
更穩的第一版路線通常是:
- 先把文檔清洗做好:標題、段落、表格、元數據別丟
- 先做結構感知切塊:不要只按固定長度硬切
- 先上混合檢索:關鍵詞 + 向量,一般比純向量更穩
- 再加 reranker:重點優化前 3 條證據命中率
- 生成參數保守一些:低 temperature,強來源約束
- 做小規模人工評測集:別隻看 demo 手感
- 按延遲和成本逐步優化:不要一開始就把鏈路搞得過度複雜
如果你把這七步做紮實,第一版 RAG 的可用性通常已經會比“直接把 PDF 塞進大模型”高一個層級。
十二、最後總結
RAG 之所以重要,不是因為它讓模型突然擁有了無限知識。
而是因為它提供了一種更符合工程現實的知識使用方式:
- 模型負責理解問題和組織答案
- 檢索系統負責找到相關材料
- 重排系統負責把關鍵證據排到前面
- prompt 與生成參數負責約束模型忠於證據
所以一個好用的 RAG 系統,本質上不是“模型更會背書”,而是:
模型在回答之前,真的先看了對的資料,並且只在證據邊界內回答。
如果你現在正在做知識庫問答,我最建議優先盯住三件事:
- chunk 切得對不對
- 前幾條證據排得準不準
- 生成階段有沒有被證據真正約束住
這三件事,往往比你換一個更貴的底模還更影響結果。
下一篇我會繼續接著這個系列往下走,講視覺語言模型裡一個非常核心的問題:
圖像是怎麼“接入”語言模型的?視覺編碼器、投影層與對齊機制到底在做什麼?
如果你把這一篇和前面的 Transformer、預訓練、RAG 串起來看,就會發現:
多模態系統並不是憑空長出來的,它本質上是在語言模型主幹之外,再接入新的感知表示與對齊鏈路。