封面圖:RAG 混合檢索系統把關鍵詞召回、向量召回、元數據過濾、融合排序和 reranker 組合成可評測閉環

日期:2026-06-21
適合讀者:正在建設企業知識庫問答、客服助手、內部搜索、研究助理或 Agent 檢索層的工程師、產品負責人和技術負責人。

摘要

前文講了知識庫攝取與 chunking:把原始文檔處理成可檢索、可引用、可過濾、可審計的證據單元。

這一篇解決下一個問題:證據單元已經入庫了,怎樣把正確證據穩定排到模型面前?

很多 RAG 系統的第一個版本都是“向量檢索 top-k + prompt”。這個方案適合 demo,但很快會在真實場景裡暴露問題:用戶問錯誤碼、合同條款、產品型號、表格字段、專有名詞時,向量相似度未必可靠;用戶問概念性問題、同義改寫、跨文檔總結時,純關鍵詞又太僵硬;候選召回到了以後,如果沒有重排,前 5 條經常被相似但不支持答案的 chunk 佔掉。

生產級 RAG 的檢索層不應該被理解成一個向量庫調用,而應該被理解成一條排序流水線:

Query Understanding
  -> Metadata Filter
  -> Sparse Retrieval + Dense Retrieval
  -> Hybrid Fusion
  -> Candidate Pool
  -> Reranker
  -> Diversity and Policy Filters
  -> Context Packing
  -> Eval and Fix Loop

本文給出一套可落地的混合檢索與重排方法,包含 sparse 與 dense 各自負責什麼、如何做 RRF 融合、候選池取多大、reranker 放在哪裡、怎樣處理低置信度、如何按查詢類型評測,以及一個最小 Python 排序管線示例。

目錄

1. 不要把 RAG 檢索理解成向量 top-k

向量檢索很有用,但它不是完整的檢索系統。

假設用戶問:

订单命中 E7782 时是否还能自动退款?

這個問題裡有一個很強的關鍵詞信號:E7782。如果知識庫裡有一段:

错误码 E7782 表示支付渠道返回风险拦截。命中该错误码后,退款申请必须进入人工审核,不得自动退款。

純語義向量檢索不一定把它排第一。因為向量模型可能更重視“自動退款”“人工審核”這些語義相近的段落,而不是錯誤碼本身。這個時候 BM25、字段匹配、短語匹配和精確匹配非常重要。

再看另一個問題:

客户说到账时间太久,客服应该怎么解释跨境退款?

這裡用戶沒有直接說“跨境支付訂單需人工審核”“1-5 個工作日”“原支付渠道”,但語義上明顯在問這些政策。純關鍵詞檢索可能錯過,向量檢索更適合。

生產 RAG 的關鍵不是在關鍵詞和向量之間二選一,而是承認它們解決的問題不同。

檢索方式 擅長 不擅長
關鍵詞 / BM25 / sparse 錯誤碼、產品型號、合同編號、專有名詞、原文短語、字段名 同義改寫、概念性問題、跨句語義
向量 / dense 同義表達、意圖匹配、概念相關、自然語言問題 精確符號、短字符串、罕見名詞、最新術語
元數據過濾 權限、租戶、版本、語言、時間、文檔類型 判斷內容是否真正回答問題
reranker 細粒度相關性、證據是否支持答案、排序糾偏 處理全庫召回,成本和延遲較高

所以檢索層的目標不是“取 top-k”,而是:從全量知識庫中構造一個足夠全、足夠準、可解釋、可審計的證據候選集合,再把最能支持答案的證據放進上下文。

2. 一條生產檢索鏈路長什麼樣

框架圖:RAG 檢索排序流水線從 Query、Metadata Filter、Sparse Search、Dense Search 到 Hybrid Fusion、Reranker、Context Pack 和 Eval Loop

一條更可靠的 RAG 檢索鏈路通常包含這些階段。

階段 目標 關鍵問題
Query Understanding 理解用戶意圖、實體、時間、約束 用戶在問規則、事實、流程、對比還是總結?
Metadata Filter 先收緊可訪問範圍 租戶、權限、語言、版本、狀態是否正確?
Sparse Retrieval 召回精確詞面匹配 錯誤碼、術語、標題、字段名能否命中?
Dense Retrieval 召回語義相似內容 同義表達和概念相關內容能否命中?
Hybrid Fusion 合併不同檢索器結果 不同分數尺度如何融合?重複 chunk 如何處理?
Candidate Pool 給 reranker 足夠候選 召回池是否足夠大但不失控?
Reranker 重新判斷候選是否真正回答問題 證據和問題之間是否有直接支持關係?
Diversity Filter 避免同源重複擠佔上下文 是否需要來源上限、MMR、相鄰 chunk 補全?
Context Packing 把證據組織給生成模型 順序、引用、預算、衝突證據怎麼處理?
Eval Loop 發現失敗模式並修復 哪類問題掉召回、掉排序、掉引用?

這裡最容易被忽略的是兩個事實。

第一,metadata filter 不是可選項。企業 RAG 裡,權限和版本應該在檢索前參與過濾,而不是把不該看的證據召回後交給模型“自覺不要用”。

第二,reranker 不是召回器。reranker 更擅長在幾十條候選裡做精排,不適合直接面對百萬級語料。召回階段如果沒有把正確證據放進候選池,reranker 再強也救不了。

3. Sparse Retrieval:關鍵詞不是落後方案

Sparse retrieval 通常指 BM25、倒排索引、短語匹配、字段加權、詞項擴展等關鍵詞檢索方法。它看起來不如向量檢索“智能”,但在很多生產問題裡反而是最可靠的底座。

3.1 什麼時候必須保留關鍵詞檢索

這些查詢強烈依賴詞面匹配:

  • 錯誤碼:E7782、HTTP 429、ORA-00001
  • 產品型號:XG-2400、Pro Max、SKU-9812
  • 字段名:refund_status、effective_date
  • 合同條款:第 6.2 条、force majeure
  • 法規編號:GDPR Article 15、SOX 404
  • 內部項目代號:Aurora、Bridge-v2
  • 人名、地名、機構名、報告標題

這些詞的語義空間未必穩定。一個錯誤碼可能沒有自然語言含義,一個 SKU 可能只是一串字符。向量檢索如果沒有足夠訓練語境,很難保證精確召回。

3.2 關鍵詞檢索不要只用正文

上一篇文章強調 chunk metadata。這裡它會直接影響關鍵詞召回質量。

推薦把這些字段納入 sparse index,並設置不同權重:

字段 作用 建議
source_title 文檔級主題 高權重
hierarchy_path 章節路徑 高權重
text 證據正文 標準權重
keywords 人工或自動抽取術語 中高權重
product_line 產品線 用於過濾或加權
version 版本 用於過濾,不建議只靠排序
status active/deprecated 用於過濾

如果只把 chunk 正文放進索引,很多短 chunk 會失去上下文。例如正文只有:

不得自动退款。

但它的標題路徑是:

退款政策 > 风险拦截 > E7782 处理

檢索時標題路徑比正文更關鍵。

3.3 Sparse 檢索的工程細節

生產裡建議至少支持:

  • 精確短語匹配:適合錯誤碼、條款號、標題;
  • 字段加權:標題和章節路徑權重大於正文;
  • analyzer 策略:中文分詞、英文大小寫歸一、符號保留;
  • 同義詞表:業務別名、舊稱、新稱;
  • 停用詞控制:不要把“退款”“訂單”這類領域高頻詞全部丟掉;
  • query boost:當識別出錯誤碼、SKU、字段名時,提高 sparse 權重。

關鍵詞檢索不是“傳統方案”,它是 RAG 對現實世界符號系統的尊重。

4. Dense Retrieval:語義召回解決改寫和概念匹配

Dense retrieval 使用 embedding 把 query 和 chunk 映射到向量空間,再按相似度召回。它的價值在於處理用戶不會逐字複述文檔的情況。

例如知識庫裡寫的是:

跨境支付订单需进入人工审核。审核完成后,退款通常在 1-5 个工作日内退回原支付渠道。

用戶可能會問:

海外订单退款为什么不能马上到账?

這時沒有明顯的錯誤碼或條款號,dense retrieval 更容易召回正確證據。

4.1 Dense 檢索依賴 chunk 質量

如果 chunk 太長,embedding 會把多個主題混在一起;如果 chunk 太短,語義不完整。向量召回的質量不是隻由 embedding model 決定,還由這些因素共同決定:

  • chunk 是否語義完整;
  • 標題路徑是否進入索引文本;
  • 表格是否被轉成可理解的文本;
  • 舊版本是否被過濾;
  • 同一文檔是否重複入庫;
  • 用戶 query 是否需要改寫或拆解。

這也是為什麼前文先講攝取和 chunking。沒有好的證據單元,檢索算法只能在噪聲裡排序。

4.2 Dense 檢索的參數起點

可以從下面的配置起步,再用評測集調整。

場景 dense top-n 說明
小型 FAQ / 文檔少 20-40 候選充足即可
中型企業知識庫 50-100 給融合和重排留空間
多租戶 / 多產品線 每個過濾範圍 30-80 先過濾再召回
長文檔研究助理 80-150 需要更強去重和多樣性控制

不要一開始就把 top_k=5 作為檢索結果直接餵給模型。top-k 是最終上下文數量,不應該等於召回數量。召回階段要更寬,精排和上下文階段再收緊。

5. Hybrid Fusion:把不同檢索器變成一個候選池

Hybrid search 的基本思路是:同一個 query 同時跑 sparse 和 dense,再把兩個結果列表融合成一個候選池。

困難點在於,BM25 分數和向量相似度不是同一個尺度。BM25 可能是 12.7,cosine similarity 可能是 0.83。直接相加通常沒有意義。

5.1 推薦從 RRF 開始

一個實用起點是 Reciprocal Rank Fusion,簡稱 RRF。它不直接比較原始分數,而是比較排名位置。

直覺很簡單:

  • 同時在 sparse 和 dense 裡排名靠前的 chunk,應該更靠前;
  • 只在一個通道里排名很靠前的 chunk,也應該保留;
  • 排名越靠後,貢獻越小。

常見形式:

score(doc) = sum( weight_i / (k + rank_i(doc)) )

其中 rank_i 是某個檢索器裡的排名,k 是平滑常數,常用 60 左右。權重可以按 query 類型調整。

5.2 權重不應該固定不變

同一個系統裡,不同 query 應該有不同策略。

Query 類型 sparse 權重 dense 權重 原因
錯誤碼 / SKU / 條款號 高 中 精確符號優先
FAQ 自然語言問題 中 高 用戶表達經常改寫
標題或文檔名搜索 高 低中 標題詞面很強
概念解釋 / 原理總結 中 高 語義相關更重要
多條件政策問題 中高 中高 兩者都需要

OpenAI Retrieval 文檔中也提供了混合檢索相關的 ranking 配置:可以通過 ranking_options.hybrid_search 調整 embedding 語義匹配和 sparse 文本匹配的權重,並通過 score_threshold 控制返回結果的最低分數。具體產品參數會變化,設計上要把這些當成可評測、可回滾的檢索策略,而不是一次性寫死。

5.3 融合前後都要去重

同一個證據可能以多個形式出現:

  • 同一 source 的相鄰 chunk;
  • 同一文檔不同版本;
  • FAQ 和政策正文重複;
  • 多語言翻譯內容重複;
  • 摘要頁和原文頁重複。

融合後必須按 chunk_id、content_hash、source_id + locator 等字段去重。否則前 10 條看似很多,實際上全是同一段話的重複版本。

6. Candidate Pool:重排前要先給足候選

reranker 的前提是正確證據已經在候選池裡。候選池太小,是很多 RAG 排序失敗的根因。

一個穩妥的起點:

sparse top 80
dense top 80
metadata filter before retrieval
RRF fusion to top 80
dedupe and source cap to top 60
rerank top 60
context pack top 6-12 chunks

數字不是標準答案,但體現了一個原則:召回寬,重排窄,上下文更窄。

6.1 為什麼不能只 rerank top 10

如果 sparse 和 dense 初排都不完美,正確證據可能排在第 18、33 或 47。只 rerank top 10,會讓 reranker 看不到正確答案。

在延遲允許的情況下,建議至少 rerank 30-80 條。對於高價值、低頻、長答案問題,可以 rerank 100 條以上;對於客服實時場景,可以用緩存、輕量 reranker 或分層 rerank 控制延遲。

6.2 候選池要保留解釋字段

每個候選不僅要有文本,還要保留排序證據:

{
  "chunk_id": "refund_policy#sec_4#chunk_02",
  "source_id": "refund_policy_2026_03",
  "sparse_rank": 3,
  "dense_rank": 18,
  "fusion_score": 0.0271,
  "rerank_score": 0.84,
  "matched_terms": ["E7782", "自动退款"],
  "metadata": {
    "version": "2026-03",
    "status": "active",
    "access_scope": ["customer_service"]
  }
}

這些字段是調試和評測的生命線。線上出現錯答時,如果日誌裡只有最終 prompt,很難知道是沒召回、排錯了,還是生成模型沒用證據。

7. Reranker:把“像”變成“能支持答案”

初始召回判斷的是“這個 chunk 和 query 是否相似”。reranker 應該更進一步:判斷“這個 chunk 是否能直接支持回答這個 query”。

例如用戶問:

命中 E7782 后能否自动退款?

候選 A:

自动退款适用于低风险订单,系统会在审核通过后按原支付渠道退款。

候選 B:

错误码 E7782 表示支付渠道返回风险拦截。命中该错误码后,退款申请必须进入人工审核,不得自动退款。

A 和 query 都包含“自動退款”,相似度可能很高。但 B 才是真正支持答案的證據。reranker 的價值就在這裡。

7.1 常見 reranker 類型

類型 思路 優點 代價
Cross-encoder reranker 同時輸入 query 和 chunk,輸出相關性分數 精度強,適合精排 每個候選都要跑模型
LLM reranker 讓 LLM 判斷候選是否支持答案 可解釋,能處理複雜條件 成本和延遲高,要防格式漂移
Late interaction 例如 ColBERT 風格的 token-level 交互 兼顧召回和細粒度匹配 系統實現更復雜
規則 reranker 用實體、時間、版本、標題等規則加權 便宜、穩定、可控 覆蓋不了複雜語義

工程上常見組合是:

RRF fusion -> rule boosts -> neural reranker -> final policy filters

規則不是為了替代模型,而是把確定性約束先處理掉。例如:

  • active 版本優先;
  • 用戶所在產品線優先;
  • 標題精確命中加權;
  • 舊版本降權或過濾;
  • 同一來源最多保留 2-3 條;
  • 表格證據必須帶行列標題。

7.2 reranker 的輸出不要只存一個分數

如果使用 LLM 或可解釋 reranker,建議輸出結構化字段:

{
  "chunk_id": "refund_policy#sec_4#chunk_02",
  "relevance": 0.92,
  "support": "direct",
  "reason": "The chunk explicitly states that E7782 requires manual review and automatic refund is not allowed.",
  "missing": []
}

其中 support 可以分成:

  • direct:直接回答;
  • partial:回答一部分;
  • background:只是背景;
  • conflicting:與其他證據衝突;
  • irrelevant:無關。

最終進上下文的應該優先是 direct 和高質量 partial,而不是所有“看起來相關”的材料。

8. Query Rewrite 與 Query Decomposition

用戶 query 往往不是最適合檢索的形式。檢索前可以做 query rewrite,但要控制邊界。

8.1 Query Rewrite 適合什麼

適合:

  • 口語化問題改寫成標準術語;
  • 省略上下文補全;
  • 中英文術語映射;
  • 拼寫糾錯;
  • 把長問題壓成檢索關鍵詞;
  • 生成同義 query 做多路召回。

例如:

用户问题:海外订单退款为什么慢?
检索 query 1:跨境支付订单 退款 人工审核 到账时间
检索 query 2:海外订单 退款 1-5 个工作日 原支付渠道
检索 query 3:跨境退款 审核完成后多久到账

OpenAI Retrieval 文檔中提供了 rewrite_query 一類能力,用於在檢索前改寫 query。無論使用託管能力還是自建能力,都要把 rewrite 結果記錄到日誌裡,否則很難解釋為什麼召回了某些證據。

8.2 Query Decomposition 適合複雜問題

複雜問題經常包含多個子問題:

企业客户取消年付套餐时,退款金额怎么计算,是否会影响已开票金额?

這可能拆成:

  1. 年付套餐取消規則;
  2. 退款金額計算;
  3. 發票和財務處理;
  4. 企業客戶是否有特殊條款。

每個子 query 單獨召回,再融合和重排,通常比把原問題直接檢索更穩定。

但 decomposition 有一個風險:它會引入模型臆測的子問題。建議把拆解結果和原始 query 一起記錄,並在 reranker 階段要求證據仍然支持原始問題,而不是隻支持某個被改寫後的問題。

9. 多樣性、權限、版本和新鮮度

排序不是隻看相關性。RAG 的證據上下文還要滿足工程約束。

9.1 權限必須在檢索前過濾

如果用戶無權訪問某個文檔,最好在檢索層就過濾掉,而不是召回後再讓模型忽略。

必備字段:

  • tenant_id
  • access_scope
  • owner_team
  • classification
  • status
  • effective_at
  • expires_at

託管檢索能力通常也會支持 metadata filtering。比如 OpenAI File Search 和 Retrieval 文檔都強調可以基於文件或屬性 metadata 做過濾。自建系統也應該把 metadata filter 設計成檢索 API 的一等參數。

9.2 版本和狀態要硬過濾

如果文檔有 active / deprecated / draft 狀態,默認只檢索 active。不要把“新版本更高分”交給排序模型自然學會。

常見策略:

狀態 默認處理
active 可召回
deprecated 默認過濾;用戶明確問歷史版本時才召回
draft 只對內部授權用戶召回
archived 默認過濾

9.3 多樣性控制避免上下文被同一來源佔滿

如果 top 10 全來自同一個長文檔的相鄰 chunk,模型可能看不到另一個關鍵來源。可以設置:

  • 每個 source_id 最多保留 2-3 個 chunk;
  • 同一章節相鄰 chunk 合併或補全;
  • 使用 MMR 類策略兼顧相關性和差異;
  • 對沖突證據保留至少一條反例;
  • 對錶格證據保留完整行列上下文。

多樣性不是為了“平均分配”,而是為了讓上下文覆蓋回答所需的不同證據角色。

10. 分數閾值與低置信度策略

很多團隊只關心“召回了什麼”,不關心“什麼時候不該回答”。

實際產品裡,低置信度問題必須有策略:

  • 沒有任何候選超過閾值:拒答或追問;
  • 候選分數接近但互相沖突:說明衝突並請求確認;
  • 只有背景證據,沒有直接證據:給出保守回答;
  • 需要用戶身份、時間或產品線才能判斷:追問;
  • 命中舊版本而新版本缺失:提示無法確認最新規則。

閾值不要只用一個全局數字。不同 query 類型可以有不同閾值。

Query 類型 閾值策略
錯誤碼 / 條款號 要求精確命中或強支持
概念解釋 可以接受多個 partial 證據
合規 / 法務 閾值更高,衝突時不強答
客服話術 允許引用政策後生成表達
數據事實 必須命中明確來源和時間

一個成熟的 RAG 系統,不是永遠回答,而是知道什麼時候回答、什麼時候追問、什麼時候拒答。

11. 一個最小混合檢索示例

下面是一個不依賴具體數據庫的最小排序框架。真實系統裡,sparse_search 可以來自 Elasticsearch / OpenSearch / Vespa / PostgreSQL FTS,dense_search 可以來自向量庫或託管檢索,rerank 可以來自 cross-encoder、LLM 或自建模型。

from dataclasses import dataclass, field
from typing import Dict, Iterable, List, Optional


@dataclass
class Candidate:
    chunk_id: str
    source_id: str
    text: str
    metadata: Dict[str, str]
    sparse_rank: Optional[int] = None
    dense_rank: Optional[int] = None
    fusion_score: float = 0.0
    rerank_score: float = 0.0
    reasons: List[str] = field(default_factory=list)


def rrf_fuse(
    result_lists: Dict[str, List[Candidate]],
    weights: Dict[str, float],
    k: int = 60,
) -> List[Candidate]:
    merged: Dict[str, Candidate] = {}

    for channel, results in result_lists.items():
        weight = weights.get(channel, 1.0)
        for rank, item in enumerate(results, start=1):
            if item.chunk_id not in merged:
                merged[item.chunk_id] = item

            candidate = merged[item.chunk_id]
            candidate.fusion_score += weight / (k + rank)

            if channel == "sparse":
                candidate.sparse_rank = rank
            elif channel == "dense":
                candidate.dense_rank = rank

            candidate.reasons.append(f"{channel}:rank={rank}")

    return sorted(merged.values(), key=lambda x: x.fusion_score, reverse=True)


def apply_policy_filters(
    candidates: Iterable[Candidate],
    user_scope: str,
    max_per_source: int = 3,
) -> List[Candidate]:
    kept: List[Candidate] = []
    source_counts: Dict[str, int] = {}

    for item in candidates:
        if item.metadata.get("status") != "active":
            continue
        if user_scope not in item.metadata.get("access_scope", "").split(","):
            continue
        if source_counts.get(item.source_id, 0) >= max_per_source:
            continue

        source_counts[item.source_id] = source_counts.get(item.source_id, 0) + 1
        kept.append(item)

    return kept


def rerank(query: str, candidates: List[Candidate]) -> List[Candidate]:
    # Replace this stub with a cross-encoder, LLM reranker, or managed reranking API.
    # Keep the interface stable so retrieval experiments are easy to compare.
    query_terms = set(query.lower().split())
    for item in candidates:
        text_terms = set(item.text.lower().split())
        overlap = len(query_terms & text_terms)
        item.rerank_score = 0.7 * item.fusion_score + 0.3 * overlap
    return sorted(candidates, key=lambda x: x.rerank_score, reverse=True)


def retrieve_for_rag(query: str, user_scope: str) -> List[Candidate]:
    sparse = sparse_search(query, top_n=80)
    dense = dense_search(query, top_n=80)

    weights = choose_weights(query)
    fused = rrf_fuse(
        {"sparse": sparse, "dense": dense},
        weights=weights,
        k=60,
    )

    filtered = apply_policy_filters(fused[:100], user_scope=user_scope)
    ranked = rerank(query, filtered[:60])

    return ranked[:10]

這個例子刻意保留了幾個接口:

  • choose_weights(query):按 query 類型調整 sparse / dense 權重;
  • apply_policy_filters(...):把權限、版本、來源上限放在排序鏈路中;
  • rerank(...):把精排能力和召回能力解耦;
  • reasons:記錄候選為什麼被召回,便於調試。

真實系統上線前,還應該把每次請求的 query、rewrite query、filter、sparse rank、dense rank、fusion score、rerank score、最終引用都寫入可檢索日誌。

12. 如何評測混合檢索是否真的更好

前文講過 RAG 評測,這裡聚焦檢索排序本身。

不要只看“感覺答案更好”。要把檢索鏈路拆開比較:

實驗組 目的
sparse only 關鍵詞基線
dense only 向量基線
sparse + dense fusion 驗證混合召回是否提升 recall
fusion + reranker 驗證精排是否提升 top-k
fusion + reranker + diversity 驗證上下文質量是否提升
rewrite + fusion + reranker 驗證 query rewrite 是否有收益

12.1 指標分層

指標 看什麼 典型用途
Recall@50 正確證據是否進入候選池 診斷召回問題
Recall@10 正確證據是否靠前 診斷初排和融合
MRR 第一個正確證據排第幾 問答首證據質量
nDCG@k 多條證據排序質量 多證據答案
Citation Support Rate 最終引用是否支持答案 連接檢索和生成
Empty / Abstain Rate 系統拒答頻率 低置信度策略
Latency p95 用戶體驗 線上 SLA
Cost per Query 推理和檢索成本 規模化成本

12.2 必須按 query 類型切分

總平均值會掩蓋問題。至少按這些類型切:

  • 精確實體類:錯誤碼、SKU、條款號;
  • 政策規則類:能不能、是否允許、怎麼計算;
  • 流程類:先做什麼、後做什麼;
  • 對比類:A 和 B 有什麼區別;
  • 摘要類:總結某文檔或某主題;
  • 多跳類:需要多個來源組合;
  • 低置信度類:知識庫沒有答案或權限不足。

一個系統可能總體 Recall@10 提升 3%,但錯誤碼類下降 20%。如果不分桶,你會誤以為優化成功。

12.3 評測樣本從線上失敗裡來

初始 gold set 可以人工構造,但真正有價值的樣本來自線上失敗:

  • 用戶追問“不是這個意思”;
  • 人工客服改寫了答案;
  • 用戶點擊了“沒有幫助”;
  • 引用被用戶打開後沒有支持答案;
  • reranker 高分候選被人工判為無關;
  • 模型回答“無法確認”但知識庫其實有答案。

每週把失敗樣本加入評測集,再比較檢索策略,就能形成真正的排序閉環。

13. 生產架構建議

一個可維護的 RAG 檢索層可以拆成這些模塊。

Client / Agent
  -> Retrieval API
      -> Query Analyzer
      -> Metadata Policy Service
      -> Sparse Index
      -> Vector Index
      -> Fusion Service
      -> Reranker Service
      -> Context Packer
      -> Retrieval Logger
  -> Generation API
  -> Evaluation Pipeline

13.1 Retrieval API 要穩定

不要讓業務代碼直接拼多個數據庫調用。建議提供一個穩定接口:

{
  "query": "命中 E7782 后能否自动退款?",
  "user": {
    "tenant_id": "global",
    "access_scope": ["customer_service"]
  },
  "filters": {
    "status": "active",
    "language": "zh-CN"
  },
  "strategy": "hybrid_rerank_v3",
  "max_context_chunks": 8
}

返回:

{
  "strategy": "hybrid_rerank_v3",
  "rewritten_queries": [
    "E7782 自动退款 人工审核",
    "错误码 E7782 退款处理规则"
  ],
  "contexts": [
    {
      "chunk_id": "refund_policy#sec_4#chunk_02",
      "source_id": "refund_policy_2026_03",
      "text": "错误码 E7782 表示支付渠道返回风险拦截。命中该错误码后,退款申请必须进入人工审核,不得自动退款。",
      "score": 0.92,
      "support": "direct",
      "citation": {
        "title": "退款政策 2026-03 版",
        "section": "4.2",
        "page": 4
      }
    }
  ]
}

這樣生成層不需要知道底層是 Elasticsearch、向量庫還是託管 file search。檢索策略可以迭代,調用契約保持穩定。

13.2 策略要可版本化

每次檢索策略調整都應該有版本號:

  • dense_only_v1
  • hybrid_rrf_v1
  • hybrid_rrf_rerank_v2
  • hybrid_rrf_rerank_rewrite_v3

日誌和評測都記錄策略版本。否則線上表現變好或變壞時,你無法定位是哪次權重、過濾、reranker 或 chunk 變更造成的。

13.3 上下文打包是排序的一部分

最後放進 prompt 的不只是 top-k 文本。Context packing 要處理:

  • 證據順序:先直接證據,再背景證據;
  • 引用格式:每條證據有 source、page、section;
  • 相鄰補全:必要時帶前後 chunk;
  • 衝突證據:明確標註不同版本或不同條件;
  • token 預算:長表格、長段落要壓縮但不能丟關鍵字段;
  • 去重:重複證據不要浪費上下文窗口。

檢索排序的終點不是列表,而是一個可被生成模型可靠使用的證據包。

14. 常見誤區

14.1 誤區一:只要 embedding 模型更強,就不需要關鍵詞

embedding 再強,也不應該承擔所有精確匹配任務。錯誤碼、合同編號、字段名和條款號天然適合 sparse 檢索。

14.2 誤區二:把 raw BM25 分數和 cosine 分數直接相加

不同檢索器分數尺度不同,直接相加會讓某一側支配排序。先用 RRF 這類基於排名的融合,或者做經過驗證的分數歸一化。

14.3 誤區三:召回 top 5 直接給模型

top 5 適合最終上下文,不適合召回。召回要寬,重排要準,上下文要精。

14.4 誤區四:reranker 輸入太少

reranker 只看 top 10,很容易錯過排在 20-50 的正確證據。先把候選池做寬,再讓 reranker 工作。

14.5 誤區五:權限和版本放到 prompt 裡提醒

這會製造安全和一致性風險。權限、租戶、版本、狀態應該在檢索層過濾。

14.6 誤區六:只評測最終答案,不評測檢索過程

最終答案錯了,原因可能是沒召回、排錯、證據衝突、上下文打包錯誤,也可能是生成模型沒遵守證據。只看答案會讓修復方向變得模糊。

14.7 誤區七:所有 query 用同一套權重

錯誤碼查詢和概念解釋查詢不應該使用同一套 sparse / dense 權重。至少要按 query 類型做簡單路由。

15. 落地路線圖

第 1 周:建立可觀測基線

  • 接入 sparse 和 dense 兩條召回;
  • 每條候選記錄 sparse rank、dense rank、source、version、access scope;
  • 建立 100-300 條人工 gold query;
  • 跑 sparse only、dense only、hybrid 三組評測。

第 2 周:加入融合和過濾

  • 實現 RRF 或託管 hybrid ranking;
  • 加入 metadata filter;
  • 加入 source cap 和去重;
  • 按 query 類型調整 sparse / dense 權重;
  • 輸出 Recall@50、Recall@10、MRR、nDCG。

第 3 周:加入 reranker

  • 選擇 cross-encoder、LLM reranker 或託管 rerank 能力;
  • rerank 30-80 條候選;
  • 記錄 rerank score 和 support 類型;
  • 比較 hybrid 與 hybrid + rerank。

第 4 周:打通上下文和引用

  • 把 rerank 後證據打包成結構化上下文;
  • 接入引用與歸因校驗;
  • 對低置信度問題設計拒答和追問;
  • 建立線上失敗樣本回流流程。

第 5 周:優化延遲和成本

  • 緩存熱門 query 和 query rewrite;
  • 對簡單 query 跳過重 reranker;
  • 使用分層 rerank;
  • 控制每個來源和每個答案的 token 預算;
  • 按業務價值設置不同 SLA。

16. 發佈前自檢清單

上線前至少檢查這些問題。

召回

  • sparse 和 dense 都可以單獨運行;
  • 錯誤碼、SKU、條款號能被關鍵詞穩定召回;
  • 自然語言改寫能被向量召回;
  • 正確證據在 Recall@50 中表現穩定;
  • chunk 標題路徑進入索引文本。

融合

  • 沒有直接相加不同檢索器 raw score;
  • 使用 RRF 或經過驗證的歸一化;
  • query 類型會影響 sparse / dense 權重;
  • 融合後按 chunk_id、source、hash 去重;
  • 記錄每個候選來自哪些通道。

重排

  • reranker 至少看到 30-80 條候選;
  • rerank score 和支持類型寫入日誌;
  • 評測 hybrid 與 hybrid + rerank 的差異;
  • 低分候選不會進入最終上下文;
  • 高風險場景有更嚴格閾值。

權限和版本

  • tenant、access scope、status、version 在檢索層過濾;
  • deprecated 文檔默認不召回;
  • 用戶明確問歷史版本時才放開版本過濾;
  • 文檔權限變化後索引能及時更新;
  • 日誌不會洩漏無權訪問內容。

上下文

  • 每條上下文都有 citation;
  • 相鄰 chunk 補全不會引入無關內容;
  • 同一來源不會擠佔全部上下文;
  • 衝突證據能被標記;
  • 生成模型能看到足夠直接證據。

評測

  • 按 query 類型分桶;
  • 同時看 Recall@k、MRR、nDCG、引用支持率;
  • 記錄 latency p50/p95 和成本;
  • 線上失敗樣本能迴流到評測集;
  • 檢索策略有版本號並可回滾。

17. 總結

RAG 的檢索層不是一個向量庫 top-k 參數,而是一條排序閉環。

Sparse retrieval 負責精確符號和詞面證據,dense retrieval 負責語義改寫和概念匹配,hybrid fusion 把多個通道變成候選池,reranker 再判斷哪些證據真正支持用戶問題。metadata filter、版本控制、權限、新鮮度、多樣性和上下文打包,同樣是排序質量的一部分。

一個實用原則是:

召回要宽,重排要准,上下文要精,评测要分桶。

如果系統只在“向量 top-k”上調參,問題會反覆出現:召回不到、排錯、引用不支持、舊版本混入、低置信度強答。把檢索層工程化以後,RAG 才能從 demo 走向可維護的生產系統。

下一篇可以繼續寫:RAG 的低置信度與拒答策略怎麼做:什麼時候回答、追問和轉人工。

參考資料