AI 科普 AI-02

AI-02

RAG 检索增强生成(RAG)

  • 检索增强生成
  • RAG

面试在问什么

企业知识类项目,面试几乎必问:用 RAG 还是微调?接着会追问权限怎么切、答错了怎么查、成本怎么控。能把一次请求的链路从头讲到尾,比背定义有用得多。

定义

RAG(Retrieval-Augmented Generation,检索增强生成):先从指定资料里查出相关片段,放进提示词,再让模型依据这些片段回答。

名字来自 Lewis 等人的论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(NeurIPS 2020)。今天说 RAG 泛指「检索 → 证据进上下文 → 生成」这一类做法,不限于论文里的模型结构。

RAG 还是微调

做法适合不适合
RAG会改的内容、要引用原文、要按人切权限资料里本来没有的判断
微调稳定的行为:语气、格式、领域术语、什么时候拒答每月会改的条款;分不清谁能看什么

一句话:知识放检索,习惯放权重。两者可以叠加,但第一版几乎总是 RAG,因为它可追溯、可更新,出了错能定位。

一次请求的完整链路

离线:资料 → 切块 → 加元数据(来源、版本、权限标签)→ BM25 索引 + 向量索引
在线:问题 → 查询改写 → 按权限过滤 → 混合检索(取几十条)→ 重排(留几条)→ 拼进提示词 → 生成并标引用 → 核对引用

切块

切块决定上限。检索不到的东西,模型再强也用不上。

  • 按文档结构切:标题、条款、表格各成一块,比固定 500 字一刀切好。
  • 块之间留少量重叠,防止「但是」后面的例外被切到下一块。
  • 每块带上所属标题路径和版本号,引用时才说得清出处。
  • 表格和扫描件要单独处理。PDF 解析质量往往比模型选型更影响效果。

混合检索:BM25 + 向量

两种检索各有盲区:

  • BM25(关键词):条款号、产品代码、人名这类精确词很稳,同义改写就失效。
  • 向量(语义):口语和同义表达能匹配上,但对编号、数字不敏感,可能把「条款 3.2」和「条款 3.4」当成差不多。

实践中两路都查,再用 RRF(Reciprocal Rank Fusion)之类的方法合并排名。用户的口语问题和资料用语差得远时,先做查询改写,把问题改成资料里真实出现的说法。

重排

第一轮检索追求召回,取几十条。再用 cross-encoder 重排模型把问题和每个候选一起打分,留下最相关的几条。重排比向量相似度准,但按候选数计费、计时,所以只对少量候选用。

为什么不全塞进去?Liu 等人 2023 年的 Lost in the Middle 发现,长上下文里,相关信息放在开头或结尾时模型用得最好,放在中间效果明显下降。片段少而准,通常比「都贴上」更好,也更便宜。

引用

提示词要求每句结论标出片段编号,前端渲染成可点开的原文链接。生成后再核对一遍:引用的片段里有没有这句话的依据。没有就删掉这句,或整体回答「资料里没有」。

权限过滤

权限必须在检索阶段过滤,不能等生成后再挡。片段一旦进了提示词,模型就可能把它说出来。

做法和后端的行级权限一样:每块带权限标签(产品线、部门、租户),查询时带上调用者身份做过滤。多租户系统要么按租户分索引,要么强制加租户过滤条件。答案缓存的 key 也要带权限范围,否则 A 的答案会命中给 B。

评测:分开看检索和生成

只给最终答案打分,你不知道该改索引还是该改提示词。至少分两层:

  • 检索召回:准备一批「问题 → 标准片段」的标注,看标准片段是否出现在前 k 条(recall@k)。召回不够,改切块、改检索、加查询改写。
  • 回答忠实度:答案里的每句话能否在检索到的片段里找到依据(faithfulness)。召回够了但不忠实,改提示词、加引用核对。

再加一组资料里没有答案的问题,检查系统会不会老实说「没有」。RAGAS 等开源工具可以自动化一部分,但关键场景仍要人工抽检。

RAG 失败时常带着章节号答错,比纯模型的错更难发现。排查顺序:检索到的是不是对的块;对的块里的例外有没有被用上;是不是什么都没检索到,模型用记忆补了。

成本与延迟

  • 向量化在离线完成,在线只算问题的 embedding,开销小。
  • 在线延迟和费用的大头是:重排的候选数,加上进模型的 token 数。控制好 top-k,两者一起下降。
  • 高频问题可以做答案缓存(注意权限范围),流式输出能改善体感延迟。
  • 资料更新走增量索引:只重建改过的文档,像缓存失效一样按文档版本号淘汰旧块。

不同雇主问 RAG 的角度

  • AI 原生/产品公司:多租户隔离、评测流水线、每次改动后的回归。
  • 大厂云与平台(BytePlus、阿里云):平台的知识库和向量检索产品怎么配;什么时候用托管服务,什么时候需要自建链路。
  • 咨询与系统集成:资料清洗和治理往往占大部分工时,验收标准要提前写进方案。
  • 甲方企业内部(银行保险、地产、基金):权限、文档版本、引用可审计。

面试怎么说

"For policy documents I'd start with RAG, not fine-tuning. The content changes every month, answers need to point back to a clause, and different staff can see different products. I chunk by document structure, run hybrid search, BM25 plus vectors, then rerank down to a few chunks. Permissions are filtered at retrieval time, not after generation. Every claim carries a citation, and if nothing relevant is found, the system says so. I evaluate retrieval recall and answer faithfulness separately, so when something is wrong I know whether to fix the index or the prompt. Fine-tuning is for stable behaviour, like format or when to abstain."

先讲链路,再讲评测怎么分层;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

自测

  1. 保单条款每月会改,柜员只能看自己权限内的产品。为什么第一版用 RAG 而不是微调?如果系统带着章节号答错了,你按什么顺序排查?
  2. 如果面试官来自大厂云平台(如 BytePlus 或阿里云),问的是「怎么帮客户落地一个 RAG」,你的回答和面对甲方保险公司时有什么不同?
参考答案

自测 1

条款会过期,答案要能翻回原文,候选片段要停在这个柜员能看的产品范围内。微调把训练那天的措辞冻进权重,无法引用,也分不清谁能看什么。

带章节号答错,按顺序查:

  1. 检索:标准片段在不在前 k 条?不在就改切块、混合检索或查询改写。
  2. 使用:片段对了,例外条款有没有被模型漏掉?改提示词,加引用核对。
  3. 空检索:是不是什么都没检索到,章节号来自模型记忆?加「无结果就停」的规则。

不要把错句再训练进去。

自测 2

面对甲方保险公司,重点是业务:权限、版本、引用可审计、人复核。

面对云平台,你代表平台帮很多客户落地,重点移到:

  • 把平台的知识库、向量检索、重排和评测组件讲清楚,按客户场景配置;
  • 判断什么时候托管方案够用,什么时候客户需要自定义切块或混合检索;
  • 帮客户建评测集,用召回和忠实度两个指标证明效果;
  • 讲清多租户隔离、数据驻留和成本估算,这些是客户采购时会问的。

一句话总结

RAG 让模型先翻你指定的资料再开口,它不会让模型知道一切。 效果取决于切块、检索、重排和权限;出了错,先查检索,再查生成。

在 GitHub 上查看源文