AI 科普 AI-02
AI-02
RAG 检索增强生成(RAG)
- 检索增强生成
- RAG
面试在问什么
企业知识类项目,面试几乎必问:用 RAG 还是微调?接着会追问权限怎么切、答错了怎么查、成本怎么控。能把一次请求的链路从头讲到尾,比背定义有用得多。
定义
RAG(Retrieval-Augmented Generation,检索增强生成):先从指定资料里查出相关片段,放进提示词,再让模型依据这些片段回答。
名字来自 Lewis 等人的论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(NeurIPS 2020)。今天说 RAG 泛指「检索 → 证据进上下文 → 生成」这一类做法,不限于论文里的模型结构。
RAG 还是微调
| 做法 | 适合 | 不适合 |
|---|---|---|
| RAG | 会改的内容、要引用原文、要按人切权限 | 资料里本来没有的判断 |
| 微调 | 稳定的行为:语气、格式、领域术语、什么时候拒答 | 每月会改的条款;分不清谁能看什么 |
一句话:知识放检索,习惯放权重。两者可以叠加,但第一版几乎总是 RAG,因为它可追溯、可更新,出了错能定位。
一次请求的完整链路
离线:资料 → 切块 → 加元数据(来源、版本、权限标签)→ BM25 索引 + 向量索引
在线:问题 → 查询改写 → 按权限过滤 → 混合检索(取几十条)→ 重排(留几条)→ 拼进提示词 → 生成并标引用 → 核对引用
切块
切块决定上限。检索不到的东西,模型再强也用不上。
- 按文档结构切:标题、条款、表格各成一块,比固定 500 字一刀切好。
- 块之间留少量重叠,防止「但是」后面的例外被切到下一块。
- 每块带上所属标题路径和版本号,引用时才说得清出处。
- 表格和扫描件要单独处理。PDF 解析质量往往比模型选型更影响效果。
混合检索:BM25 + 向量
两种检索各有盲区:
- BM25(关键词):条款号、产品代码、人名这类精确词很稳,同义改写就失效。
- 向量(语义):口语和同义表达能匹配上,但对编号、数字不敏感,可能把「条款 3.2」和「条款 3.4」当成差不多。
实践中两路都查,再用 RRF(Reciprocal Rank Fusion)之类的方法合并排名。用户的口语问题和资料用语差得远时,先做查询改写,把问题改成资料里真实出现的说法。
重排
第一轮检索追求召回,取几十条。再用 cross-encoder 重排模型把问题和每个候选一起打分,留下最相关的几条。重排比向量相似度准,但按候选数计费、计时,所以只对少量候选用。
为什么不全塞进去?Liu 等人 2023 年的 Lost in the Middle 发现,长上下文里,相关信息放在开头或结尾时模型用得最好,放在中间效果明显下降。片段少而准,通常比「都贴上」更好,也更便宜。
引用
提示词要求每句结论标出片段编号,前端渲染成可点开的原文链接。生成后再核对一遍:引用的片段里有没有这句话的依据。没有就删掉这句,或整体回答「资料里没有」。
权限过滤
权限必须在检索阶段过滤,不能等生成后再挡。片段一旦进了提示词,模型就可能把它说出来。
做法和后端的行级权限一样:每块带权限标签(产品线、部门、租户),查询时带上调用者身份做过滤。多租户系统要么按租户分索引,要么强制加租户过滤条件。答案缓存的 key 也要带权限范围,否则 A 的答案会命中给 B。
评测:分开看检索和生成
只给最终答案打分,你不知道该改索引还是该改提示词。至少分两层:
- 检索召回:准备一批「问题 → 标准片段」的标注,看标准片段是否出现在前 k 条(recall@k)。召回不够,改切块、改检索、加查询改写。
- 回答忠实度:答案里的每句话能否在检索到的片段里找到依据(faithfulness)。召回够了但不忠实,改提示词、加引用核对。
再加一组资料里没有答案的问题,检查系统会不会老实说「没有」。RAGAS 等开源工具可以自动化一部分,但关键场景仍要人工抽检。
RAG 失败时常带着章节号答错,比纯模型的错更难发现。排查顺序:检索到的是不是对的块;对的块里的例外有没有被用上;是不是什么都没检索到,模型用记忆补了。
成本与延迟
- 向量化在离线完成,在线只算问题的 embedding,开销小。
- 在线延迟和费用的大头是:重排的候选数,加上进模型的 token 数。控制好 top-k,两者一起下降。
- 高频问题可以做答案缓存(注意权限范围),流式输出能改善体感延迟。
- 资料更新走增量索引:只重建改过的文档,像缓存失效一样按文档版本号淘汰旧块。
不同雇主问 RAG 的角度
- AI 原生/产品公司:多租户隔离、评测流水线、每次改动后的回归。
- 大厂云与平台(BytePlus、阿里云):平台的知识库和向量检索产品怎么配;什么时候用托管服务,什么时候需要自建链路。
- 咨询与系统集成:资料清洗和治理往往占大部分工时,验收标准要提前写进方案。
- 甲方企业内部(银行保险、地产、基金):权限、文档版本、引用可审计。
面试怎么说
"For policy documents I'd start with RAG, not fine-tuning. The content changes every month, answers need to point back to a clause, and different staff can see different products. I chunk by document structure, run hybrid search, BM25 plus vectors, then rerank down to a few chunks. Permissions are filtered at retrieval time, not after generation. Every claim carries a citation, and if nothing relevant is found, the system says so. I evaluate retrieval recall and answer faithfulness separately, so when something is wrong I know whether to fix the index or the prompt. Fine-tuning is for stable behaviour, like format or when to abstain."
先讲链路,再讲评测怎么分层;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。
自测
- 保单条款每月会改,柜员只能看自己权限内的产品。为什么第一版用 RAG 而不是微调?如果系统带着章节号答错了,你按什么顺序排查?
- 如果面试官来自大厂云平台(如 BytePlus 或阿里云),问的是「怎么帮客户落地一个 RAG」,你的回答和面对甲方保险公司时有什么不同?
参考答案
自测 1
条款会过期,答案要能翻回原文,候选片段要停在这个柜员能看的产品范围内。微调把训练那天的措辞冻进权重,无法引用,也分不清谁能看什么。
带章节号答错,按顺序查:
- 检索:标准片段在不在前 k 条?不在就改切块、混合检索或查询改写。
- 使用:片段对了,例外条款有没有被模型漏掉?改提示词,加引用核对。
- 空检索:是不是什么都没检索到,章节号来自模型记忆?加「无结果就停」的规则。
不要把错句再训练进去。
自测 2
面对甲方保险公司,重点是业务:权限、版本、引用可审计、人复核。
面对云平台,你代表平台帮很多客户落地,重点移到:
- 把平台的知识库、向量检索、重排和评测组件讲清楚,按客户场景配置;
- 判断什么时候托管方案够用,什么时候客户需要自定义切块或混合检索;
- 帮客户建评测集,用召回和忠实度两个指标证明效果;
- 讲清多租户隔离、数据驻留和成本估算,这些是客户采购时会问的。
一句话总结
RAG 让模型先翻你指定的资料再开口,它不会让模型知道一切。 效果取决于切块、检索、重排和权限;出了错,先查检索,再查生成。