AI 科普 AI-08

AI-08

嵌入与向量检索(Embedding)

  • 嵌入与向量检索
  • Embedding

面试在问什么

知识库引用了错的条款,面试官很少停在「我们用了向量数据库」。他们接着问:错在检索还是生成?余弦分高为什么还会找错?条款号、粤语、换一个嵌入模型,你分别怎么处理?

只说「先嵌入,再按相似度取前几条」,偏弱。能把找错的原因拆开,并用召回率@k 决定改切块、改过滤还是改重排,才像 FDE:你对送进模型的那几块负责。

整条链路——检索之后怎么生成、怎么引用、无结果怎么停——在 RAG。这篇只讲检索这一层为什么会把错块送上去,以及这一层怎么调。

公开面经里的常见问法就围着这几件转:文本怎么变成向量、余弦在比什么、为什么要关键词加向量再重排、切块和过滤怎样把对的块挤掉、换嵌入模型要不要重建索引、召回率@k 怎么验收。

定义

嵌入(Embedding):用一个模型把一段文字变成一串数字,也就是向量。训练里见过的相近说法,向量的方向会接近。检索时拿问题的向量,去库里找方向最接近的几块。

相似度常用余弦(cosine)。它比的是两个向量的夹角,不是这段话是不是答案。夹角越小,余弦越接近 1,只说明在这个模型眼里两者像。模型没怎么见过的说法,可以和人对「像」的判断差很远。

两个向量都归一成单位长度时,余弦和点积是同一件事。面试讲到「方向像不像」就够。

块一多,逐条比太慢。向量库用近似最近邻(ANN,approximate nearest neighbor)先缩小范围。HNSW 是常见的一种图索引:上层跳得稀,下层再走近邻。它用一点漏检换速度。参数收得太狠,标准块会掉出前 k。面试点到这里:这是近似索引,漏检要在你自己的标注集上量,不要只信默认参数。

查询用的嵌入模型必须和入库时是同一个。向量空间换了,旧数字和新数字不能放在一起比。

为什么会检索错

余弦找的是「像」,不是「对」。下面几件会让标准块进不了前 k,或被更像、但不该用的块挤掉。

切块切坏了。 按固定字数切开,一条条款和它的除外会分家。块太大,两个产品的话挤在一起,向量变成两件事的平均,哪边都不像。块太小,主句在、例外在下一块,问题只打中主句。表格和扫描件解析错了,向量是从错的字来的。

元数据没在取前 k 时滤掉。 产品线、生效版本、语言、谁能看,是检索条件。先在全库取前 k,再丢掉别的产品,名额可能已经被别的产品占满。停售版本、别的产品线,就这样排上来。权限不能等生成后再挡,这点和 RAG 相同;这里只把它当成检索条件。

词和意思各有盲区。 向量对口语和同义改写较稳,对条款号、产品代码、数字不稳,「4.2」和「4.3」可以很近。关键词检索(BM25)正好相反。只走一路,就会稳定地找错一类问题。

问法和库里的字不是同一种中文。 条款多半是书面繁体或简体。柜面和客服常夹着粤语口语、繁简混写、中英夹杂,例如「等几多日先赔」「waiting period 几耐」。嵌入模型如果主要在书面普通话和英文上练过,这些问法的向量会偏,余弦高的可能是另一段也出现「住院」的文字。简繁不要默认一定靠近:语料只是一种字形时,入库前可以统一,再量一次。粤语口语和中英夹杂不能靠一次简繁转换解决。评测如果只用和条款同文的书面题,召回会好看,上线就掉。

向量空间换了还在比。 换嵌入模型、改维度,或换了不兼容的模型版本,新旧向量不在一个空间。只重嵌新文档、旧块留着,前 k 会乱。查询向量也必须来自当前这一个模型。

找错块,不要先去微调生成模型。微调钉的是语气、字段和拒答,见 微调。它不会把切丢的除外接回来,也不能按版本把旧条款换掉。

检测

先把检索和回答分开。最终那句话错了,你不知道该改索引还是改提示词。要看的进展是:标准块有没有更稳定地出现在前 k,不是换了一个更贵的向量库。

做法和 评测 同一条门闩,标签不同。这里标的是「问题 → 应命中的块」,不是「问题 → 一句好答案」。

召回率@k(recall@k):看标准块有没有出现在前 k 条。只有一个标准块时,它出现就算这题召回,召回率是召回到的题数除以题数。有多块时,要说清你是「有一块就算」还是「每块都要在」。换了算法还沿用旧数字,两次结果不能比。

k 要和你真正往下送的条数对齐。至少看两层:

  • 宽的 k,重排之前的候选。这里不够,标准块没进候选。改切块、过滤或混合检索。
  • 窄的 k,重排之后留下的几条。宽的够、窄的不够,改重排,或看候选里是不是挤进了不该比的产品。

两层都够了,答案仍错,才去看生成和引用,见 RAG。

集要在上线前冻结,并留版本。不要用和条款原文几乎一样的书面题充数。粤语口语、繁简、中英夹杂、条款号、已停售版本,各留几题。通过线由熟悉条款的人一起定。工程师可以提议案例,不单独宣布检索已经够好。

缓解

先让对的块进得来,再让它排到前面。

  1. 按文档结构切。 标题、条款、除外、表格各成一块。块上带标题路径和版本,例如「住院医疗 / 等待期」。块之间只留一点重叠,避免例外被切掉。
  2. 检索时过滤。 产品、生效版本、语言、权限在取前 k 时生效。停售版本默认不进候选。
  3. 混合检索。 BM25 接条款号和代码,向量接同义和口语。两路的分数不能直接比,排名用 RRF(Reciprocal Rank Fusion)这类方法合并。问法离条款很远时,改写给向量用,原句里的条款号和产品代码仍留给 BM25。改写是缓解,不是把粤语题从评测集里删掉。
  4. 重排(rerank)。 第一轮多取一些,再用把问题和候选放在一起打分的模型(常见是 cross-encoder)留下几条。重排比余弦准,也更贵,只对这一小撮候选用。对的块没进候选,重排看不见。
  5. 换嵌入模型就整库重做。 全部块用新模型重嵌,重建索引,查询改走同一个模型,再用同一套冻结集看召回率@k 有没有掉。不要新旧向量混在一个索引里。
症状先看通常改什么
条款号、产品代码找错,口语题还行BM25 有没有接上混合检索,不要只靠向量
书面题能中,粤语或中英夹杂不中这几类在冻结集里的召回查询改写;或换在这些问法上量过的嵌入模型,然后整库重建
命中了别的产品或旧版本过滤是不是在取前 k 时生效检索条件里加上产品和版本
宽的 k 有、窄的 k 没有重排前后的名单改重排,或收紧过滤
换模型后全面变差库里是不是还留着旧向量整库重嵌,再建索引

香港落地例子

虚构的香港保险公司,内部知识库给核保和客服查条款。对外不构成承保承诺。虚拟银行的产品说明是同一刀法:费率表会换版,嵌入不能把旧版和现行版放在一起比。物业报修也一样。业主说「厕所爆水」,库里写的是「卫生间漏水」,会在这一层找错。下面不编召回数字。

条款按章节切。主责任、除外、等待期各成一块,块上有产品代码、生效日期、语言。已停售的产品默认滤掉。

客服打进一句粤语:「住院等几多日先有得赔。」库里的书面句子是「等待期为三十日」。只靠向量,可能排上来另一份也在讲住院、但等待期不同的产品。BM25 对「等几多日」也不稳,因为这几个字不在条款里。他们把改写后的「住院 等待期」交给向量,原句里若有条款号就留给 BM25,两路合并后再重排,留下的块带上条款编号。改写失败或候选为空,就说条款库里没有,不让生成模型凭记忆补一个天数。天数怎么引用、怎么拒答,仍按 RAG。

有人提议换成「更懂中文」的嵌入模型,旧条款先留着,新单用新模型。这不行。两套向量不能放在一起比。上线步骤是:整库用新模型重嵌,重建索引,查询改走新模型,冻结集重跑。集里要有这句粤语,也要有「waiting period 几耐」这种夹杂。召回掉了就先不上。

也有人提议把整本保单微调进生成模型,检索以后再做。分界和 微调 一样:条款会改,答案要能指回某一版,柜员只能看自己的产品线。这些都不是权重该记的。检索层先用召回率@k 证明标准块在前 k 里。

换一类雇主

保险写在上面。另外几类用同一套检索,最容易找错的点不同:

雇主嵌入容易找错的你要钉住的
物流运单号、港口代码被向量看成「差不多」单号走 BM25;延误原因的口语走向量。航线、日期在取前 k 时过滤
公营柜面市民的粤语或中英夹杂,对不上书面指引评测集用真实问法。资格和收费以现行公开版本为准,旧版滤掉
AI 产品或方案公司多家客户共用一个索引,或换模型时只重嵌一部分按客户切开,或强制加上客户过滤。换模型就这家整库重建,用这家自己的召回集验收

大厂云与平台卖的是托管向量库。要替客户问清:嵌入模型谁选、换模型时重建算谁的、过滤能不能在检索时做、近似索引的漏检怎么在客户的集上量。咨询与系统集成把切块规则、过滤字段和召回率@k 写进范围。交给客户的是这套题过不过,不是「向量库已经接上」。

面试怎么说

"When the assistant cites the wrong clause, I check retrieval before the prompt. An embedding turns text into a vector. Cosine similarity only says two texts point the same way, not that the chunk answers the question. Clause numbers stay on BM25, paraphrases stay on vectors, then a reranker keeps a few. I chunk by clause and filter product and version while searching. Cantonese, traditional characters, and mixed Chinese-English often miss a formal policy, so those questions sit in the eval set. A new embedding model means I re-embed every chunk and rebuild the index. Old and new vectors are not in the same space. The gate is recall at k on a frozen set of question and gold chunk."

先说找错了先查检索,再说余弦不等于答对;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

小练习

仍是上面那间虚构的保险公司。同事报了三句「答错了」。哪一句先查检索层里的混合?另外两句为什么先不改嵌入模型?各用一句话。

  1. 问「条款 4.2 的等待期」,引用了 4.3。两段正文都很像。
  2. 标准块已经在重排后的前几条里,回答仍把「三十日」说成「即日」。
  3. 书面题的召回很好。客服用粤语问「住几多日先有得赔」,标准块不在前 k。

自测

  1. 这间保险公司的条款库。为什么余弦分高还不等于找对了条款?换嵌入模型之后,要做完哪几步才谈得上能再验收?宽的召回率@k 够、窄的不够,你改哪里?
  2. 如果面试官来自物流公司,知识库要同时查运单号和延误原因。向量和 BM25 各扛什么?只把余弦分调高、不做航线和日期过滤,会错在哪?
参考答案

小练习

  1. 先查混合检索。 向量把 4.2 和 4.3 看成差不多。条款号要靠 BM25 接上,再和向量合并、重排。只换嵌入模型,编号仍然可能糊。
  2. 先不改嵌入。 标准块已经在窄的前 k 里,检索这层过了。错在生成没用上这块里的天数。改提示词和引用核对,见 RAG。
  3. 先不改嵌入模型。 书面召回好看,是因为集里没有这句粤语。先把这句冻进集,做查询改写再量。换模型要整库重建,不是第一刀。

自测 1

余弦只说明在这个模型里方向接近。另一份产品的住院段落,或 4.3 而不是 4.2,都可以分很高。找对没有,要看标准块在不在前 k,以及过滤有没有把别的产品和旧版本排除。

换模型之后做完四步才谈验收:整库用新模型重嵌,重建索引,查询改用同一个模型,冻结集重跑召回率@k。集里要有条款号、粤语、繁简和中英夹杂。召回掉了不能上。新旧向量不能混在一个索引里。

宽的够、窄的不够:标准块进了候选,但重排没把它留住,或候选里挤了不该比的块。改重排,并检查产品和版本是不是在取前 k 时就滤了。不要先去改切块,也不要先去微调生成模型。

自测 2

运单号、港口代码走 BM25。延误原因的口语和同义说法走向量。两路再合并、重排。

只拉高余弦、不过滤航线和日期,会把别的航线或旧日期里「也在讲延误」的段落排上来。单号仍可能和邻近单号糊在一起。过滤是检索条件,要在取前 k 时生效。验收仍是这家自己的召回率@k,单号题和口语题分开看。

一句话总结

嵌入把文字变成向量,余弦只说明方向像,不说明这块答对了。 检索找错,先看切块、过滤、混合和问法;换嵌入模型就要整库重建。验收看召回率@k,不看一场演示。

延伸观看

  1. What is a Vector Database? Powering Semantic Search & AI Applications(IBM Technology) — 从嵌入讲到相似检索和索引:块多了不能逐条比,近似索引用速度换一点漏检。
  2. What are Word Embeddings?(IBM Technology) — 把「意思相近,向量就靠近」讲清楚。检索用的是整段嵌入,不是一词一向量,方向是同一件事。

在 GitHub 上查看源文