AI 科普 AI-01

AI-01

AI 幻觉(Hallucination)

  • 幻觉
  • Hallucination

面试在问什么

FDE 面试很少让你背幻觉的分类。常见的追问就一句:模型答错了怎么办?

好的回答不承诺「不会错」。它讲清三件事:错了怎么发现,错句怎么挡住,最后进系统的那句话由谁负责。

定义

幻觉(Hallucination):模型生成看起来合理、但错误或没有依据的内容。工程上分两类就够:

  • 事实性错误:和真实世界不符。例如报出一个条款里没有的等待期天数。
  • 忠实性错误:和你给它的材料不符。例如总结产品手册时,多写了一条手册里没有的除外责任。

业务里最伤人的是第三种表现:资料不够,模型仍给一句让人安心的「可以」。

为什么调低温度不够

模型的目标是生成最可能的下一个词,不是查证后再开口。温度调低只会让输出更稳定,稳定地错也是错。

OpenAI 2025 年的论文 Why Language Models Hallucinate(Kalai 等)给了一个实用的解释:常见评测只分对错,「我不知道」和答错一样得零分,所以模型被训练成倾向于猜。落到产品上就两条:系统规则里把「资料里没有」当成合法结果;评测集里放进无法回答的问题,答「不知道」不扣分。

用后端的话说:宁可返回 404,也不要返回 200 加一份编出来的 payload。

工程上怎么挡

按投入产出排序:

  1. 先检索再回答。答案限定在给定材料里,见 RAG 检索增强生成(RAG)。
  2. 强制引用。每条结论带来源编号,前端能点开原文。没有引用的句子不展示,或标为「未核实」。
  3. 生成后核对。用规则或第二个模型检查每句话能否在引用片段里找到依据(groundedness / NLI check)。不过关就降级成「资料里没有」。
  4. 确定性数据走工具。金额、日期、状态从接口取,不让模型凭记忆说,见 工具调用(Tool Calling)。
  5. 抽样一致性。同一问题采样几次,答案分歧大说明模型没把握。SelfCheckGPT(Manakul 等,2023)就是这个思路。成本和延迟会成倍增加,适合离线评测或高风险问题。
  6. 人复核。进客户档案、合同或对外承诺的句子,人确认后才落库。模型输出是草稿,不是审计记录。

上线后,把「无引用回答率」「核对失败率」「用户纠错次数」当成和 5xx 一样的指标盯。

换一类雇主,重点怎么移

同一句「模型错了怎么办」,四类雇主想听的层次不一样:

雇主类型最怕的错你该讲的重点
AI 原生/产品公司(语音 AI、LLM 平台)产品在大量用户面前答错,影响续约评测集、回归测试、上线后的指标;语音场景里 ASR 识别错误会叠加到回答上
大厂云与平台(BytePlus、阿里云)客户把应用的错算到平台头上用平台的检索、护栏、评测能力帮客户配好;讲清平台和客户各自的责任边界
咨询与系统集成(Deloitte 等)交付后在审计或合规检查里出问题验收标准、风险清单、可追溯的引用和日志
甲方企业内部 FDE(银行保险、地产、基金)错句进了客户档案、合同或投资报告权限内检索、无来源就停、人复核后才落库

面试怎么说

"I don't promise the model will never be wrong. I design the system so wrong answers get caught before they matter. First, answers are grounded in documents the user is allowed to see, and every claim carries a citation. Second, after generation I check each claim against its source. If it isn't supported, the system says the documents don't cover it. Third, numbers and statuses come from APIs, not from the model's memory. Fourth, anything that goes into a customer file is reviewed by a person. Then I track the unsupported-answer rate like an error rate, with a test set that includes questions that have no answer."

先讲「怎么发现、怎么挡、谁负责」,不要从分类讲起;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

自测

  1. 一家保险公司的内部 FDE 团队问:「模型要是答错了怎么办?」用三到四层说出你的方案。
  2. 同一个问题,如果面试官来自语音 AI 创业公司(AI 原生),你的回答重点要怎么改?
参考答案

自测 1

不承诺模型不出错,讲分层防线:

  • 检索限定在这个用户有权看的材料里,每句结论带可点开的引用;
  • 生成后核对引用,对不上就回答「资料里没有」,不用参数记忆补一条像条款的话;
  • 金额、进度这类数据走接口;
  • 进客户档案前有人复核,模型输出不算审计记录。

加分项:评测里把「不知道」当成允许的结果,并监控无引用回答率。

自测 2

防线还是那几层,重点从「审计和复核」移到「规模化质量」:

  • 有评测集和回归测试,每次换模型或改提示词都重跑;
  • 上线后按租户、按场景看幻觉率和用户纠错;
  • 语音链路要分清错误来自 ASR 识别还是模型生成,两段分开评测;
  • 实时语音对延迟敏感,重的核对(如多次采样)放离线评测,在线只留轻量规则和引用检查。

人工复核也不会每句都做,只对高风险意图(退款、改订单)设人工或二次确认。

在 GitHub 上查看源文