AI 科普 AI-05

AI-05

评测(Evaluation)

  • 评测
  • Evaluation

面试在问什么

听到「Evaluation」,面试官很少停在定义。他们接着问:这个 RAG、Agent 或助手,你凭什么判断可以上线?量什么?谁来标对错?提示词、模型、检索或工具改了之后,你做什么?

只说「我们看了几个例子」,偏弱。能讲清一套冻结、带版本的案例,讲 error analysis,再讲清 offline 和 online 各管什么,才像把上线扛在自己身上。这是 Ownership:你对能不能交给客户用负责,不只负责把 demo 跑通。

公开面经里的常见问法就围着这三件转:上线前的证据、改动之后有没有变差、标准是谁签的。

定义

评测(Evaluation,口头常说 evals):在一套事先冻结的案例上,按说好的成功标准,系统地量这个应用达不达标。提示词、模型、检索或工具只要有实质改动,就用同一套再量一次。

量的是这个应用。底座模型在公开榜上的名次,不能拿来代替。

统考分和逐字匹配

MMLU 那一类榜,量的是基础模型在公开题目上的水平,像一份统考成绩。客服机器人能不能上线,要看它在你的材料、你的问题上的表现。榜分高就放行,等于拿错了证据。

同一问往往有好几句都算对。整句字符串匹配会误伤换了说法但意思对的答案,也会放过「看起来像原文、数字是编的」。匹配可以留作其中一条检查,不能单独当标准。

离线集和线上信号

Offline 的冻结集用来抓回退:你一改,它告诉你哪条坏了,作用和回归测试、单元测试一样。Online 的信号用来估真实出错率:用户点踩、转人工的比例、进来的工单。两套解决的问题不一样,都要有。

手挑的十条很容易被记住,也很容易过拟合。十条里过了九条,不能当成生产质量。集要盖住你在意的失败,而且先冻住。不能每次跑之前,按当天的输出改题。

出错分析

打分表不要凭空先写。顺序是:

  1. 读 trace。见 可观测性。这次检索到哪几段、模型说了什么、调了哪个工具、停在哪一步。
  2. 给失败起名字。例如「该拒没拒」「引用串到别的条款」「工具名对、参数错」。
  3. 数每种名字出现多少次。
  4. 改系统里对得上的那一处。
  5. 用同一套案例重跑。

名字要具体到能改。「回答质量不好」等于没看。这就是 error analysis。

程序检查和人工

能写成断言的,交给程序。便宜,而且每次重跑都一样:

  • 该有引用的回答带了引用,引用能点回原文。
  • 材料里没有的问题,系统拒绝,不补一句像条款的话。见 幻觉。
  • 工具名落在白名单里,参数形状也对。
  • 没有未经授权的建议:不承诺批核,不报一个材料里没有的限额。

说法好不好,程序覆盖不全。交给人看,或交给 LLM-as-a-judge。评判模型可以用,前提是先拿人工标签校准过。问法尽量是过或不过,并给它看过好例子和坏例子。1 到 5 分、以及一句没有依据的「这句对不对」,都不要盲信。

有些案例必须人标。标的人是营运或合规,不能只有工程师。工程师知道系统会怎么错,不一定知道条款怎么算对。这套被标过的案例,就是 golden set。

版本对齐

案例集、提示词、模型各自留版本。换模型、改提示词、改检索、加工具,都重跑。对不上版本的两个分数,不能拿来比。

检索、回答、Agent

RAG 不要只看回答漂不漂亮。检索和最终答案分开量:该中的片段在不在,回答里每一句有没有依据(groundedness),有没有材料不支持的说法。分层做法见 RAG。

Agent 同一任务可以走很多条路。任务有没有做成、步骤查得对不对、步数和费用有没有变差,三层写在 智能体。这里不把那三层再写一遍。换模型或改提示词之后,那组案例同样重跑。

一间虚拟银行

虚构的香港虚拟银行。助手只根据已经签署的产品说明和 FAQ 回答,例如每日转账上限、开户要带哪些文件。下面的金额是编的,不代表任何机构。

冻结集里至少放四类:

  • 能答,且必须引用。 「这个账户每日转账上限是多少。」答案指向 FAQ 那一条,并带得出处。
  • 必须拒绝。 问一条文档里没有的优惠。正确行为是说资料里没有,不编一个利率。
  • 容易顺着问法编。 文档写每日 HK100,000」。按文档答,不改口。
  • 一条边界。 客户要助手直接发起转账,或替银行做一句承诺。写操作和对客户的说法,没有人签过通过标准,就不能自动判过。

预期行为由营运或合规标注。工程师可以提议案例,不单独写标准答案。

集和复核的人意见不一致:改这条标准,或者改系统。不要悄悄删案例。删掉的往往是下一次会在线上出事的那条。

换一类雇主

  • AI 原生/产品公司:这套设施就是产品的一部分。offline 和 online 一起看,error analysis 一直做,不是上线前赶一次。
  • 大厂云与平台:帮客户把他们自己的成功标准写下来。平台给出的毒性分、「幻觉分」只是初筛,不能拿来当客户的验收。
  • 咨询与系统集成:客户签过字的 golden set 和通过线,写进范围和验收。先交一块量得了的,再谈做大。
  • 甲方企业内部(银行保险、地产、基金):留下谁签了这套集、为什么这次改动被放行。审计时版本、结论和签字要对得上。

面试怎么说

"I treat evals as regression tests for this product, not a leaderboard score. I freeze a versioned set: answer with a citation, refuse when the docs don't cover it, and a few traps where the model invents a limit. Ops or compliance label what should happen. Engineers don't write the gold answers alone. Code catches a missing citation, the wrong tool, or advice nobody authorized. Open wording goes to a person, or to an LLM judge only after it matches those labels, as pass or fail. I read traces and name the failure modes before I write a rubric. Every prompt, model, or retrieval change reruns the set. Thumbs-down and escalations estimate the live error rate."

先说这是这个应用的回归测试,再说谁标注、改完怎么重跑;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

自测

  1. 一间虚拟银行的 FAQ 助手要上线。冻结集里你会放哪四类案例?标准答案由谁标?十条里过了九条,你还缺哪两样才谈得上能上线?
  2. 如果面试官来自云平台团队,客户拿着平台的「幻觉分」说助手可以验收了,你会怎么把标准拉回客户自己的场景?
参考答案

自测 1

四类:文档里能答、必须带引用;文档里没有、必须拒绝;问法在引诱模型改数字或编条款;至少一条边界,例如发起转账或对客户做出承诺。后一类没有人事先签过的通过标准,就不能自动判过。

标注人是营运或合规。工程师可以提议案例,不单独写标准答案。

十条里过了九条,只说明这十条没被改坏,而且很容易是挑着写的。还缺两样。第一,一套从真实出错整理出来的冻结集:读过 trace,给失败起过名字,盖住这些失败,带版本,每次改提示词、模型、检索或工具都重跑。第二,线上信号,点踩、转人工、工单,用来估计真实出错率。

自测 2

平台分数可以当筛子:明显的毒性、空泛的胡编,先滤掉。验收要拉回客户自己的业务。请客户的营运或合规签一套他们的案例:该引用的、该拒绝的、容易编数字的,以及不能自动放行的写操作。通过线写在这套案例上。平台分数过了、客户的案例没过,仍然不能验收。

一句话总结

评测是针对这个应用的回归测试,不是模型榜的分数。 先看真实出错,再用冻结场景集量,改完就重跑;线上反馈才能估真实出错率。

延伸观看

  1. LLM Evals: Common Mistakes — Hamel Husain 与 Shreya Shankar 的一场讲座:区分基础模型榜与应用评测,并讲常见错误。

在 GitHub 上查看源文