AI 科普 AI-11
AI-11
结构化输出(Structured Output)
- 结构化输出
- Structured Output
面试在问什么
模型读完一封理赔邮件,要把保单号、出险日期、类别交给后台系统。演示时它回了一段客气的文字,代码用正则去抠,十次里有一次抠错。面试官很少停在「我们在提示词里写了请输出 JSON」。他们接着问:格式坏了怎么办?字段齐了但值是编的,怎么办?下游系统收到之前,谁来把关?
只说「让模型输出 JSON」,偏弱。能讲清结构化输出分三层——格式合法、字段对得上 schema、值对得上业务——每一层由谁负责、哪一层模型保证不了,才像 FDE:你对写进客户系统的那一行数据负责。
公开面经里的常见问法就围着这几件转:JSON mode 和 schema 约束差在哪、schema 合法为什么仍会出错、校验失败后重试还是转人工、和工具调用是什么关系。
工具调用本身见 工具调用。模型为什么会编值,见 幻觉。这篇只讲:怎么让模型交出程序能直接用的数据,以及交出来之后还要守哪几道门。
定义
结构化输出(Structured Output):让模型按你给的结构(通常是 JSON Schema,或在代码里用 Pydantic 这类类型定义生成的 schema)返回数据,而不是一段自由文字,让下游程序能直接解析、校验、入库。
它解决的是「模型说的话」到「系统能吃的数据」之间那一步。FDE 的大多数 LLM 项目其实不是聊天机器人,而是把邮件、表格、扫描件、对话变成一行行要写进现有系统的记录。这一步不稳,后面整条流水线都不稳。
三种做法,保证程度不同
| 做法 | 怎么做 | 保证到哪一层 | 常见问题 |
|---|---|---|---|
| 提示词要求 | 在提示里写「只输出 JSON,字段如下」 | 什么都不保证,只是提高概率 | 前后多一句客套话、少个括号、键名一次叫 policy_no 一次叫 policyNumber |
| JSON mode | 打开厂商的 JSON 模式 | 保证是合法 JSON | 合法,但字段可能缺、类型可能错、多出没要的键 |
| Schema 约束解码 | 把 JSON Schema 交给接口或推理引擎,生成时只允许符合 schema 的 token | 保证格式合法且结构符合 schema | 结构对了,值仍可能是编的;schema 写得太死还可能逼模型硬填 |
约束解码(constrained decoding)的意思是:模型每生成一个 token,程序先把会让结果违反 schema 的候选全部挡掉。所以括号一定闭合、必填字段一定在、枚举只会出现允许的值。这是「格式保证」,不是「内容保证」。
工具调用和结构化输出是同一类机制:工具的参数本身就是一份 schema,模型填参数就是在做结构化输出。差别只在用途——一个是「我要调这个接口」,一个是「我要交这份数据」。
Schema 合法,为什么还会错
约束解码只管形状。下面这几类它管不了,要靠你的程序:
- 编值。 邮件里没写出险日期,schema 又把它设成必填,模型就会填一个看起来合理的日期。结构完全合法,数据是假的。
- 抄错。 保单号少一位、把投保人当成受保人。格式对,值对不上原文。
- 业务规则。 出险日期晚于报案日期、类别和保单类型不符、金额超出该产品上限。这些是业务规则,不是 JSON 语法。
- 该拒而没拒。 邮件根本不是理赔,是投诉或推销,模型仍然乖乖填满一份理赔单。
所以 schema 设计本身就是防线:原文可能没有的字段设成可空(nullable),并允许模型说「没有」;给一个 needs_review 或「无法判断」的出口;要求每个关键字段附上原文出处,方便核对。和数据格式那一课的思路一样:先过结构校验,再过业务校验,不合格的进隔离区,不直接写库。
校验失败之后
常见做法是两段:
- 自动重试一次。 把校验错误原样交回模型(例如「出险日期晚于报案日期」),让它对照原文重填。适合抄错、漏看这类可修的问题。重试要有上限,不要无限循环。
- 转人工。 重试仍失败、字段缺失、或模型标了「无法判断」,进人工复核队列,附上原文和模型的草稿。写进核心系统的那一下,仍由人或确定性规则放行。
还有两件要记录:每次调用用的是哪一版 schema 和提示词;校验失败率按字段统计。某个字段失败率突然升高,往往是上游表格改了版,不是模型变笨。
检测
验收不看「演示时十份都出了合法 JSON」——开了约束解码,这几乎必然。要看的是值对不对。做法和 评测 同一条门闩:
- 冻结一套带人工标注的原文,按字段算准确率,而不是只算「解析成功率」。
- 集里专门放三类难例:原文缺字段的(应输出空值或转人工,不应编);不属于这个流程的文件(应拒收);新旧两种表格版式混在一起的。
- 改 schema、改提示词、换模型,都重跑这一套。schema 改了字段名或必填规则,下游接口也要一起对。
香港落地例子
虚构的香港一家保险公司。理赔部每天收到大量医疗理赔邮件和附件,助手只做一件事:把邮件抽成一份结构化草稿,交给理赔员复核后再进理赔系统。助手不能批核、不能付款、不能回信给客户。下面不编金额,也不写任何真实机构的条款。
Schema 只放理赔系统真正要的字段:保单号、受保人姓名、出险日期、就诊医院、理赔类别(枚举:门诊、住院、其他)、每个字段的原文出处,以及一个 needs_review 标记。出险日期和医院设成可空,原文没写就留空,不让模型猜。
上线前同事发现两种问题。一是部分邮件是繁体中文夹英文,日期写成「03/04」这种日/月格式,模型有时按美式月/日读成 3 月 4 日,而香港习惯是 4 月 3 日。处理是在 schema 里要求输出 ISO 日期,同时保留原文写法,业务校验再查「出险日期不得晚于报案日期」。二是有客户把投诉信也发到理赔信箱,模型照样填出一份理赔单。处理是在 schema 最前面加一个「文件类型」枚举,不是理赔就停在那里,转给客户服务。
有人提议「既然约束解码保证 JSON 合法,就直接写入理赔系统」。这只保证了形状。验收看的是冻结集上保单号、出险日期、类别逐字段的准确率,以及缺字段时有没有编。写进系统的那一下,仍要理赔员按下确认。
换一类雇主
保险写在上面。另外几类做法相同,最容易出错的字段不同:
| 雇主 | 典型抽取 | 你要钉住的 |
|---|---|---|
| 物流 | 货代邮件、提单扫描件抽成运单记录 | 单位(kg/lb、件/箱)和柜号格式写进 schema;地址变更类字段一律转人工 |
| 公营柜面 | 市民申请表抽成个案记录 | 身份证明类字段只做格式校验不做推断;缺件就标缺件,不让模型补 |
| AI 产品或方案公司 | 给多个客户做同一套抽取平台 | schema 按客户版本化;按字段报准确率给客户签字,而不是报「解析成功率 100%」 |
大厂云与平台常把「保证 JSON 合法」当成卖点。要替客户问清:保证的是格式,不是值。
咨询与系统集成把 schema、业务校验规则和冻结集一起写进范围。客户签字的是逐字段准确率和转人工比例,不是「模型能输出 JSON」。
面试怎么说
"Structured output means getting the model to return data that matches a schema, so code can parse it and write it into an existing system. There are three levels of guarantee. Asking for JSON in the prompt guarantees nothing. JSON mode guarantees valid JSON. Schema-constrained decoding guarantees the shape: required fields exist and enums only take allowed values. None of them guarantees the values are true. If a claim email has no incident date and the field is required, the model will invent one. So I design the schema with nullable fields and a needs-review flag, ask for the source span of key fields, then run business validation, like the incident date can't be after the report date. On failure I retry once with the error message, then route to a human queue. I measure field-level accuracy on a frozen labeled set, not the parse success rate. Writing into the core system still needs a person or a deterministic rule to approve."
先分清格式保证和内容保证,再讲 schema 设计和失败后的去向;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。
小练习
仍是上面那间虚构的保险公司。同事报了三个问题。哪一个约束解码就能解决?哪一个是 schema 设计问题?哪一个要靠业务校验?各用一句话。
- 提示词里写了「只输出 JSON」,但大约每几十份就有一份前面多了一句「好的,以下是结果」,解析报错。
- 一封邮件只写了「上周看了医生」,输出里的出险日期却是一个具体日子。
- 输出格式完全正确,但出险日期比报案日期晚了三天。
自测
- JSON mode 和 schema 约束解码各保证什么、不保证什么?为什么两者都开了,理赔数据仍不能直接写入系统?
- 如果面试官来自物流公司,要从货代邮件抽运单。和保险理赔相比,哪两道做法相同,哪一类字段要额外钉住?
参考答案
小练习
- 约束解码能解决。 这是格式问题。改用 schema 约束解码(或至少 JSON mode),多出的客套话和坏括号在生成时就被挡掉,不用再靠正则去剥。
- schema 设计问题。 出险日期被设成必填,模型只能硬填。应改成可空并允许「原文没有」,或打上
needs_review转人工;同时要求附上原文出处,方便发现这类编值。 - 要靠业务校验。 格式和结构都对,错在业务规则。程序检查「出险日期不得晚于报案日期」,不合格的把错误交回模型重填一次,仍失败就转人工。
自测 1
JSON mode 保证输出是合法 JSON,不保证字段齐全、类型正确。Schema 约束解码在生成时挡掉违反 schema 的 token,保证结构符合 schema(必填字段在、枚举合法),但不保证值是真的。
两者都开了仍不能直接写入,因为编值、抄错、违反业务规则、把非理赔文件也填成理赔单,这些都在格式之外。要靠可空字段与转人工出口、原文出处、业务校验,再用冻结集按字段验收;写进核心系统的那一下仍由人或确定性规则放行。
自测 2
相同的两道:schema 里给缺失字段留空值和转人工出口,不让模型猜;先过结构校验再过业务校验,失败重试一次后转人工,按字段在冻结集上验收。
要额外钉住的是单位和编号格式:重量单位(kg/lb)、件数与箱数、柜号和提单号的格式。把单位和格式写进 schema 与业务校验,并保留原文写法。改收货地址这类会影响实物去向的字段,一律转人工确认。
一句话总结
结构化输出让模型交出程序能直接用的数据,约束解码保证的是形状,不是值。 用可空字段和转人工出口防编值,用业务校验防违规,用冻结集按字段验收;写进客户系统的那一下,仍由人或确定性规则放行。
延伸观看
- Pydantic is all you need(Jason Liu / AI Engineer Summit) — 一场约 18 分钟的演讲:用类型定义代替「求模型别漏逗号」,并讲校验失败后把错误交回模型重试、给不确定的字段留出口。