AI 科普 AI-13
AI-13
推理模型(Reasoning Models)
- 推理模型
- Reasoning Models
面试在问什么
理赔工作台要判断「这次洗牙算不算保单排除项」。同事说:「换一个推理模型,它会先想清楚再回答,准确率就上去了。」面试官很少停在这句话。他们接着问:这题要的是想得更久,还是先把条款原文取回来?多出来的思考时间,客户柜面等得起吗?模型写下的推理步骤,能不能当审计记录交给合规?
只说「推理模型更聪明」,偏弱。能讲清它多买的是测试时计算(test-time compute)——同一道题在推断时多花 token 去写中间步骤——以及这买不到证据、也买不到权限,才像 FDE。
公开面经里的常见问法就围着这几件转:推理模型和普通对话模型差在哪、和提示词里写「请逐步思考」是不是一回事、什么任务值得开、延迟和费用怎么换、思维轨迹能不能当解释。
怎样把材料装进窗口,见 上下文工程。怎样验收对错,见 评测。这篇只讲:模型在回答前多花的那一段计算是什么、什么时候值得买、什么时候不要买。
定义
推理模型(Reasoning Model,有时称 thinking model,也有人叫 Large Reasoning Model,LRM):在普通大语言模型之上,额外训练成会在给出最终答案之前,先生成一段中间推理(reasoning trace / chain of thought)。这段轨迹可能对用户可见,也可能被接口隐藏,只返回摘要或最终答案。
它解决的不是「换一个会思考的架构」。底下多半仍是同一类 Transformer,仍在一个 token 一个 token 地生成。变化主要在训练目标和推断用法:用可验证的奖励(数学、代码这类能对答案的任务)强化「先写步骤再给答案」;推断时允许多花计算,有的接口还让你设置思考预算(thinking budget)。
它不保证中间步骤是对的,也不保证最终答案有依据。条款没检索到,想得再久也是在补故事。要动系统、要对外发送,仍走工具调用和审批,见 工具调用。
和「逐步思考」提示词差在哪
提示词工程 里,你可以在提示词里写「请逐步思考」,或用 few-shot 带上解题步骤。这是用法上的技巧:同一个普通模型,被要求把草稿写出来。它不一定学过「该想多久、想错了怎么回头」。
推理模型把这件事写进训练和默认推断。你不必每次都写那句魔法。接口可能直接给你一个「思考中」的阶段,并让你限制或放宽预算。
| 「请逐步思考」 | 推理模型 | |
|---|---|---|
| 谁在决定想 | 你写在这一次提示词里 | 训练时就倾向先写步骤;推断时可调预算 |
| 没有它时 | 模型可能直接给出一个看起来完整的答案 | 仍是普通对话模型,按提示词生成 |
| 保证到哪 | 不保证步骤有用,更不保证答案对 | 多买了一些推断时计算。不保证有证据、也不保证轨迹可信 |
| 你仍要做的 | 任务拆清、材料给够、验收看答案 | 同一套,外加决定哪些请求才开、预算和时限是多少 |
两层可以叠:难题目用推理模型,提示词仍然要写清口径和输出格式。不要指望换了模型就可以把规格写成「你看着办」。
测试时计算
以前讲缩放,多半指训练时算得更多:更大的模型、更多数据、更长的训练。推理模型把第二只旋钮拧到了推断这一侧:同一组权重,同一道题,允许模型在回答前多生成一些中间 token,有时再采样、校验或比较几条路径。
这就是测试时计算(test-time compute)。它不是免费的:
- 延迟。 柜面助手多想三十秒,客户已经在柜台等着。
- 费用。 中间轨迹也计 token。开给所有请求,账单会先于准确率见顶。
- 窗口。 想得越长,占的上下文越多。装窗仍然要挑,见 上下文工程。
预算不是越大越好。简单抽取题上,多想一截常常没有更好的字段,只是更慢。该把预算花在步骤多、容易算错、而且事后能对答案的题上。
它适合什么,不适合什么
先问这道题缺的是「多一步推演」,还是「把原文取回来」或「按规定格式填好」。
适合:
- 条款和案情要对上好几步:排除项、等待期、是否同一颗牙、是否在保期内。材料已经检索到,缺的是对照和取舍。
- 要先排除几条死路,再给出一个可检查的结论:比如根据已取回的指引,判断申请人缺的是哪一类材料。
- 编程、计算、对得上标准答案的内部工具题——这是这类模型当初被强化得最多的地方。
不适合(或不应作为默认):
- 从收据里抽出日期、金额、诊所名。这是 结构化输出 和校验的事,不需要长推理。
- 条款还没检索到,就要它「先想一想这张保单通常会怎么写」。那是在放大 幻觉。先走 检索增强生成。
- 柜面要在一两秒内回报价或案件状态。状态来自工具,不是来自想得更久。
- 需要可审计解释时,把模型的思维轨迹当作官方理由。轨迹可以看起来很完整,但不必是它真正依据的理由,也不等于条款原文。
一条实用规则:默认走普通模型;只有任务本身步骤多、且你准备好看延迟和费用时,才把这一路过到推理模型。不要把「更聪明的模型」设成整张工作台的默认引擎。
思维轨迹靠不住
模型写下来的步骤,是给自己用的草稿,不是给合规看的记录。
公开讨论里一个反复出现的限制是:轨迹不一定忠实(faithful)。它可能先有一个倾向,再补一套读起来合理的步骤;也可能中途改了主意,却写下另一套理由。所以:
- 评测看最终答案和依据,不要看「步骤写得长不长」。做法见 评测。
- 给理赔员或客户看的理由,应指向检索到的条款、计算过程或系统记录,而不是把隐藏或未校验的思维轨迹直接贴出去。
- 轨迹里可能重写到保单号、病历和身份证。日志、追踪和第三方调试工具要按处理客户资料来对待,不要默认全量外发。
推理模型可以更好用,但它替代不了引用、拒答和人工门闩。
检测
先看一次请求的去向,再听模型怎么解释。要看的是:这题有没有被路由到推理模型、思考预算用了多少、延迟是多少、最终答案有没有带上依据、该拒答的有没有拒、不该开推理的简单题有没有被白白拖慢。
要看的进展是:难的对照题在冻结集上更稳;简单抽取和查询的时延没有被带高;没有依据的题仍然拒答。不是演示时模型把思考过程说得很长。
做法和评测是同一条门闩。标签可以多两个:是否该开推理、开了之后有没有按预算和时限停住。
香港落地例子
仍是一间虚构的香港保险公司,理赔工作台要接两类问题。
第一类:受理员上传一张牙科收据,只要日期、金额、诊所名和是否在保期内。输出必须符合既定 schema,缺字段就转人工。这里用普通模型加结构化输出和校验。若默认开推理模型,多花几秒甚至十几秒,字段不见得更准,柜面却被拖住。
第二类:受理员问「这次洗牙算不算排除项」。工作台先检索这一张保单的排除条款和等待期,把原文放进窗口,再决定要不要开推理模型去做对照:治疗项目、牙齿位置、等待期是否已过。模型给出的结论必须附条款出处;检索为空就拒答,不要让它「按常见保单想下去」。最终是否批,仍由理赔员确认后才写入系统。
同事若把两类请求都切到同一个「最强推理模型」,看起来很先进,账单和柜面等待会先出问题。路由规则写进范围:抽取和状态查询走普通模型;条款对照且材料已经在手的,才允许开推理,并设时限。上线前用冻结集两边都跑:该抽出的字段仍要过校验,该拒答的对照题仍要拒。
换一类雇主
保险公司写在上面。另外几类用同一把尺子,题目不同:
| 雇主 | 通常哪题值得开 | 你要钉住的 |
|---|---|---|
| 虚拟银行 | 已取回规则后,判断一笔交易要不要追加核验问题 | 查余额、转账走工具和普通模型。低时延。轨迹不当作审批理由 |
| 物流 | 多条路线约束下,解释为什么这票货还压着 | 改地址、放货不自动执行。运单状态仍来自系统查询 |
| 公营柜面 | 对照已检索的公开指引,判断缺哪一类材料 | 助手不代提交。过期指引先更新检索库,不要靠模型「想出」现行做法 |
| AI 产品或方案公司 | 把思考预算做成可配置能力,给客户按任务打开 | 默认不要全局开启。按客户切开预算、时延 SLA 和轨迹日志 |
大厂云与平台常把「开通推理模型」当成卖点。要替客户问清:默认预算是多少、能否按路由关闭、轨迹存在哪、超时是截断、降级到普通模型,还是让柜面一直等。
咨询与系统集成把路由规则、时限、拒答和上面两类案例写进范围。客户签字的是冻结集过不过,不是「已经换成推理模型」。
甲方企业内部的银行、保险、地产、基金,和上面这间保险公司是同一刀法:先有材料,再决定想不想;想了也要引用;写入仍等人。
面试怎么说
"A reasoning model is still a language model. What you are buying is test-time compute: it spends extra tokens on an intermediate trace before the final answer. That is different from writing 'think step by step' in a prompt, which is just an instruction to the same ordinary model. On a claims desk I would not turn it on by default. Extracting a receipt date and amount stays on a regular model with structured output and validation. Comparing a dental treatment with an exclusion clause can use a reasoning model, but only after we have retrieved the actual clause. If retrieval is empty, it must refuse, not invent a typical policy. The trace is a scratchpad, not an audit log: we score the answer and the citation, we keep a latency budget, and nothing is written to the core system until the adjuster confirms."
先把「多买推断时计算」和「提示词里让它逐步想」拆开,再说哪些题值得开、哪些题开了只会更慢;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。
小练习
仍是上面那间虚构的保险公司。同事报了三句「已经上了推理模型」。哪一句不该开推理?哪一句缺的是检索,不是更长的思考?哪一句把轨迹误当成了合规材料?各用一句话。
- 收据抽取的平均时延从 1 秒变成 8 秒,字段准确率几乎没变。同事说再加大思考预算就会好。
- 排除项问答没有检索到该保单条款。模型想了很久,按「一般牙科保单」给出了结论。同事觉得步骤完整,可以发给客户。
- 合规希望以后每张拒赔说明都附上模型的完整思维轨迹,作为官方理由存档。
自测
- 这间保险公司。推理模型和「请逐步思考」差在哪?为什么洗牙是否属于排除项可以考虑开推理模型,收据抽字段却不应作为默认?思维轨迹为什么不能直接当作拒赔理由?
- 如果面试官来自虚拟银行,柜面助手要在两秒内返回账户余额,并偶尔判断要不要追加核验。和这间保险公司的理赔对照题相比,哪一道守门相同,哪一件会更早把推理模型关掉?
参考答案
小练习
- 不该开推理,更不该再加预算。 这是结构化抽取。时延已经变差,字段也没更准。应切回普通模型,用 schema 和校验说话。
- 缺的是检索,不是更长的思考。 条款不在窗口里,步骤写得再完整也是在补「一般保单」。应拒答或先取回原文,不能发给客户。
- 把轨迹误当成了合规材料。 轨迹不必忠实,还可能带上客户资料。官方理由应指向条款原文、计算和系统记录。轨迹若要留存,按客户资料管理,不当作审批依据。
自测 1
差别:「请逐步思考」是写在这一次提示词里的用法;推理模型在训练和默认推断里就会先写中间步骤,并可调节思考预算。两者都不保证答案对。
排除项对照是多步取舍,而且可以先把条款原文取回,值得考虑开推理,并设时限。收据抽字段是格式和校验问题,开推理多半只增加延迟。
轨迹是草稿,可能事后编理由,也不能代替条款出处。拒赔理由要引用检索到的条文;写入系统仍要理赔员确认。
自测 2
相同的一道:先有依据再推理。余额必须来自账户查询工具,核验规则要取回现行规定;规则不在窗口里就不要让模型「想出一个常见做法」。轨迹同样不能当审批记录。
会更早关掉推理的是时延。两秒内返回余额,推理模型默认不应出现在这条路径上。追加核验可以另开一条允许更长思考的路由,但仍要有预算和降级,不能让柜面一直等。
一句话总结
推理模型多买的是测试时计算:在给出答案前多花 token 写中间步骤。 它和提示词里的「请逐步思考」不是同一层,也替代不了检索、结构化输出和审批。默认不要全局开启;轨迹是草稿,不是审计记录。
延伸观看
- What Are Large Reasoning Models (LRMs)? Smarter AI Beyond LLMs — IBM Technology 的 Martin Keen 讲大型推理模型和普通 LLM 的差别:先写中间步骤再回答,换来的是更贵、更慢的推断;简单生成题不必开,复杂的多步题才值得买这段思考。