AI 科普 AI-15
AI-15
人工在环(Human-in-the-Loop)
- 人工在环
- Human-in-the-Loop
面试在问什么
虚拟银行助手已经能查余额、检索产品说明书。同事说:「转账和投资建议会转人工,所以是安全的。」面试官很少停在这句话。他们接着问:转给谁?系统有没有真的停下来等?人在确认时看到的是收款人、金额和影响范围,还是一句「模型建议执行」?每个请求都要人点一下,柜员会不会直接全开?约定时限内没人点,系统是取消、升级,还是自己执行了?
只说「有人工确认」,偏弱。能讲清人工在环是一次设计好的暂停——状态要存住、人要看到足够的上下文、超时要有去处、批准要留下记录——才像 FDE。
公开面经里的常见问法就围着这几件转:哪些动作必须等人、哪些不该打扰人、如何避免橡皮图章式的确认、暂停之后怎么恢复、转人工替代不了什么。
怎样在模型外面自动拦截或改道,见 护栏。怎样给工具做校验和鉴权,见 工具调用。这篇只讲:什么时候必须把人请进流程,以及怎样把「等人」做成可执行的一步,而不是口头上的安全网。
定义
人工在环(Human-in-the-loop,HITL):在自动化流程里,把某一步设计成必须由合格的人做出判断。系统在此暂停,展示足够的上下文,接收批准、驳回、改写或补信息,然后再恢复或改道。
它解决的不是「公司里有人看着」。墙上挂着值班表,不等于这一笔转账被看过。人工在环要能回答四件事:
- 谁在环里。 是当前客户本人确认,还是持牌同事、主管、值班柜员?三种人的权限和责任不一样。
- 在哪一步停。 通常是写操作、对外发送、给出投资建议或改结论之前,而不是整段对话结束后再翻日志。
- 人要看什么、能做什么。 至少看到要执行的动作、关键字段、依据和影响范围;可以批准、驳回、改字段,或把对话接手。
- 停了之后状态去哪。 会话、待执行的工具参数、已经检索到的依据,都要存在程序里。人可能过一会儿才点,不能靠一次还没结束的模型调用一直挂着。
和向用户追问「你的账户是哪一个」不是同一件事。追问是把槽位补全;人工在环是把责任明确交给一个有权限的人。有时这个人就是用户自己(确认转账摘要),有时是内部同事(投资建议、改地址、拒赔)。
和护栏差在哪
护栏 在输入、检索、工具和输出这些关口上自动拦截、改写或改道。它不等人。遇到「这是投资建议」或「收款人不在已核名单」,护栏可以把请求挡住,或改道到人工队列。
人工在环是改道之后发生的事:人必须看见上下文并做出决定,流程才继续。护栏决定「要不要停给一个人」;人工在环决定「这个人怎样接手、怎样恢复」。
| 程序护栏 | 人工在环 | |
|---|---|---|
| 谁在执行 | 代码、规则或分类器 | 事先指定的合格人员 |
| 典型动作 | 拦截、掩码、拒答、改道 | 批准、驳回、改字段、接手对话 |
| 停下来了吗 | 自动完成,请求可以马上结束或改道 | 必须暂停并等待;状态要持久化 |
| 失败时 | 漏拦或误拦 | 人可能看漏、超时,或习惯性全点同意 |
| 它替代不了 | 鉴权、检索、写入前该有的人 | 鉴权、护栏、评测。人不是万能补丁 |
两层通常要一起用。没有护栏,所有问题都丢给柜员,队列会被灌满。没有人工在环,护栏只能拒答或丢掉请求,写操作仍然没有合格的人签字。
也不要把「模型在回复里写了『建议您咨询理财经理』」当成已经转人工。那只是一句话。真正的转人工要创建工单或会话移交,原助手停止继续执行写操作。
四种常见接法
不是每个应用都要四种全上。先按风险选一种,再解释为什么其他的没有。
- 执行前审批。 转账、发结单到新邮箱、改地址、宣布拒赔。程序准备好参数,人看到摘要后点批准或驳回。批准后由程序执行,不让模型再改一次收款人。
- 改了再跑。 人可以改金额、备注、收款账户,再批准。改过的字段要再走一遍校验,并以系统已核数据为准。不能只信模型填的值,也不能只信人随手改的自由文本。见 结构化输出 和 工具调用。
- 对话移交。 投资建议、投诉、身份有疑。助手停止自动回复,把已查明的事实和未完成步骤交给持牌同事或值班人员。移交后原循环不要继续调写工具。
- 事后抽查。 低风险、可撤销、或只读但需要质检的动作,先执行,再按规则进入抽查队列。这不是审批,不能拿来覆盖转账。它的价值是发现系统性问题,并喂给 评测。
还有一种不该算人工在环的做法:把所有日志丢进一个没人看的邮箱。没有队列、没有时限、没有处理人,就只是存档。
它适合什么,不适合什么
先问:这一步的影响范围,是否大到值得让一个合格的人停下来看一眼。
适合:
- 不可逆或很难撤回的动作:转账、对外发信、删除、改官方记录。
- 对外承诺:投资建议、理赔结论、承诺批复日期。
- 政策边界和含糊请求:护栏不确定该拦该放,或一句话可以有两种合法解释。
- 新工具、新路由刚上线,冻结案例还不够,先收紧,再按数据放开。
不适合(或不应当成已经做完):
- 只读查询也要人点一次。余额、本行产品利率、营业时间被拖住,助手就没有人用。
- 用「全部要确认」代替分层。确认太多,人会无脑点同意,门闩名存实亡。
- 用人工在环代替鉴权。柜员再认真,也不该批准「用共享账号查别人的余额」。
- 用人工在环代替评测。人可以拦住单笔坏请求,发现不了系统性的误拦、幻觉和工具失败率。见 评测。
- 假设模型的「自信程度」可靠。模型说自己有把握,不能单独作为自动执行的理由;更稳妥的是规则、校验失败或护栏触发后再转人。
一条实用规则:按动作的影响范围分层,而不是按「这是不是 AI」一刀切。只读自动跑,中风险、可撤销的可以事后抽查,高风险在执行前停住。
确认疲劳和超时
人工在环会坏在人这边,也会坏在等待这边。
- 确认疲劳。 每个请求都要点一次,值班的人很快会把确认当成过场。验收时不能只看「确认率很高」,还要看人有没有改过错误字段、有没有驳回过不该执行的请求。演练集里要有该批准的和该驳回的。
- 上下文不够。 画面上只有「批准执行转账」。人没有看到收款人是否在已核名单、金额是否超过该客户限额、依据是哪一条指令。看不到这些,批准就没有意义。
- 超时没有去处。 人在开会,夜班没人。必须事先写明:超时是取消、升级到下一级,还是保持暂停并告知用户「仍在等待同事」。「超时就自动执行」只适用于你明确接受其风险的低影响动作,转账和对外承诺不在此列。
- 状态没存住。 一次请求挂着等柜员,服务重启或会话过期,待执行的参数就丢了。暂停必须把状态写到可恢复的存储里,恢复时用同一笔幂等键,避免人点两次变成转两笔。见 工具调用。
检测
先看一笔高风险请求有没有在执行前真正停住,再听产品怎么宣传「有人工确认」。
要看的是:该停的动作有没有在程序里停、确认画面上有没有关键字段和依据、批准或驳回是谁在什么时间做的、人改过的字段有没有再走一遍校验、超时走的是哪条事先写好的路、移交之后原助手有没有还在调写工具。不要把「回复里写了请咨询经理」当作已经转人工。
要看的进展是:高风险动作没有在无人确认时自动执行;抽查能发现并驳回错误提议;确认队列的等待时间在约定时限内;日志里能复现「提议 → 人的决定 → 执行或取消」。
香港落地例子
延续上一篇那间虚构的香港虚拟银行客户助手,接柜面和手机咨询。
第一类请求自动跑,不进人工队列:已登录客户问「我的港元储蓄余额」,走只读账户查询。问「这笔定期的利率是多少」,检索该产品说明书,答案附出处;检索为空就拒答。这类请求如果也要柜员点确认,高峰时队列会堵死。
第二类请求要在执行前停住。客户说「把三万港元转到这个已核账户」。助手可以准备转账摘要:金额、收款人、是否已核、是否超限额。画面给客户本人做确认(这是用户在环里);新收款人或高额再升级到额外验证,而不是模型说一声「已转好」。同事要求「帮我把结单发到这个新邮箱」,发信工具在程序里停住,收件人必须是系统里已验证的地址;未验证的,交给有权限的同事处理,不能只听那句话。
第三类请求要移交,而不是让柜员点一下「批准回答」。客户问「我是不是该把定期转成某只基金」。这是投资建议。护栏 应在进模型或出答案前改道,创建给持牌同事的工单,附上已经查明的账户类型和客户原话。原助手停止继续答「我觉得可以」。移交不是审批一句话,是把责任交出去。
上线前两边都要演练。该自动走的:余额、本行利率、营业时间。该停给客户确认的:已核收款人的转账。该升级或移交的:新收款人、投资建议、把结单发到未验证地址。再演一笔:确认画面上金额被改成一个对不上系统限额的数,程序应拒绝或要求按已核字段重填,而不是按改错的数执行。最后演超时:约定时限内没人点,用户看到的是「仍在等待确认」,系统没有自己转出。
换一类雇主
虚拟银行写在上面。另外几类用同一把尺子,题目不同:
| 雇主 | 通常要停给人的 | 你要钉住的 |
|---|---|---|
| 保险公司 | 拒赔或承诺会赔;把抽取结果写入案件;对外向客户发结论 | 收据抽取可自动,但结论等人。人改过的字段要再校验。病历不进无关人员的确认画面 |
| 物流 | 改地址、放货、赔偿承诺 | 查单只读可自动。改地址对照系统已核字段,放货要有权限的人批准并留下记录 |
| 公营柜面 | 代提交申请、按过期指引做出承诺 | 解释已检索的公开指引可自动。缺材料就列清单。提交必须由办事人或授权同事确认 |
| AI 产品或方案公司 | 默认「全自动智能体」作为卖点,却把确认藏在日志里 | 默认按动作风险分层。确认队列、时限和审计要作为可配置能力交给客户,而不是演示里的一个按钮 |
大厂云与平台常把「人工审批工作流」做成一项可开通的服务。要替客户问清:暂停时状态存在哪、谁来收队列、超时默认是什么、人改的字段如何回写、日志里有没有客户资料。
咨询与系统集成把「哪些自动、哪些审批、哪些移交、超时怎么处理」写进范围。客户签字的是这套分层和案例过不过,不是「界面上有一个确认按钮」。
甲方企业内部的银行、保险、地产、基金,和上面这间虚拟银行是同一刀法:按影响范围分层,执行前停住的必须真的暂停,批准要可追溯。
智能体 里的人工门闩,指的就是这一层:模型只能提议,人确认后由程序执行。智能体还要把「转人工」写成停止条件,移交后不要继续循环。
面试怎么说
"Human-in-the-loop means the system is designed to pause for a qualified person, not that someone could later read the logs. A guardrail can block or divert automatically. HITL is what happens after that divert: we persist the state, show the person the action, the key fields, the evidence and the blast radius, and we only resume or hand off when they approve, reject, edit, or take over. In a virtual-bank assistant, read-only balance and in-house product-rate questions stay automatic. A transfer pauses for the customer to confirm a system-checked summary; a new payee or a high amount steps up. Investment-advice questions are handed to a licensed colleague, and the assistant stops making write calls — that is a handoff, not an approved reply. If every request needs a click, people rubber-stamp and the gate disappears. Timeouts must be explicit: cancel or escalate, never silently execute a transfer. HITL does not replace authentication, guardrails, or evaluation."
先把「公司里有人」和「这一步被设计成暂停」拆开,再说谁在环里、什么自动走、什么要移交;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。
小练习
仍是上面那间虚构的虚拟银行。同事报了三句「已经有人工在环」。哪一句其实只是模型说的一句话?哪一句会让确认变成走过场?哪一句在超时后做错了?各用一句话。
- 系统提示写了「如涉及转账或投资建议,请提醒客户咨询经理」。同事认为这就是转人工,可以上线。
- 为了安全,余额查询、产品利率和转账全部要柜员点确认。上线一周后,几乎每次都是同意,几乎没人驳回。
- 转账在确认画面停住了,但约定时限内没人点,系统按原参数自动执行,以免客户等待。
自测
- 这间虚拟银行。程序护栏和人工在环差在哪?为什么「本行港元储蓄利率是多少」不该进审批队列?为什么回复里写「请咨询理财经理」还不能算已经转人工?
- 如果面试官来自保险公司,理赔助手要抽收据字段,并偶尔对照条款判断是否排除项。和这间虚拟银行的客户助手相比,哪一类请求仍然可以自动跑,哪一步必须停给人?超时策略会有什么不同?
参考答案
小练习
- 其实只是模型说的一句话。 约束写在系统提示里,模型可能提醒,也可能不提醒;就算写了「请咨询经理」,也没有工单、没有移交、写操作仍可能继续。上线前要把转账停在确认画面,把投资建议交给持牌同事。
- 会让确认变成走过场。 只读查询和转账挤在同一条队列里,人很快会习惯性全点同意。该自动走的不要进审批;演练集里还要有该驳回的请求。
- 超时后做错了。 转账是高风险动作,约定时限到了应取消或升级,并告知用户仍在等待,不能为了减少等待就自动执行。
自测 1
差别:护栏是模型外面的自动检查,可以拦截、改写或改道,不必等人。人工在环是改道之后的暂停:合格的人看到上下文,批准、驳回、改写或接手之后,流程才恢复或改道。状态要存住,决定要留下记录。
「本行港元储蓄利率是多少」是产品查询,该检索说明书并附出处。它没有不可逆的副作用,进审批队列只会拖慢柜面,并稀释真正需要人看的转账和移交。
回复里写「请咨询理财经理」只是一句话。真正的转人工要创建工单或会话移交,附上已查明的事实,并且原助手停止继续执行写操作。
自测 2
仍可以自动跑的:收据字段抽取、查案件状态、检索到条款原文并展示。这些是只读或可校验的中间步骤,但抽取结果要做格式和业务校验,见 结构化输出。
必须停给人的:把排除项写成案件结论、承诺会赔、向客户发出结论。条款对照必须先检索到原文,人看到出处后再签字,不能先让助手对外承诺。
超时会更偏「保持暂停或升级」,而不是取消了事。客户在等一个理赔结论,取消会把案件晾在半路;但也不能超时就自动宣布是否赔付。银行转账超时可以取消这笔指令,让用户再确认一次;保险这边要把待审结论留在队列里,并升级到下一个有权限的人。验收用这间公司自己的案件,不要拿银行的转账案例来交差。
一句话总结
人工在环是一次设计好的暂停:合格的人看到足够的上下文,批准、驳回、改写或接手之后,流程才恢复或改道。 「回复里建议去找经理」不是转人工。确认太多会变成橡皮图章;超时不能悄悄执行高风险动作。它替代不了鉴权、护栏和评测。
延伸观看
- LangGraph interrupt: Making it easier to build human-in-the-loop agents — LangChain 对 interrupt 的短介绍:把状态存住,才能在人批准、修改或驳回之后从同一点恢复。看的是「暂停—持久化—恢复」这一层,不必绑定某一个框架。