AI 科普 AI-14

AI-14

护栏(Guardrails)

  • 护栏
  • Guardrails

面试在问什么

虚拟银行要上一个客户助手。同事说:「系统提示已经写了护栏:不要给投资建议,不要泄露客户资料。」面试官很少停在这句话。他们接着问:模型要是不听呢?真正挡住发出去的,是哪一层?你是在用户这句话进来时查,还是在检索块、工具调用、还是答案出去前查?一句「我们的港元储蓄利率是多少」会不会被「禁止谈理财」一起拦掉?

只说「加了护栏」,偏弱。能讲清护栏是模型外面的程序控制——提示词是说明书,护栏是执行——以及误拦和漏拦都要验收,才像 FDE。

公开面经里的常见问法就围着这几件转:系统提示和程序护栏差在哪、要挡在输入、检索、工具还是输出、如何避免误伤正经业务问题、护栏替代不了什么。

怎样把不该当指令的文字停住,见 提示注入。怎样给工具最小权限,见 工具调用。怎样把写操作和转人工做成可暂停、可恢复的流程,见 人工在环。这篇只讲:政策怎样变成关口上的检查,而不是再写一句「请遵守规则」。

定义

护栏(Guardrails):加在大模型应用周围的程序控制。它在输入、检索到的材料、工具调用和输出这些关口上检查、拦截、改写或改道,让这一次请求留在事先写好的政策里。

它解决的不是「让模型更听话」。模型仍然可能越界。护栏要做的是:越界时,这句话进不去、这个工具调不成、这句答案发不出去,或被改成拒答、转人工。

政策可以写在配置、规则引擎或分类器里。工具包各有名字,常见的分法是按关口:输入栏、检索栏、执行栏、输出栏。面试要讲的是你这个应用在哪几道关上了什么,不是背某一个产品的名词。

和系统提示差在哪

提示词工程 里,你可以在系统提示写「不要给投资建议」「不要输出身份证号码」。这是给模型看的说明书。它和用户的话、检索块在同一段上下文里,模型可能听,也可能被换一种说法带跑。见 提示注入。

护栏在模型之外执行。用户那句话可以先被检查再决定要不要送给模型;模型写好的答案可以先被检查再决定要不要给柜员看;工具参数可以由代码对照政策,而不是再问模型「你确定这合规吗」。

系统提示里的约束程序护栏
谁在执行模型自己读,自己决定听不听应用代码或独立检查服务,按规则或分类结果执行
失败时模型可能仍生成违规内容可以拦截、改写、拒答或转人工,不依赖模型认错
保证到哪不保证被遵守保证的是「触发了就按这道门走」。检查本身会漏、也会误伤
你仍要做的把政策写清楚把政策写成可执行的关口,并用冻结案例验收该拦的和该放的

两层通常要一起用。提示词告诉模型这次该做什么;护栏在它不听、或者材料把任务换掉时,把范围收住。不要把「系统提示写了不要」说成已经有护栏。

四道关口

一次请求至少有四个可以设卡的地方。不是每个应用都要四道全上,但要说得出为什么某道没有。

  • 输入。 用户这句话还没进模型。可以挡明显的越狱和注入口气、把话题限制在这个助手该答的范围、掩掉身份证或账户号再记日志。挡掉的请求不必再花一次模型调用。
  • 检索。 送进窗口的段落先当数据。可以丢掉明显带指令的块、掩敏感字段、或不把无权查看的文档送进去。材料怎样不该变成新任务,见 提示注入;怎样取回原文,见 检索增强生成。
  • 工具。 模型说要调哪个工具、参数是什么,先由程序对照权限和名单。只读助手没有转账;转账要额外验证,金额和收款人对照系统而不是对照那句话。见 工具调用。
  • 输出。 答案出去前再查一遍:有没有漏出证件号、有没有给出投资建议、利率有没有附上产品说明书出处。没有依据就拒答,不要靠模型「再检查一次自己」。依据和引用仍要走检索,见 幻觉。

鉴权、会话和最小权限不是护栏的别名,但必须在模型外面。没登录就查别人的余额,不是加一道内容过滤器能补上的。

它适合什么,不适合什么

先问这道政策能不能写成「在某一关检查到某类情况,就执行某个动作」。写得出,护栏才用得上。

适合:

  • 助手只能谈本行已上架的产品,投资建议、代客下单、教人绕过转账限额,要拦或转到持牌渠道。
  • 日志和发给供应商的调试信息里,不能出现香港身份证、账户号、住址。进模型前掩,出来后再扫一遍。
  • 写操作和向外发信必须过名单、参数校验和人工确认,不能只靠模型「同意了」。
  • 对外报利率、限额、收费,必须带上检索到的产品说明书出处;检索为空就拒答。

不适合(或不应当成已经做完):

  • 用一道毒性或敏感词过滤器,宣称「合规已经覆盖」。政策要比字词名单细,而且会过时。
  • 用护栏代替检索来「核实事实」。输出栏可以要求必须有出处,但出处从哪来,仍是 RAG 的事。
  • 用护栏代替鉴权。工具凭证应是当前用户的,权限在程序里收紧。
  • 把栏设得很宽,凡是带「利率」「基金」「转账」的句子一律拦截。正经的产品查询会被误伤,助手就没有人用。
  • 假设分类器或规则不会漏。漏拦和误拦都要进入 评测。

一条实用规则:政策先写成「该拦 / 该放」的例子,再选关口和检查方式。不要先买一个护栏产品,再回头猜政策是什么。

误拦和漏拦

护栏不是开关,是一道会出错的检查。

  • 漏拦(false negative)。 该挡住的投资建议或证件号出去了。这是安全事故。
  • 误拦(false positive)。 「本行港元储蓄利率是多少」被「禁止谈理财」挡下。这是产品事故:柜员不再信任助手,会绕过它。

两者要一起看。演示只放出被拦住的越狱,很容易显得很安全。冻结集里必须同时有该拦的和该放的,改规则或换分类器之后两边都要重跑。延迟也要记:每多一道模型分类,柜面就要多等一会儿。

检测

先看一次请求经过了哪几道关,再听产品怎么宣传「已经有护栏」。

要看的是:该拦的有没有在正确的关口停下、该放的产品问题有没有被误伤、工具有没有在程序里被拒、输出有没有带出处、被拦的请求有没有留下可查的记录(拦了哪一条、为什么、有没有误伤)。不要把「系统提示里写了不要」当作已经通过。

要看的进展是:冻结集上漏拦和误拦都在约定阈值内;写操作仍要人确认的,确认画面还在;日志里没有未掩的证件号。不是演示里模型说了一句「我不能谈论这个」。

香港落地例子

一间虚构的香港虚拟银行要上客户助手,接柜面和手机里的咨询。

第一类问题该放:已登录客户问「我的港元储蓄余额」,走账户查询工具,凭证是这个客户自己的,只读。问「这笔定期的利率是多少」,先检索该产品说明书,答案必须附出处;检索为空就拒答,不要让模型报一个「常见利率」。

第二类问题该拦或改道:客户问「我是不是该把定期转成某只基金」。这是投资建议,不是产品说明。输入或对话关口应拦下,并转到持牌同事,而不是让模型给一句「看起来可以」。有人要求「帮我把结单发到这个新邮箱」,发信工具在程序里停住,收件人必须是系统里已验证的地址,不能只听这一句话。

同事若只在系统提示写「不要给投资建议,不要外发客户资料」,遇到换一种说法的提问,或检索文档末尾夹带的指令,模型仍可能跟着走。护栏要把政策写成关口:话题分类在进模型前就可以挡;工具名单里没有「发到任意邮箱」;输出再扫一遍有没有证件号和没有出处的利率。

上线前用冻结集两边跑。该放的:余额、本行产品利率、分行营业时间。该拦的:投资建议、教人绕过转账限额、查别人的账户、把结单发到未验证地址。改了规则要重跑,不能只看新加的那几条拦截演示。

换一类雇主

虚拟银行写在上面。另外几类用同一把尺子,题目不同:

雇主通常要拦或改道的你要钉住的
保险公司未批先承诺会赔;引用未检索到的条款;病历和身份证进日志抽取和状态查询可放行。结论必须附条款出处。写入仍等理赔员
物流邮件或备注要求改地址、放货查单只读。改地址和放货在程序里确认,地址对照系统已核字段
公营柜面助手代提交;按过期或未检索到的指引答复只解释已检索的公开指引。缺材料就列清单,不代交
AI 产品或方案公司把「已加护栏」做成默认全开的卖点,却没有按客户写政策默认规则要可配置。按客户切开话题范围、PII 规则、工具权限和误拦阈值

大厂云与平台常把护栏当成一项可开通的服务。要替客户问清:默认拦的是什么、能否按路由关闭或收紧、误拦如何申诉、检查发生在输入还是输出、延迟和日志里有没有客户资料。

咨询与系统集成把关口、冻结集和误拦/漏拦阈值写进范围。客户签字的是这套案例过不过,不是「已经接入了护栏产品」。

甲方企业内部的银行、保险、地产、基金,和上面这间虚拟银行是同一刀法:政策先写成该拦该放,关口在模型外面,写入仍等人。

面试怎么说

"A guardrail is a control that runs outside the model. A system prompt that says 'do not give investment advice' is only an instruction. The model may still ignore it, especially if the wording changes or a retrieved document tries to override the task. In a virtual-bank assistant I would put the policy at several checkpoints. An input or topic check can divert investment-advice questions to a licensed colleague before we even call the model. Product-rate questions should still go through: we retrieve the actual product sheet and refuse if retrieval is empty. Tool calls are allowlisted in code: a read-only assistant cannot send a statement to a new email address, and a transfer cannot proceed without step-up verification and system-checked payee details. An output check looks for leaked identifiers and for rates that have no citation. Guardrails will both miss and over-block, so the eval set has to include cases we must allow and cases we must block. They do not replace authentication, retrieval, or human approval before a write."

先把「提示词里的约束」和「模型外面的检查」拆开,再说关口怎么摆、哪些问题该放;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

小练习

仍是上面那间虚构的虚拟银行。同事报了三句「已经加了护栏」。哪一句其实只是提示词?哪一句会误伤正经查询?哪一句把护栏当成了鉴权?各用一句话。

  1. 系统提示写了「不要给投资建议,不要输出客户证件号」。同事认为这就是护栏,可以上线。
  2. 凡是句子里出现「利率」「基金」「转账」的请求一律拦截。上线后,客户问本行定期利率也会被拒。
  3. 内容过滤器没有报警,同事让助手用同一套服务账号去查任意账户余额。

自测

  1. 这间虚拟银行。系统提示里的「不要给投资建议」和程序护栏差在哪?为什么「本行港元储蓄利率是多少」不该和投资建议用同一道宽拦?输出栏为什么仍替代不了检索?
  2. 如果面试官来自保险公司,理赔助手要抽收据字段,并偶尔对照条款判断是否排除项。和这间虚拟银行的客户助手相比,哪一道守门相同,哪一类检查会摆到更靠前?
参考答案

小练习

  1. 其实只是提示词。 约束写在系统提示里,模型可能不听。上线前要把政策写成输入、工具和输出上的检查,并用冻结案例验收。
  2. 会误伤正经查询。 「利率」出现在本行产品说明里是该放的。政策要分清「报本行产品利率」和「给投资建议」,两边都要进冻结集。
  3. 把护栏当成了鉴权。 内容没报警,不等于可以越权查询。余额工具必须用当前客户的凭证,只能查自己的账户。

自测 1

差别:系统提示是给模型看的说明书,和用户的话在同一段上下文里,不保证被遵守。程序护栏在模型之外执行,可以在进模型前、调工具时或答案出去前拦截,不依赖模型认错。

「本行港元储蓄利率是多少」是产品查询,该检索说明书并附出处。和「该不该买某只基金」不是同一类请求。用「禁止谈理财」一刀切,会把该放的一起拦掉。

输出栏可以要求「有利率就必须有出处」,但出处从哪来,仍要先检索。检索为空应拒答,不能靠输出过滤器「看出」一个正确利率。

自测 2

相同的一道:政策在模型外面执行;写操作和对外承诺等人确认;没有依据就拒答;冻结集同时覆盖该拦和该放。

更靠前的检查会不同。银行这边,投资建议和未验证外发往往在输入和工具关口就要停。保险这边,收据抽取可以先走结构化输出和校验;条款对照必须先检索到原文,输出要附出处,不能先承诺会赔。病历和身份证的掩码在进模型、进日志之前就要做。验收用这间公司自己的冻结集,不要拿银行的转账案例来交差。

一句话总结

护栏是模型外面的程序控制:在输入、检索、工具和输出这些关口上,按政策拦截、改写或改道。 系统提示里的「请不要」不是护栏。它会漏拦,也会误伤该放行的问题,要用两边的冻结案例验收。它替代不了鉴权、检索和写入前的人工确认。

延伸观看

  1. Building Safe and Secure LLM Applications Using NVIDIA NeMo Guardrails — NVIDIA Developer 的短介绍:在进模型前挡住不该问的话题和机密问题,对检索后的回答做事实检查,并用几行规则把助手限制在既定范围里。讲的是关口上的程序控制,不只是再写一句系统提示。

在 GitHub 上查看源文