AI 科普 AI-07

AI-07

微调(Fine-Tuning)

  • 微调
  • Fine-Tuning

面试在问什么

听到「微调」,面试官很少停在定义。他们接着问:提示词和检索都试过了吗?你改的是行为,还是知识?训完怎么证明原来会的事没有变差?

只说「我们用领域数据微调了模型」,偏弱。能讲清先提示词、再检索、最后才动权重,并拿出冻结集上的前后对比,才像 FDE:你对客户看到的行为负责,不只负责把训练跑完。

公开面经里的常见问法就围着这三件转:什么时候该微调而不是继续改提示词或做 RAG、LoRA 和全量更新差在哪、怎么发现灾难性遗忘。

定义

微调(Fine-Tuning):在已经训练好的模型上,用专门准备的数据继续训练,更新权重,让它在你关心的行为上更稳。

常见的几种,面试里要分得开:

  • 全量微调:更新全部权重。贵,也更容易把原来的能力冲掉。
  • SFT(Supervised Fine-Tuning,监督微调):用一对对「输入 → 期望输出」来教。期望输出是人标过的,不是模型自己聊出来的。
  • PEFT(Parameter-Efficient Fine-Tuning,参数高效微调):底座权重冻住,只训练一小部分新参数。LoRA(Low-Rank Adaptation)是常用的一种:旁边加一组低秩矩阵。适配器可以单独保存、换掉、回滚。

LoRA 省的是算力和切换成本。数据集如果偏了,行为一样会偏。它减轻遗忘,不保证原来的能力都还在。

它适合解决什么

默认顺序是:先提示词,再 RAG,然后才考虑微调。

  1. 先把任务、边界、格式和拒答写进提示词,必要时加几对对照例子。见 提示词工程。
  2. 知识不在上下文里、会过期、要引用、要按人分权限,就做检索。见 RAG。
  3. 提示词已经写清,该在场的材料也在检索里,语气、格式或拒答仍然不稳,而且你有标好的例子,才考虑 SFT,优先 LoRA。
你要的放哪为什么
语气、字段、拒答、领域里的固定说法微调这是稳定的行为。提示词反复改仍漂,才值得动权重
条款、费率、资格、会改的制度RAG要能更新、能引用、能按权限切开
余额、运单状态、要写入的动作工具调用真相在当时的系统里,不在训练集里

加知识用 RAG。改行为、格式和风格,用微调。两件事可以叠在同一个应用里:检索负责「这句费率从哪来」,适配器负责「这句话怎么说、字段怎么排」。

成本与风险

贵的通常不是那一次 GPU。

  • 数据标注。 要有人写出「这样答才对」。客服主管或合规标业务对错,工程标字段形状。几百对认真看过的,通常比几万对没人看过的有用。样本该多少由场景定,不要先报一个万能数字。
  • 隐私与 PDPO。 通话转写里的姓名、账户号、身份证号是个人资料,受《个人资料(私隐)条例》(第 486 章,常称 PDPO)约束。处理查询时收集的对话,拿去训练要另核用途;能去掉身份就去掉,保留多久写清楚。供应商合约写明:这些数据不得用来训练对方的底座,用完删除。第 33 条的跨境限制尚未生效,用途、保留和保安仍然要守。私隐专员公署的跨境指引是检查清单,不是已经生效的法条。
  • 模型版本。 上线单位是「底座模型标识 + 适配器版本 + 数据快照」,不是一个聊天窗口。供应商换掉或下线这个底座,适配器可能接不上。在新底座上重跑冻结集,必要时重训。
  • 灾难性遗忘。 在很窄的数据上继续训练,权重被拽向新样本,原来会的问答、拒答或格式会变差。冻结集里要留「原来会、现在仍必须会」的题。

怎么验收

和改提示词同一条门闩,做法见 评测。

  • 训练开始前就冻结评测集,并留出版本。不能训完再按当天的输出改题。
  • 集里至少三类:要学会的行为(语气、字段)、必须拒绝的题、底座原来就会的题(用来看遗忘)。
  • 同一套集上对比上线前和上线后:只靠提示词的底座,对上「提示词 + 适配器」。比的是案例过不过,不是训练损失低不低。
  • 训练集里的样本不要拿来当考题。
  • 上线后再看转人工、点踩、工单。那是线上信号,用来估真实出错率,不能代替冻结集。

通过线由营运或合规一起看。工程师可以提议案例,不单独宣布可以上线。

香港落地例子

虚构的香港虚拟银行,电话热线助手。保险热线是同一刀法。下面的数字是编的,不代表任何机构。

对客是一段口语短答,对工单系统是一行 JSON:topic、fee_clause_id、needs_human。费率、资格、未公布的优惠只许来自当月产品说明。说明走检索,片段里没有就说说明里没有,不报一个数。

他们先做了提示词:系统提示写了字段和拒答,加了四对好例子和坏例子。内部抽查大约七成字段齐全。长对话会漏 needs_human,也会把口语收成书面语。

这时才做 SFT,用 LoRA。大约 400 对,从去标识的历史对话里抽,客服主管改到合格才进集。账户号、身份证号、电话号码不进训练集。适配器只学语气、字段和何时转人工。费率句子仍然必须带检索到的条款编号。

保险同事如果想把整本保单训进去、检索拆掉,分界和 RAG 那篇一样:条款会改,答案要能翻回原文,柜员只能看自己权限内的产品。这些都不是权重该干的事。

换一类雇主

虚拟银行和保险写在上面。另外三类用同一条分界,落点不同:

雇主微调用来钉住的不要训进权重的
物流延误说明的固定段落、对内工单字段运费、截件时间、航线、运单实时状态。会变的走检索,此刻的状态走工具
公营柜面缺材料时的固定追问、中英字段对照资格、收费、表格版本。以现行公开指引为准,答案要能指回那一版
AI 产品或解决方案公司产品默认语气、工具参数格式、拒答风格,做成可切换的适配器某一家客户的制度或对话。那是这家客户自己的检索,不能写进给别的客户共用的权重

大厂云与平台卖的是托管微调。要替客户问清:训练数据留多久、会不会用来改进平台底座、适配器归谁、底座下线后怎么迁。咨询与系统集成把标注人、冻结集和回滚写进范围。交给客户的是这套案例过不过,不是训练损失。

面试怎么说

"I fine-tune to lock behaviour the prompt still can't hold: tone, fields, and when to refuse. Facts that change stay in RAG, with a citation. The order is prompt, then retrieval, then a small adapter. I use supervised fine-tuning with LoRA, so the base stays frozen and I can roll the adapter back. Before training I freeze an eval set: the new behaviour, the refusals, and tasks the base model already did well, so forgetting shows up. I compare the prompted base and the adapter on that same set. Training loss is not the gate. Under the PDPO, customer chats are personal data: I minimise and de-identify them, and the vendor must not train their own model on them."

先说决策顺序,再说适配器和冻结集;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

小练习

虚拟银行同事提了三件。哪一件值得考虑微调?另外两件为什么先不做?各用一句话。

  1. 系统提示和四对对照例子已经上线,长对话仍经常漏掉 needs_human,语气也飘回书面语。
  2. 下月手续费表要改,每句金额都要能点回产品说明。
  3. 把过去三年的通话转写全部拿去全量微调,让模型记住客户。

自测

  1. 这间虚拟银行要把语气和 JSON 字段钉稳,费率每月变。什么进微调,什么留在 RAG?冻结集至少放哪三类?训练损失下降了,能不能上线?
  2. 如果面试官来自 AI 产品公司,产品经理说「给每个企业客户微调一个模型,把他们的制度训进去,检索可以以后再做」,你怎么把方案拉回来?
参考答案

小练习

  1. 值得考虑。 提示词和例子已经试过,漂的是语气和字段。这是稳定行为,可以用 SFT 加 LoRA,并用冻结集看有没有变差。
  2. 先不做微调。 费率会改,而且要引用。放进 RAG,说明一换就更新索引。
  3. 先不做。 通话里有个人资料,全量更新也更容易把原来的能力冲掉。「记住客户」解决不了引用和权限。先去标识、核对收集目的,知识仍走检索。

自测 1

进微调的是语气、JSON 字段、何时标 needs_human。留在 RAG 的是费率、资格、未公布优惠:会变,要带条款编号,片段没有就拒答细节。

冻结集至少三类:要学会的语气和字段;必须拒绝的题,例如材料里没有的费率或未公布优惠;底座原来就会、现在仍必须会的题,用来看遗忘。

训练损失下降,只说明模型在训练样本上更贴。上线要看同一套冻结集:提示词底座和加上适配器,前后对比。集里没过,就不能上。

自测 2

客户制度会改,答案要能指回他们自己的条文,还不能串到别的租户。知识放进每个客户自己的检索,权限在检索时切开。

微调如果要做,只做产品默认的语气、工具参数格式和拒答。适配器用版本管,按客户切换,能回滚。不要把 A 客户的条文写进会服务 B 的权重。

验收是这家客户签过的冻结集,上线前和上线后各跑一遍。训练损失不能当通过线。

一句话总结

微调是在已有模型上继续训练、更新权重,用来钉住稳定的行为,不是用来背会改的知识。 先提示词,再 RAG,仍不稳再考虑 SFT 和 LoRA;用冻结集对比上线前后,并看住遗忘、版本和个人资料。

延伸观看

  1. RAG vs Fine-Tuning vs Prompt Engineering: Optimizing AI Models(IBM Technology) — 把提示词、检索和微调放在同一条决策线上讲,适合用来对照:先改说法,再补知识,最后才动权重。

在 GitHub 上查看源文