AI 算法 ALG-12
ALG-12
过拟合与正则化:训练得越好,不一定越能用
- 中等
- 模型训练 / 泛化(通用方法)
面试频率高:基础面几乎必问过拟合是什么、怎么发现、怎么缓解;FDE 面经里多是讲清验证集和正则化的思路,推导少见
招聘切入
面试官问过拟合,想听的不是定义,而是:你怎么发现模型在背答案,发现后手上有哪几招。
这一篇练三件事:说得清训练误差和验证误差分开看、说得清 L1 / L2 正则化各在惩罚什么、说得清除了正则化还有哪些办法。
FDE 现场常见的是客户拿着「训练集准确率 99%」来问为什么上线后不行。甲方企业内部(银行保险)会追问验证怎么切、有没有时间泄漏;AI 原生 / 产品公司更关心早停、数据增强和回归测试怎么做。
适用场景
- 模型复杂度高、样本相对少,训练指标漂亮但验证指标差
- 特征很多、彼此相关,想让模型更稳或自动筛掉不重要的特征
- 需要在「拟合得准」和「换批数据还能用」之间做取舍
不适用场景
- 模型本身太简单、训练误差就很高(欠拟合):加正则化只会更差,应加特征或换更灵活的模型
- 数据质量有问题(标签错、口径变了):正则化治不了这个
- 没有独立的验证集:先把验证方法做对,再谈调正则强度
场景
一间香港虚拟保险公司,用两千份历史理赔做欺诈识别,带了八十个特征。数据团队训练出的模型在训练集上几乎全对,放到下个月的新理赔上,命中率明显掉下来。这就是典型的过拟合:模型把训练集里的偶然噪声也当成了规律。
概念
一句话:过拟合是模型在训练数据上很好、在没见过的数据上差;正则化是在损失里加一个「复杂度罚款」,逼模型别太花哨。
怎么发现。 把数据分成训练集和验证集,同时看两条曲线。训练误差一路下降、验证误差先降后升,拐点之后就是过拟合。欠拟合则是两者都高。
正则化。 在原来的损失上加惩罚项, 越大惩罚越重:
- L2(Ridge)惩罚权重的平方,倾向把所有权重一起压小,但很少压到恰好为零
- L1(Lasso)惩罚权重的绝对值,容易把不重要特征的权重压到恰好为零,相当于顺带做特征筛选
不是模型自己学出来的,要用验证集(或交叉验证)去选。
其他常见办法。 多收数据;减少特征或降低模型复杂度(树减深度、网络减层);早停,验证误差不再降就停;神经网络里用 dropout;数据增强。
容易踩的事。 第一,用测试集反复调 ,等于把测试集也「训练」了,要另留一份没碰过的。第二,使用 L1 / L2 前要把特征标准化,否则量纲大的特征被罚得不公平。第三,时间序列要按时间切分,不能随机切,否则未来信息泄漏进训练集。第四,正则化减少方差,同时会增加一点偏差,要在两者之间取舍。
香港落地例子
虚拟保险理赔欺诈识别。下面的数字都是教学示意,不是任何机构的数据。
- 无正则化:训练集命中率 98%,验证集 71%,差距 27 个百分点,明显过拟合
- 加 L2, 取中等:训练集 90%,验证集 82%,差距缩到 8 个点
- 取太大:训练集 74%,验证集 73%,两边都低,变成欠拟合
- 换 L1:八十个特征里约二十个权重变成零,验证集 81%,业务同事更容易看懂「留下了哪些特征」
怎么交给业务:
- 按时间切分:用前几个月训练,用后一个月验证,贴近上线后的真实情况
- 用交叉验证选 ,最后在没碰过的测试集上只报告一次
- 同时给训练和验证两个指标,写清差距
- 上线后继续监控,口径或客户群变了要重新评估
同一个想法,换一类雇主,侧重不同:
| 雇主类型 | 为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 甲方企业内部(银行保险、地产、基金) | 样本少、特征多,监管要求稳定可审 | 按时间切验证,用 L1 / L2 保持模型简单稳定 | 只拿训练集指标汇报 |
| AI 原生 / 产品公司 | 模型大、数据有限,容易背答案 | 早停、dropout、数据增强,并保留回归测试 | 反复盯着测试集调参 |
| 大厂云与平台 | 客户自己训练,常见「线下好线上差」 | 给客户讲清验证集怎么切、怎么看两条曲线 | 只给一个调参模板,不解释原因 |
| 咨询与系统集成 | 客户拿着漂亮的演示结果来验收 | 要求看验证口径和时间切分,做小范围复测 | 直接接受演示指标 |
面试怎么说
面对银行内部 FDE 岗的面试官,大约可以说:
“Overfitting means the model has memorized noise in the training data, so it looks great there but fails on new data. I detect it by comparing training and validation error: if training keeps improving while validation turns up, that is the sign. To reduce it I can add regularization, which puts a penalty on large weights. L2 shrinks all weights smoothly, while L1 can push some to exactly zero, so it also selects features. I choose the penalty strength with cross-validation, split by time when the data is a time series, and I keep a final test set untouched. If both errors are high, that is underfitting, and more regularization would make it worse.”
现场用客户习惯的语言(粤语或普通话)讲清楚「模型背答案,所以要分开看训练和验证,再用正则化压一压」;验证口径和时间切分方式,用英文写进确认邮件或方案。
小练习
下面三种情况,各是欠拟合、过拟合还是正常?各用一句话说出理由,并给一个对策。
- 训练准确率 95%,验证准确率 60%
- 训练准确率 62%,验证准确率 60%,两个都很低
- 训练 88%,验证 85%,业务可接受
自测
- L1 和 L2 正则化有什么区别?各适合什么时候用?
- 面试官说:「假设你在一间咨询公司,客户给你看一个演示,说模型准确率 99%,要你验收。」你怎么问、怎么判断?
先写完再打开。
参考答案
小练习
- 过拟合。 训练远高于验证。对策:加正则化、减少特征、早停或多收数据。
- 欠拟合。 两者都低,说明模型没学到规律。对策:加特征或换更灵活的模型,减小正则化强度。
- 基本正常。 差距小、水平业务可接受,继续监控即可。
自测 1
L2 惩罚权重平方,把权重整体压小,很少压到零,适合特征都有一点用、相关性强的情况。L1 惩罚绝对值,容易把权重压到恰好为零,适合想自动筛特征、让模型更好解释的情况。答到「L2 整体压小;L1 可到零 + 做特征筛选;用验证集选强度」即算完整。
自测 2
先问这个 99% 是在哪份数据上测的:训练集还是没碰过的测试集;数据怎么切,是否按时间切;有没有标签泄漏;类别是否极不平衡(欺诈这类,99% 可能只是全猜「正常」)。再要求用一批客户最近的新数据复测,同时看召回率和误报,而不只看准确率。答到「问清测试集口径 + 时间切分 / 泄漏 + 类别不平衡 + 新数据复测」即算完整。
延伸观看
- StatQuest: Regularization Part 1: Ridge (L2) Regression — StatQuest with Josh Starmer:用小例子讲清 L2 为什么能减少过拟合。
- StatQuest: Regularization Part 2: Lasso (L1) Regression — StatQuest with Josh Starmer:看 L1 为什么能把权重压到零。
上一篇:神经网络与反向传播(ALG-11) · 下一篇:卷积神经网络(ALG-13) · 回到索引