AI 算法 ALG-01
ALG-01
线性回归:用一条直线预测一个数
- 入门
- 回归
面试频率金融场景高;纯公式推导在 FDE 面经里少见
招聘切入
香港的 FDE 职位说明很少要求推导线性回归。它们更常写的是:把数据和业务对上,解释为什么这个方案够用,说清数字从哪来。
所以这一篇练的不是推导,而是把线性回归当成连续值预测的可解释基线来讲:先用一条直线把问题跑通,再决定要不要上更复杂的模型。
适用场景
目标是一个连续的数:保费、额度、处理天数、销量。你大致相信「特征变一点,目标也按差不多固定的比例变一点」。
- 需要解释系数:车龄每多一年,预测保费大约多多少港元;
- 需要一个能核对的基线,用来衡量后面的复杂模型有没有真提升;
- 数据量不大,或者要快速交第一版。
后端工程师其实早就用过它:按 QPS 估算需要多少台机器,本质就是一条直线。
不适用场景
- 目标是类别(贷款批不批、是不是欺诈)→ 用逻辑回归。
- 特征之间有明显交互(「年轻且开旧车」的风险不是两个效应简单相加)→ 加交互项,或换树模型。
- 异常值多又没处理:最小二乘会被极端点拉歪。
- 想说因果:系数大只说明相关,不说明这个特征导致了结果。
场景
一家保险公司的核保同事说:「根据车龄和过往索赔,帮我估一下明年保费大概多少。」她要一个金额,还要能向客户解释为什么是这个数。
动手前先问清:预测的是哪一年的保费,算不算折扣,误差多大可以接受,结果是给核保参考还是直接报价。这几个问题决定了模型的边界。
概念
找一条直线,让预测值和真实值的差距整体最小。多个特征时:
- 是截距,所有特征为 0 时的预测值。「0 岁、0 年车龄」往往没有业务意义,解释时要小心。
- 是系数:在其他特征不变时, 加 1,预测值大约变化 。
怎么求系数。 用最小二乘:让残差(真实值减预测值)的平方和最小。
可以直接用正规方程一步算出解析解,也可以用梯度下降迭代。特征少时用解析解;特征多、数据大时用梯度下降。
平方带来两个结果:误差函数光滑、好求解;大误差被放大,所以极端值的影响特别大。
怎么评估。 常看三个指标:
- :比起「直接猜平均值」,模型多解释了多少波动。接近 1 只说明拟合得紧,不说明因果,也不保证对新数据准。
- MAE:平均差多少港元,最好跟业务讲。
- RMSE:对大误差更敏感。
一定在留出的测试集上算。数据有时间顺序时,用过去训练、用未来测试,不要随机打乱。训练集上很好、测试集上变差,就是过拟合。
常被追问的坑:
- 多重共线性:两个特征高度相关(如车龄和车辆估值),系数会不稳定,甚至符号反过来。预测可能还行,但系数不能拿去解释。
- 正则化:加 L2 惩罚是 Ridge,能缓解共线性;加 L1 惩罚是 Lasso,会把部分系数压成 0,相当于做特征选择。
- 偏态目标:保费、金额通常右偏,可以先取对数再拟合,这时系数解释成「大约变化百分之几」。
- 类别特征:车型、地区要做 one-hot 编码。
- 残差检查:画残差图。残差有明显弯曲说明关系不是直线;残差随预测值越散越开,预测区间就不可信。
香港落地例子
虚构的香港车险核保。用三个特征估计来年保费(港元):驾驶员年龄、车龄、过去三年索赔次数。
预测保费 = 4200 + 80 × 车龄 + 1600 × 索赔次数 − 15 × 年龄
(数字是教学示意,不是任何公司的费率。)
向核保解释:车龄多一年,预测保费大约多 80 港元;多一次索赔,大约多 1600 港元。系数能直接说成业务语言,这是金融保险场景喜欢它的原因。
边界要写清:
- 它不决定这单保不保、赔不赔,那是分类问题;
- 模型输出是参考值,不是最终报价,折扣、最低保费、监管要求仍由业务规则处理;
- 如果年轻司机开旧车的风险明显高于两个效应相加,要加交互项或换模型。
不同雇主问到它,角度不一样。甲方银行保险看重可解释和边界;AI 原生公司和云平台更关心它作为基线:复杂模型或大模型必须在同一测试集上明显赢过这条直线,才值得增加的成本和不可解释性;咨询公司则会关心你怎么把系数和误差讲给客户的业务方听。
面试怎么说
"If the target is a number, like a premium or handling days, I start with linear regression as a baseline. It's fast and each coefficient becomes a business sentence: one more claim adds about this much to the predicted premium. I check it on a time-based holdout using MAE, and I look at the residuals. I watch for correlated features, because then the coefficients can't be trusted for explanation, and I'd use Ridge if needed. It doesn't approve or reject anything, and a high R-squared isn't proof of cause. A more complex model has to beat this baseline on the same test set to earn its place."
用一个具体系数举例比讲公式有用;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。
小练习
一家银行要做三件事。哪一件适合用线性回归做第一版?另外两件为什么不适合?各用一句话说明。
- 估计这张信用卡下个月大概要还多少钱
- 决定这笔贷款批不批
- 把客户分成高、中、低价值三群,事先没有分群标准
自测
- 为什么常用平方误差而不是绝对误差?这会带来什么缺点?
- 甲方银行的面试官问「你会用线性回归吗」,和大厂云平台(如阿里云)的 FDE 面试官问同一句,你的回答应该有什么不同?
参考答案
小练习
- 适合。 应还金额是连续值,可以先用线性回归做可解释的基线。
- 不适合。 批不批是分类问题,用逻辑回归或树模型。
- 不适合。 没有标签的分群是聚类问题,例如 K-Means。
自测 1
平方误差光滑、可导,有解析解,好优化;同时把大误差放大,让模型更在意偏得远的点。
缺点也来自平方:少数极端值(录入错误、超大保单)就能把直线拉歪。所以要先清洗异常值,或改用对异常值不敏感的损失,例如 Huber 损失或绝对误差。
自测 2
面对甲方银行:落到具体业务数字(额度、处理天数),强调系数可解释、能当第一版基线,并主动划清边界:不用它做审批,不把 当因果,有共线性时不解释系数。
面对云平台:你要帮很多客户落地,重点放在基线和流程上。先用线性回归建立对照,再用平台上的 AutoML 或更复杂的模型,在同一时间切分的测试集上比较 MAE。讲清数据准备、特征处理和上线后的监控,而不是推公式。
延伸观看
- Linear Regression, Clearly Explained!!! — StatQuest with Josh Starmer 的解说:用最小二乘拟合直线,再讲 。
- Multiple Regression, Clearly Explained!!! — 同一作者的续集短解说:特征多于一个时,直线怎么读。
下一篇:逻辑回归(ALG-02)——目标变成「批 / 不批」时用它。 · 回到索引