AI 算法 ALG-01

ALG-01

线性回归:用一条直线预测一个数

  • 入门
  • 回归

面试频率金融场景高;纯公式推导在 FDE 面经里少见

招聘切入

香港的 FDE 职位说明很少要求推导线性回归。它们更常写的是:把数据和业务对上,解释为什么这个方案够用,说清数字从哪来。

所以这一篇练的不是推导,而是把线性回归当成连续值预测的可解释基线来讲:先用一条直线把问题跑通,再决定要不要上更复杂的模型。

适用场景

目标是一个连续的数:保费、额度、处理天数、销量。你大致相信「特征变一点,目标也按差不多固定的比例变一点」。

  • 需要解释系数:车龄每多一年,预测保费大约多多少港元;
  • 需要一个能核对的基线,用来衡量后面的复杂模型有没有真提升;
  • 数据量不大,或者要快速交第一版。

后端工程师其实早就用过它:按 QPS 估算需要多少台机器,本质就是一条直线。

不适用场景

  • 目标是类别(贷款批不批、是不是欺诈)→ 用逻辑回归。
  • 特征之间有明显交互(「年轻且开旧车」的风险不是两个效应简单相加)→ 加交互项,或换树模型。
  • 异常值多又没处理:最小二乘会被极端点拉歪。
  • 想说因果:系数大只说明相关,不说明这个特征导致了结果。

场景

一家保险公司的核保同事说:「根据车龄和过往索赔,帮我估一下明年保费大概多少。」她要一个金额,还要能向客户解释为什么是这个数。

动手前先问清:预测的是哪一年的保费,算不算折扣,误差多大可以接受,结果是给核保参考还是直接报价。这几个问题决定了模型的边界。

概念

找一条直线,让预测值和真实值的差距整体最小。多个特征时:

  • 是截距,所有特征为 0 时的预测值。「0 岁、0 年车龄」往往没有业务意义,解释时要小心。
  • 是系数:在其他特征不变时, 加 1,预测值大约变化 。

怎么求系数。 用最小二乘:让残差(真实值减预测值)的平方和最小。

可以直接用正规方程一步算出解析解,也可以用梯度下降迭代。特征少时用解析解;特征多、数据大时用梯度下降。

平方带来两个结果:误差函数光滑、好求解;大误差被放大,所以极端值的影响特别大。

怎么评估。 常看三个指标:

  • :比起「直接猜平均值」,模型多解释了多少波动。接近 1 只说明拟合得紧,不说明因果,也不保证对新数据准。
  • MAE:平均差多少港元,最好跟业务讲。
  • RMSE:对大误差更敏感。

一定在留出的测试集上算。数据有时间顺序时,用过去训练、用未来测试,不要随机打乱。训练集上很好、测试集上变差,就是过拟合。

常被追问的坑:

  • 多重共线性:两个特征高度相关(如车龄和车辆估值),系数会不稳定,甚至符号反过来。预测可能还行,但系数不能拿去解释。
  • 正则化:加 L2 惩罚是 Ridge,能缓解共线性;加 L1 惩罚是 Lasso,会把部分系数压成 0,相当于做特征选择。
  • 偏态目标:保费、金额通常右偏,可以先取对数再拟合,这时系数解释成「大约变化百分之几」。
  • 类别特征:车型、地区要做 one-hot 编码。
  • 残差检查:画残差图。残差有明显弯曲说明关系不是直线;残差随预测值越散越开,预测区间就不可信。

香港落地例子

虚构的香港车险核保。用三个特征估计来年保费(港元):驾驶员年龄、车龄、过去三年索赔次数。

预测保费 = 4200 + 80 × 车龄 + 1600 × 索赔次数 − 15 × 年龄

(数字是教学示意,不是任何公司的费率。)

向核保解释:车龄多一年,预测保费大约多 80 港元;多一次索赔,大约多 1600 港元。系数能直接说成业务语言,这是金融保险场景喜欢它的原因。

边界要写清:

  • 它不决定这单保不保、赔不赔,那是分类问题;
  • 模型输出是参考值,不是最终报价,折扣、最低保费、监管要求仍由业务规则处理;
  • 如果年轻司机开旧车的风险明显高于两个效应相加,要加交互项或换模型。

不同雇主问到它,角度不一样。甲方银行保险看重可解释和边界;AI 原生公司和云平台更关心它作为基线:复杂模型或大模型必须在同一测试集上明显赢过这条直线,才值得增加的成本和不可解释性;咨询公司则会关心你怎么把系数和误差讲给客户的业务方听。

面试怎么说

"If the target is a number, like a premium or handling days, I start with linear regression as a baseline. It's fast and each coefficient becomes a business sentence: one more claim adds about this much to the predicted premium. I check it on a time-based holdout using MAE, and I look at the residuals. I watch for correlated features, because then the coefficients can't be trusted for explanation, and I'd use Ridge if needed. It doesn't approve or reject anything, and a high R-squared isn't proof of cause. A more complex model has to beat this baseline on the same test set to earn its place."

用一个具体系数举例比讲公式有用;用客户习惯的语言(粤语或普通话)讲清楚,用英文把结论写下来。

小练习

一家银行要做三件事。哪一件适合用线性回归做第一版?另外两件为什么不适合?各用一句话说明。

  1. 估计这张信用卡下个月大概要还多少钱
  2. 决定这笔贷款批不批
  3. 把客户分成高、中、低价值三群,事先没有分群标准

自测

  1. 为什么常用平方误差而不是绝对误差?这会带来什么缺点?
  2. 甲方银行的面试官问「你会用线性回归吗」,和大厂云平台(如阿里云)的 FDE 面试官问同一句,你的回答应该有什么不同?
参考答案

小练习

  1. 适合。 应还金额是连续值,可以先用线性回归做可解释的基线。
  2. 不适合。 批不批是分类问题,用逻辑回归或树模型。
  3. 不适合。 没有标签的分群是聚类问题,例如 K-Means。

自测 1

平方误差光滑、可导,有解析解,好优化;同时把大误差放大,让模型更在意偏得远的点。

缺点也来自平方:少数极端值(录入错误、超大保单)就能把直线拉歪。所以要先清洗异常值,或改用对异常值不敏感的损失,例如 Huber 损失或绝对误差。

自测 2

面对甲方银行:落到具体业务数字(额度、处理天数),强调系数可解释、能当第一版基线,并主动划清边界:不用它做审批,不把 当因果,有共线性时不解释系数。

面对云平台:你要帮很多客户落地,重点放在基线和流程上。先用线性回归建立对照,再用平台上的 AutoML 或更复杂的模型,在同一时间切分的测试集上比较 MAE。讲清数据准备、特征处理和上线后的监控,而不是推公式。

延伸观看

  1. Linear Regression, Clearly Explained!!! — StatQuest with Josh Starmer 的解说:用最小二乘拟合直线,再讲 。
  2. Multiple Regression, Clearly Explained!!! — 同一作者的续集短解说:特征多于一个时,直线怎么读。

下一篇:逻辑回归(ALG-02)——目标变成「批 / 不批」时用它。 · 回到索引

在 GitHub 上查看源文