AI 算法 ALG-02
ALG-02
逻辑回归:把分数变成「过 / 不过」的概率
- 入门
- 分类
面试频率银行保险高;手推最大似然在 FDE 面经里少见
招聘切入
上一篇的线性回归预测「一个数」。可银行和保险现场更常丢来的是另一类问题:这单要不要转人工、这笔交易像不像欺诈、这个客户下个月会不会流失。答案只有两种,这就是二分类,逻辑回归是它最常用、最好讲的第一版。
香港 FDE 的岗位说明很少写 “must implement logistic regression from scratch”。更常见的要求是:能把业务问题翻成可以落地的方案、能向非技术同事解释结果、在受监管的场景里讲清楚模型凭什么下判断。所以这一篇要练的不是推导,而是三件事:概率怎么变成决定、阈值由谁来定、样本不平衡时该看什么指标。
最对口的是虚拟银行和保险:批核预审、欺诈预警、理赔转人工都是「是 / 否」。物流可以迁移到「这件包裹会不会延误」,公营柜面可以迁移到「这份申请会不会需要补件」。AI 产品或解决方案公司会问:用大模型做分类之前,你有没有一条逻辑回归基线做对照。
适用场景
逻辑回归适合预测一件事发生的概率,再用阈值把概率变成「是 / 否」。
典型会用到它的时候:
- 目标只有两类:过 / 不过、欺诈 / 正常、流失 / 留存
- 需要一个概率,而不只是一个标签:概率可以排序,先处理风险最高的那一批
- 需要解释每个特征往哪个方向推、推多少,方便合规和业务追问
- 先做一个能核对的分类基线,再决定要不要上树模型或大模型
不适用场景
- 目标是连续值(保费多少、要几天)→ 回到上一篇线性回归
- 特征之间有很强的交叉关系,而你没有手工做交叉特征 → 后面的决策树、梯度提升更合适
- 事先没有标签,只想把客户分群 → 后面的 K-Means
- 想让模型直接替人拒绝申请、不留人工复核:这不是算法能决定的,是业务和合规的边界
场景
一间虚拟银行的信贷同事说:「小额私人贷款的申请太多,审批员看不过来。能不能让系统先挑出风险高的,转给人看,其余走快速通道?」
她要的不是一个金额,而是一个判断:这单转不转人工。她还会追问两句:「为什么这单被挑出来?」以及「会不会漏掉坏账?」第一句考可解释性,第二句考你会不会讲阈值和召回率。
概念
一句话:先像线性回归一样把特征加权求和得到一个分数,再用 sigmoid 函数把分数压成 0 到 1 之间的概率。
- 可以是任何数; 把它变成 0 到 1 之间的概率。 时概率正好是 0.5。
- 概率不是决定。决定靠阈值: 高于阈值就转人工。阈值默认 0.5 只是数学上的习惯,实际由业务按漏报和误报的代价来定。
系数怎么讲人话。 线性回归的系数是「多一个单位,预测值多多少」。逻辑回归的系数作用在对数几率(log-odds)上,讲给业务听时换成几率比:特征多一个单位,「出事 : 不出事」的几率乘以 。系数为正推高风险,为负压低风险。
为什么不用平方误差。 输出是概率,用平方误差训练,损失函数不再是好求最小值的形状。逻辑回归用对数损失(交叉熵,等价于最大似然):真实是「坏账」而模型给出很低的概率时,惩罚非常重。面试里答到「交叉熵 + 对概率模型更合适、好优化」即可,不必手推。
准确率会骗人。 坏账、欺诈通常是少数类。1000 笔申请里只有 20 笔有问题时,模型把所有申请都判成正常,准确率也有 98%,却一笔都没抓到。所以要看:
- 召回率(recall):真正有问题的,抓到了多少
- 精确率(precision):被挑出来的,真有问题的占多少
- 阈值调低,召回率上升、精确率下降;反过来也一样。选哪个点,是业务决定
香港落地例子
虚拟的香港小额私人贷款预审(银行类 FDE 最常见的二分类)。用三个可解释的特征估计「这单会不会逾期」的概率:过去 12 个月逾期次数、负债收入比(每 10 个百分点算 1 个单位)、在现职年数。
一条读得懂的式子(数字是教学示意,不是任何银行的模型):
z = −3.0 + 0.9 × 逾期次数 + 0.6 × 负债收入比(每 10%) − 0.4 × 在职年数
算一单:逾期 2 次、负债收入比比基准高 10 个百分点、在职 0 年。
z = −3.0 + 1.8 + 0.6 − 0 = −0.6,p = 1 / (1 + e^0.6) ≈ 0.35
可以这样对信贷同事讲:多一次逾期,「逾期 : 不逾期」的几率大约乘以 e^0.9 ≈ 2.5 倍;在职每多一年,几率大约乘以 0.67。这单估计约 35% 会逾期。
阈值怎么定,用一张示意表讲清楚(1000 笔申请,其中 20 笔最终逾期):
| 阈值 | 挑出来转人工 | 其中真逾期 | 召回率 | 精确率 |
|---|---|---|---|---|
| 0.5 | 15 笔 | 9 笔 | 45% | 60% |
| 0.2 | 80 笔 | 16 笔 | 80% | 20% |
阈值 0.2 时漏掉的少,但审批员要多看 65 笔误报。信贷部门要的是少漏还是少打扰,由他们和风控决定,FDE 负责把这张表摆出来。
边界也要写清:
- 模型只决定「转不转人工」,不自动拒绝申请。拒绝由人做,理由要能对客户交代
- 训练数据只来自过去被批核的申请(被拒的人没有还款记录),结果会偏,第一版要说明这一点
- 上线后坏账率、申请人结构会变,阈值和模型要定期复核
同类问题换一家公司,答法要跟着变:
| 公司类别 | 招聘或面试里为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 虚拟银行 / 保险 | 批核预审、欺诈预警、理赔转人工都是二分类,还要过合规追问 | 输出概率排序,按阈值转人工,用几率比解释特征 | 让模型直接拒绝申请或拒赔 |
| 物流 | 时效承诺和例外处理 | 预测包裹会不会延误,提前通知客户或调度 | 用它估「会晚多少小时」(那是回归) |
| 公营柜面 | 口径要能审计、流程要能交代 | 预测申请会不会需要补件,提前提示申请人 | 用概率自动退回申请 |
| AI 产品 / 解决方案公司 | 常问怎样证明新方法比旧方法好 | 用大模型或复杂模型做分类前,先留一条逻辑回归基线对照 | 只报准确率,不看样本不平衡 |
面试怎么说
面对银行或保险面试官,大约可以说:
“For a yes-or-no question like whether an application should go to manual review, I would start with logistic regression. It gives a probability, so we can rank cases and send the riskiest ones to a reviewer first. Each coefficient can be explained as an odds ratio, which helps with compliance questions. Accuracy alone would mislead us, because defaults are rare, so I would show recall and precision at a few thresholds and let the credit and risk team choose the trade-off. The model recommends a review; a person still makes the decision.”
现场对信贷或风控同事,用粤语把阈值那张表讲清楚:挑得多就漏得少,但审批员要多看多少单。选定的阈值、复核频率和「模型不自动拒绝」这一条,用英文写进确认邮件或方案。
若面试官来自 AI 产品或解决方案公司,重点换成「对照」:先用逻辑回归交一条能解释的基线,新模型要在同一份测试数据、同样的召回率下精确率更高,才值得它多出来的成本和不可解释性。
小练习
一间物流公司想做三件事。哪一件适合用逻辑回归当第一版?哪两件不适合?各用一句话说出理由。
- 预测这件包裹会不会比承诺时间晚到
- 预测这件包裹会晚到多少小时
- 把收件地址自动分成几个配送片区,事先没有片区规则
自测
- 欺诈交易只占 1%,同事说模型准确率 99%,可以上线了。你怎么回应?
- 同一个逻辑回归模型,在虚拟银行做贷款预审,和在物流公司做延误预警,阈值该怎么定?两边的讲法有什么不同?
先写完再打开。
参考答案
小练习
- 适合。 会不会晚到是二分类,逻辑回归给出延误概率,可以先排序、提前通知。
- 不适合。 晚多少小时是连续值,应该用线性回归这类回归模型。
- 不适合。 没有标签的分片是聚类问题,后面会讲 K-Means。
答到「1 是二分类;2 是回归;3 是无监督分群」即算完整。
自测 1
99% 不说明问题:把所有交易都判成正常,准确率就是 99%,却一笔欺诈都没抓到。要先看召回率和精确率,最好在几个阈值下各列一行,让风控按漏报和误报的代价选。答到「样本不平衡下准确率会骗人 + 改看召回率 / 精确率 + 阈值由业务选」即算完整。
自测 2
虚拟银行那边,漏掉一笔坏账代价高,又受监管,阈值通常偏低、宁可多转人工;讲法重在可解释(几率比)、人工复核和定期复核阈值,模型不自动拒绝。
物流公司那边,误报的代价是多发一条提醒或多做一次调度,漏报的代价是客户投诉;阈值按调度人手和客户体验来定,讲法重在「提前多少时间预警、每天会多出多少单例外」,不太需要合规式的逐个系数解释。
答到「阈值都按漏报和误报的代价来定,但银行强调合规、可解释和人工决定,物流强调运营容量和客户体验」即算完整。
延伸观看
- StatQuest: Logistic Regression — StatQuest with Josh Starmer 的短解说:逻辑回归和线性回归有什么不同,S 形曲线怎么读。
- Logistic Regression Details Pt1: Coefficients — 同一作者的续集:系数为什么作用在对数几率上,怎么解释。
上一篇:线性回归(ALG-01) · 下一篇:决策树(ALG-03)——特征之间有交叉、想要一条条规则时用它。 · 回到索引