AI 算法 ALG-03

ALG-03

决策树:把判断写成一条条「如果…就…」

  • 入门
  • 分类 / 回归

面试频率中:常作为可解释规则和树模型基础被问到;手算基尼系数在 FDE 面经里少见

招聘切入

上一篇的逻辑回归把特征加权求和,每个特征各推各的。可现场的业务规则往往是交叉的:金额大而且保单刚生效,才值得多看一眼;同样的金额,老客户就没那么可疑。逻辑回归要你自己把这种交叉做成特征,决策树会自己去找。

香港 FDE 岗位很少要求你手写一棵树。更常见的要求是:把客户脑子里的经验规则和数据对一对,交出一份业务同事看得懂、能审计的方案。决策树刚好落在这里:它的结果就是一串「如果…就…」,可以直接念给理赔主管听。这一篇练三件事:树是怎么挑问题的、树为什么会长歪(过拟合)、怎样把一棵树讲成业务规则。

最对口的是甲方企业内部的 FDE,尤其银行保险:理赔分流、预审规则都要讲得出理由。咨询与系统集成公司常拿它和客户已有的规则引擎做对照。AI 原生 / 产品公司和大厂云平台更多把它当作后面随机森林、梯度提升的基础来问。

适用场景

决策树适合按几个条件一层层分流的问题,结果可以是类别(转不转人工),也可以是数值(大概要几天)。

典型会用到它的时候:

  • 业务本来就是按规则做判断,你想用数据检验、补全这些规则
  • 特征之间有交叉作用,或者关系不是一条直线(金额到了某个门槛才开始有影响)
  • 特征里数字和类别混在一起(金额、渠道、地区),又不想做太多预处理
  • 结果要能逐条解释,甚至要交给合规或审计逐条核对

不适用场景

  • 要的是一个平滑、稳定的概率或数值,数据稍变结果不能大跳 → 单棵树不稳,后面的随机森林、梯度提升更合适
  • 关系本来就接近一条直线,特征也不多 → 线性回归或逻辑回归更简单,也更稳
  • 数据很少、分支又很多:每片叶子只剩几条样本,规则其实是在背数据
  • 没有标签,只想把客户分群 → 后面的 K-Means

场景

一间香港保险公司内部的 FDE 团队接到理赔部的需求:「旅游保险的索偿单太多了。能不能让系统先分一下:简单的走快速理赔,可疑或复杂的转给理赔员?」

理赔主管补了一句:「我们其实有几条老规则,比如金额大的一定要人看。但我不知道这些规则还准不准,也不知道漏了什么。」

她要的不只是一个分数,而是一套她能对着念、能拿去给合规看的规则。这正是决策树的长处。

概念

一句话:反复问「哪一个问题最能把数据分干净」,按答案把数据切成两堆,每一堆再继续问,直到够纯或者到了规定的深度。最后每片叶子给一个结论。

怎样算「分干净」。 分类树常用基尼不纯度(Gini impurity)。一堆样本里第 类占比是 :

  • 一堆里全是同一类,,最纯
  • 两类各一半,,最乱
  • 一个问题把数据分成左右两堆,看两堆按人数加权后的 。哪个问题让加权 降得最多,就先问哪个

另一种常见口径是信息熵和信息增益,思路一样,面试里说「用基尼或熵挑最能降低不纯度的切分」即可。做回归时,叶子给的是这堆样本的平均值,挑切分看的是误差平方降了多少。

树为什么会长歪。 不加限制,树可以一直切到每片叶子只有一条样本,训练数据全对,换一批新数据就不准。这就是过拟合。常用的刹车:

  • 限制最大深度(比如最多问 3–4 层)
  • 每片叶子至少要有多少条样本
  • 先长大再剪枝,剪掉在验证数据上没用的分支

单棵树不稳。 数据换掉一小部分,最上面那个问题就可能变,整棵树跟着变。所以要讲规则时用一棵浅树;要准确又稳定时,用很多棵树一起投票,那是后面随机森林和梯度提升的事。

香港落地例子

虚拟的旅游保险索偿分流。历史上 200 张索偿单,其中 40 张最后被理赔员认定要细查(20%)。数字都是教学示意,不是任何保险公司的数据。

先算整堆有多乱:

G = 1 − (0.2² + 0.8²) = 0.32

候选问题一:索偿金额是否高于 HK$8,000?

高于:50 张,其中 30 张要细查,G = 1 − (0.6² + 0.4²) = 0.48

不高于:150 张,其中 10 张要细查,G ≈ 0.12

加权:0.25 × 0.48 + 0.75 × 0.12 ≈ 0.21

候选问题二:出险日是否在保单生效后 7 天内?

是:20 张,其中 8 张要细查,G = 0.48

否:180 张,其中 32 张要细查,G ≈ 0.29

加权:0.1 × 0.48 + 0.9 × 0.29 ≈ 0.31

0.32 降到 0.21,比只降到 0.31 多得多,所以树先问金额。然后在「金额高」那一堆里再挑下一个问题,比如「出险是否在生效后 7 天内」。最后可以念成这样的规则:

如果金额高于 HK$8,000,而且出险在生效后 7 天内 → 转理赔员

如果金额高于 HK$8,000,出险较晚,单据齐全 → 快速理赔,抽查一部分

如果金额不高于 HK$8,000 → 快速理赔

对理赔主管可以这样讲:老规则「金额大要人看」数据也支持,而且是最先该问的一条;数据还补了一条,金额大又刚投保的单,要细查的比例明显更高。

边界也要写清:

  • 树只决定「转不转人工」,不自动拒赔。拒赔由理赔员做,理由要能对客户交代
  • 树深控制在三四层,每片叶子至少几十张单,否则规则是在背历史数据
  • 索偿结构会变(旅游旺季、新产品),规则要定期用新数据重算,并和旧规则对比改了哪几条

同一棵树换一类雇主,讲法跟着变:

雇主类型为什么会碰到你该怎么用不该怎么用
甲方企业内部(银行保险、地产、基金)理赔、预审、客户分流都有现成的经验规则,还要过合规用浅树检验和补全规则,逐条念给业务和合规听让一棵深树直接拒赔或拒批
咨询与系统集成客户已有规则引擎,项目要交付能落地的规则把树导出成规则,和客户现有规则逐条对比,标出改了什么交一棵客户看不懂、维护不了的大树
AI 原生 / 产品公司产品要先有一条能解释的基线用浅树做基线和特征检查,看哪几个特征真的有用把单棵树当成最终模型,忽略它不稳
大厂云与平台平台上多是现成的树模型服务讲清单棵树、随机森林、梯度提升的分别,帮客户选只会调用服务,讲不出树怎么切

面试怎么说

面对保险或银行内部团队的面试官,大约可以说:

“When the business already works with rules, like which claims go to a reviewer, I would start with a shallow decision tree. It asks one question at a time, picks the question that separates the cases best, and the result reads like the rules the team already uses. I would keep it to three or four levels with enough cases in each leaf, otherwise it just memorises history. Then I would sit with the claims team, compare the tree with their existing rules, and show which rules the data supports and which it adds. The tree routes a claim; a person still makes the decision. If we later need more accuracy, I would move to random forest or gradient boosting and keep the shallow tree as the explanation.”

现场用客户习惯的语言(粤语或普通话)把那几条规则一条条念给理赔主管听,问她哪条和经验不符;最后定下来的树深、规则和「不自动拒赔」这一条,用英文写进确认邮件或方案。

若面试官来自咨询与系统集成公司,重点换成「交付」:树导出的规则怎么和客户现有规则引擎对接、改了哪几条、谁来维护。

小练习

一间物流公司想做三件事。哪一件最适合用浅决策树当第一版?哪两件不适合?各用一句话说出理由。

  1. 运营主管想知道:哪些条件组合下包裹最容易派送失败,要能写进操作手册
  2. 预测这件包裹准确会晚到多少分钟,要很平滑,不能因为数据小改就大跳
  3. 把全港客户按下单习惯分成几群,事先没有分群标签

自测

  1. 同事交来一棵决策树,训练数据上准确率 100%,在上个月的新数据上只有 70%。问题可能出在哪?你会先改什么?
  2. 同样是理赔分流,面试官说:「假设你在一间咨询与系统集成公司,客户已经有一套规则引擎。」你的方案和在保险公司内部做,有什么不同?

先写完再打开。

参考答案

小练习

  1. 最适合。 要的就是「哪些条件组合」的规则,浅树的结果可以直接写进手册。
  2. 不适合。 要平滑、稳定的数值,单棵树会跳;可以先用线性回归,或后面讲的梯度提升。
  3. 不适合。 没有标签的分群是聚类问题,后面会讲 K-Means。

答到「1 是要规则的分类;2 要稳定的回归,单棵树不稳;3 是无监督分群」即算完整。

自测 1

很可能是过拟合:树长得太深,叶子里只剩几条样本,规则是在背训练数据。先限制最大深度、提高每片叶子的最少样本数,或者剪枝,再用没参与训练的数据(比如最近一个月)看效果。还要顺手确认新数据的结构有没有变。答到「过拟合 + 限深度 / 叶子最少样本 / 剪枝 + 用新数据验证」即算完整。

自测 2

在保险公司内部,重点是让理赔和合规接受:浅树、逐条讲规则、模型不自动拒赔、定期重算。

在咨询与系统集成公司,客户已有规则引擎,重点变成交付:把树导出成规则,和客户现有规则逐条对比,列出新增、修改、建议删除的条目;讲清楚怎样接进现有引擎、上线后谁维护、多久用新数据重算一次。不要交一棵客户团队维护不了的大树。

答到「内部重在可解释和合规;咨询重在和现有规则引擎对接、列出改动、交代维护」即算完整。

延伸观看

  1. Decision and Classification Trees, Clearly Explained!!! — StatQuest with Josh Starmer 的短解说:树怎样用基尼不纯度挑问题。
  2. Decision Tree Classification Clearly Explained! — Normalized Nerd 的短课:用图一步步看树怎样切分数据。

上一篇:逻辑回归(ALG-02) · 下一篇:K 近邻(ALG-04)——不训练规则,直接找最像的几个历史案例来判断。 · 回到索引

在 GitHub 上查看源文