AI 算法 ALG-06

ALG-06

随机森林:很多棵树投票,比一棵更稳

  • 入门到中等
  • 分类 / 回归(集成)

面试频率中高:表格数据的常见强基线,常被问为什么比单棵树稳;手写实现在 FDE 面经里少见

招聘切入

决策树好讲,但有个毛病:训练数据换一批,树的样子可能大变。随机森林的办法很朴素:种很多棵略有不同的树,让它们投票。

这一篇练三件事:每棵树的「不同」从哪来、为什么投票会更稳、它牺牲了什么(可解释性)。

甲方企业内部的 FDE(银行保险)常拿它当表格数据的强基线;AI 原生 / 产品公司会问它和单棵树、梯度提升的区别;大厂云与平台、咨询与系统集成多半要你讲得出「为什么不直接用最复杂的模型」。

适用场景

  • 表格数据(金额、次数、类别),想要一个不太挑参数的强基线
  • 单棵决策树不稳、一换数据就变
  • 特征多、有非线性和交互,不想手工构造
  • 想顺带看哪些特征相对更有用(特征重要性)

不适用场景

  • 监管或业务要求每个决定都能逐条讲清 → 单棵浅树或逻辑回归更好审计
  • 图像、语音、长文本 → 通常用别的模型
  • 要求预测外推到训练范围之外 → 树类模型只会给出见过的取值范围内的结果
  • 延迟或内存很紧,几百棵树放不下

场景

一间香港保险公司的内部 FDE 团队,要在理赔单进来时给出「是否转人工细查」的分数。上一篇的单棵树能用,但业务发现:每个月重训,树的第一刀位置都会变,没人敢信。

于是换成随机森林:同样的特征,种 200 棵树,投票出一个比例当分数。

概念

一句话:每棵树用不同的数据和不同的特征训练,最后多数投票(分类)或取平均(回归)。

数据随机。 从 条训练数据里有放回抽 条,叫自助抽样(bootstrap)。每棵树看到的数据都略有不同。

特征随机。 每次分裂只从随机挑出的一部分特征里找最好的一刀,不是全部特征。这让树之间不那么雷同。

投票。 分类取多数,或取各树的概率平均。

为什么更稳。 假设每棵树独立且各有 70% 的把握判对,5 棵多数投票判对的概率是

25 棵则约 0.983。这是教学示意:真实的树并不独立,所以提升没有这么大,但方向就是这个——错误方向不一致的树,投票后互相抵消。 所以特征随机、数据随机,都是为了让树彼此不一样。

袋外估计。 有放回抽样时,每条数据约有 的机会不被某棵树抽到( 很大时趋近 )。用没抽到它的那些树来预测它,就得到「袋外」误差,不用另留验证集也能粗估效果。

主要参数。 树的棵数、每棵树的最大深度、每次分裂看多少特征、叶子最少样本数。棵数多一般不会过拟合,只是更慢;单棵太深才容易记住噪声。

代价。 200 棵树没法逐条读,解释只能靠特征重要性、个案的贡献分析等间接手段。

香港落地例子

保险公司的理赔转人工模型。数字都是教学示意,不是任何公司的数据。

用 5 棵树给同一张理赔单投票:

树是否建议细查
1是
2否
3是
4是
5否

3 票是、2 票否,得分 0.6。业务把阈值定在 0.5,所以转人工。真实用 200 棵,得分更平滑。

怎么交给业务:

  • 先和上一篇的单棵树、逻辑回归比,同一份测试数据、同一个指标(比如召回率)
  • 给分数,不只给「是 / 否」,阈值由业务按人工成本和漏检成本定
  • 每次决定附上几个主要特征和相似案例,补上「看不懂」这一块
  • 每月重训后,看新旧模型分数分布有没有大变

边界要写清:

  • 森林擅长找模式,不证明因果
  • 历史里的偏见会被学进去,要按组别检查
  • 特征重要性高,不等于「原因」

同一个想法,换一类雇主,侧重不同:

雇主类型为什么会碰到你该怎么用不该怎么用
甲方企业内部(银行保险、地产、基金)要效果也要给审计交代当强基线,同时保留一个可解释的简单模型对照只给分数不给理由
AI 原生 / 产品公司表格数据先要一个快的基线几分钟跑出基线,再决定要不要上更复杂的一上来就调参数

面试怎么说

面对银行或保险内部团队的面试官,大约可以说:

“A single decision tree is easy to explain but unstable: change the data a little and the tree changes. A random forest fixes that by growing many trees, each on a random resample of the data and a random subset of features, and then letting them vote. Because their mistakes point in different directions, the vote is steadier than any one tree. The price is explainability, so I would compare it with a simple tree or logistic regression on the same test set, give the business a score with a threshold they choose, and attach the top features and similar cases to each decision. I would also check recall by customer group, not just overall accuracy.”

现场用客户习惯的语言(粤语或普通话)讲清楚「很多棵树投票」,可以用开会投票作比方;确认的阈值、指标和复核方式,用英文写进邮件或方案。

小练习

下面三件事,哪一件最适合用随机森林做第一版?哪一件不适合?各用一句话说出理由。

  1. 物流公司用「重量、距离、天气、时段」预测包裹是否延误,有两年历史记录
  2. 监管要求银行对每一宗拒绝都逐条写出原因
  3. 想识别照片里的货物破损

自测

  1. 同事说:「树越多越容易过拟合。」对吗?
  2. 面试官说:「假设你在一间咨询公司,客户的风控团队只信规则,不信黑盒。」你会怎么介绍随机森林?

先写完再打开。

参考答案

小练习

  1. 最适合。 表格数据、有标签、有非线性和交互,森林是好基线。
  2. 不适合。 要逐条写原因,更适合单棵浅树或逻辑回归;森林只能间接解释。
  3. 不适合。 图像通常用别的模型。

答到「1 表格 + 有标签;2 要逐条解释;3 图像」即算完整。

自测 1

不对。棵数增加通常只是更慢、更占内存,效果趋于稳定。真正容易过拟合的是单棵树太深、叶子太小。答到「棵数多不过拟合,深度才是」即算完整。

自测 2

先承认他们的顾虑,不推销黑盒。可以建议:规则继续做第一道,森林只当第二意见或排序用;用森林的特征重要性和个案对比,帮他们发现遗漏的规则;上线前用同一份测试数据和现有规则比,并按组别检查。能转成规则的,就写回规则。咨询场景要把对比结果和假设写成文档交给客户。答到「不取代规则 + 当第二意见 + 同数据对比 + 按组检查」即算完整。

延伸观看

  1. StatQuest: Random Forests Part 1 — StatQuest with Josh Starmer 的短解说:怎么建、怎么用、怎么用袋外数据评估。

上一篇:K-Means(ALG-05) · 下一篇:梯度提升(ALG-07) · 回到索引

在 GitHub 上查看源文