AI 算法 ALG-06
ALG-06
随机森林:很多棵树投票,比一棵更稳
- 入门到中等
- 分类 / 回归(集成)
面试频率中高:表格数据的常见强基线,常被问为什么比单棵树稳;手写实现在 FDE 面经里少见
招聘切入
决策树好讲,但有个毛病:训练数据换一批,树的样子可能大变。随机森林的办法很朴素:种很多棵略有不同的树,让它们投票。
这一篇练三件事:每棵树的「不同」从哪来、为什么投票会更稳、它牺牲了什么(可解释性)。
甲方企业内部的 FDE(银行保险)常拿它当表格数据的强基线;AI 原生 / 产品公司会问它和单棵树、梯度提升的区别;大厂云与平台、咨询与系统集成多半要你讲得出「为什么不直接用最复杂的模型」。
适用场景
- 表格数据(金额、次数、类别),想要一个不太挑参数的强基线
- 单棵决策树不稳、一换数据就变
- 特征多、有非线性和交互,不想手工构造
- 想顺带看哪些特征相对更有用(特征重要性)
不适用场景
- 监管或业务要求每个决定都能逐条讲清 → 单棵浅树或逻辑回归更好审计
- 图像、语音、长文本 → 通常用别的模型
- 要求预测外推到训练范围之外 → 树类模型只会给出见过的取值范围内的结果
- 延迟或内存很紧,几百棵树放不下
场景
一间香港保险公司的内部 FDE 团队,要在理赔单进来时给出「是否转人工细查」的分数。上一篇的单棵树能用,但业务发现:每个月重训,树的第一刀位置都会变,没人敢信。
于是换成随机森林:同样的特征,种 200 棵树,投票出一个比例当分数。
概念
一句话:每棵树用不同的数据和不同的特征训练,最后多数投票(分类)或取平均(回归)。
数据随机。 从 条训练数据里有放回抽 条,叫自助抽样(bootstrap)。每棵树看到的数据都略有不同。
特征随机。 每次分裂只从随机挑出的一部分特征里找最好的一刀,不是全部特征。这让树之间不那么雷同。
投票。 分类取多数,或取各树的概率平均。
为什么更稳。 假设每棵树独立且各有 70% 的把握判对,5 棵多数投票判对的概率是
25 棵则约 0.983。这是教学示意:真实的树并不独立,所以提升没有这么大,但方向就是这个——错误方向不一致的树,投票后互相抵消。 所以特征随机、数据随机,都是为了让树彼此不一样。
袋外估计。 有放回抽样时,每条数据约有 的机会不被某棵树抽到( 很大时趋近 )。用没抽到它的那些树来预测它,就得到「袋外」误差,不用另留验证集也能粗估效果。
主要参数。 树的棵数、每棵树的最大深度、每次分裂看多少特征、叶子最少样本数。棵数多一般不会过拟合,只是更慢;单棵太深才容易记住噪声。
代价。 200 棵树没法逐条读,解释只能靠特征重要性、个案的贡献分析等间接手段。
香港落地例子
保险公司的理赔转人工模型。数字都是教学示意,不是任何公司的数据。
用 5 棵树给同一张理赔单投票:
| 树 | 是否建议细查 |
|---|---|
| 1 | 是 |
| 2 | 否 |
| 3 | 是 |
| 4 | 是 |
| 5 | 否 |
3 票是、2 票否,得分 0.6。业务把阈值定在 0.5,所以转人工。真实用 200 棵,得分更平滑。
怎么交给业务:
- 先和上一篇的单棵树、逻辑回归比,同一份测试数据、同一个指标(比如召回率)
- 给分数,不只给「是 / 否」,阈值由业务按人工成本和漏检成本定
- 每次决定附上几个主要特征和相似案例,补上「看不懂」这一块
- 每月重训后,看新旧模型分数分布有没有大变
边界要写清:
- 森林擅长找模式,不证明因果
- 历史里的偏见会被学进去,要按组别检查
- 特征重要性高,不等于「原因」
同一个想法,换一类雇主,侧重不同:
| 雇主类型 | 为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 甲方企业内部(银行保险、地产、基金) | 要效果也要给审计交代 | 当强基线,同时保留一个可解释的简单模型对照 | 只给分数不给理由 |
| AI 原生 / 产品公司 | 表格数据先要一个快的基线 | 几分钟跑出基线,再决定要不要上更复杂的 | 一上来就调参数 |
面试怎么说
面对银行或保险内部团队的面试官,大约可以说:
“A single decision tree is easy to explain but unstable: change the data a little and the tree changes. A random forest fixes that by growing many trees, each on a random resample of the data and a random subset of features, and then letting them vote. Because their mistakes point in different directions, the vote is steadier than any one tree. The price is explainability, so I would compare it with a simple tree or logistic regression on the same test set, give the business a score with a threshold they choose, and attach the top features and similar cases to each decision. I would also check recall by customer group, not just overall accuracy.”
现场用客户习惯的语言(粤语或普通话)讲清楚「很多棵树投票」,可以用开会投票作比方;确认的阈值、指标和复核方式,用英文写进邮件或方案。
小练习
下面三件事,哪一件最适合用随机森林做第一版?哪一件不适合?各用一句话说出理由。
- 物流公司用「重量、距离、天气、时段」预测包裹是否延误,有两年历史记录
- 监管要求银行对每一宗拒绝都逐条写出原因
- 想识别照片里的货物破损
自测
- 同事说:「树越多越容易过拟合。」对吗?
- 面试官说:「假设你在一间咨询公司,客户的风控团队只信规则,不信黑盒。」你会怎么介绍随机森林?
先写完再打开。
参考答案
小练习
- 最适合。 表格数据、有标签、有非线性和交互,森林是好基线。
- 不适合。 要逐条写原因,更适合单棵浅树或逻辑回归;森林只能间接解释。
- 不适合。 图像通常用别的模型。
答到「1 表格 + 有标签;2 要逐条解释;3 图像」即算完整。
自测 1
不对。棵数增加通常只是更慢、更占内存,效果趋于稳定。真正容易过拟合的是单棵树太深、叶子太小。答到「棵数多不过拟合,深度才是」即算完整。
自测 2
先承认他们的顾虑,不推销黑盒。可以建议:规则继续做第一道,森林只当第二意见或排序用;用森林的特征重要性和个案对比,帮他们发现遗漏的规则;上线前用同一份测试数据和现有规则比,并按组别检查。能转成规则的,就写回规则。咨询场景要把对比结果和假设写成文档交给客户。答到「不取代规则 + 当第二意见 + 同数据对比 + 按组检查」即算完整。
延伸观看
- StatQuest: Random Forests Part 1 — StatQuest with Josh Starmer 的短解说:怎么建、怎么用、怎么用袋外数据评估。
上一篇:K-Means(ALG-05) · 下一篇:梯度提升(ALG-07) · 回到索引