AI 算法 ALG-08
ALG-08
朴素贝叶斯:把各个线索的证据乘起来,看哪一类更可能
- 入门
- 分类
面试频率中:常作为文本分类的快基线被问到,也常被问「为什么叫朴素」;手推贝叶斯公式在 FDE 面经里少见
招聘切入
前面的模型都是「学一条线、分一棵树」。朴素贝叶斯换了个问法:已知这些线索都出现了,哪一类的可能性更大?
这一篇练三件事:说得清贝叶斯公式在做什么、说得清「朴素」朴素在哪、说得清它为什么适合当文本分类的快基线。
AI 原生 / 产品公司常把它当文本分类的第一个基线;甲方企业内部(银行保险)会问它的概率能不能直接当风险分用;大厂云与平台、咨询与系统集成多半问你:在新项目里,几分钟能不能先跑出一个有参照的结果。
适用场景
- 文本分类:工单、投诉、邮件分到哪一类
- 数据不多,想先要一个快基线
- 特征很多、很稀(大量词语)
- 需要快速训练和快速重训
不适用场景
- 特征之间高度相关,又想要准确的概率(它会把重复的证据多算几次)
- 要求概率经过严格校准,例如直接当定价依据
- 特征之间的组合才有意义(单看每个线索不够)
- 图像、语音等原始数据
场景
一间香港虚拟银行的客服团队,每天收到大量文字工单,要先判断「紧急」还是「普通」,紧急的先转人工。团队只有几千条打过标签的历史工单,想先要一个能当天跑出来的基线。
概念
一句话:先看这一类本来有多常见(先验),再看这些线索在这一类里有多常见,把它们乘起来比大小。
贝叶斯公式:
「朴素」在哪。 它假设:已知类别时,各个线索彼此独立。于是线索 的可能性可以直接相乘:
现实里线索常常相关,所以这个假设是「朴素」的。好处是要估计的数少、训练极快;代价是重复的证据会被多算。
比大小就够了。 分类时只需比较每一类的「先验 × 各线索似然」,分母对每一类都一样,可以不算。想得到概率,再把几个分数除以它们的和。
零概率问题。 如果某个词在某一类历史里从没出现过,乘出来就是 0,一票否决。常用做法是平滑(给每个计数加一个很小的数,例如拉普拉斯平滑)。
概率别全信。 因为独立假设,输出的概率常常偏极端(不是接近 0 就是接近 1)。拿来排序、分流通常没问题;要当真实概率用,先做校准并在验证集上检查。
香港落地例子
虚拟银行工单分类。数字都是教学示意,不是任何机构的数据。
历史 100 条工单:20 条紧急,80 条普通。
| 线索 | 在紧急工单里出现 | 在普通工单里出现 |
|---|---|---|
| 含「逾期」 | 15 / 20 = 0.75 | 8 / 80 = 0.10 |
| 含「退款」 | 10 / 20 = 0.50 | 16 / 80 = 0.20 |
来了一张同时含「逾期」和「退款」的新工单:
- 紧急:
- 普通:
紧急的概率约为 。所以先转人工。
注意:这 0.82 是在「两个词互相独立」的假设下算出来的。实际上「逾期」和「退款」可能常一起出现,真实把握没这么高。
怎么交给业务:
- 同一份测试数据,和逻辑回归比同一个指标,重点看紧急工单的召回率
- 用分数排序分流,别直接把 0.82 说成「82% 把握」
- 看哪些词把分数推得最高,让业务确认合不合理
- 新词、新产品名出现后要定期重训
同一个想法,换一类雇主,侧重不同:
| 雇主类型 | 为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 甲方企业内部(银行保险、地产、基金) | 要快速分流,也要有审计交代 | 当文本基线,旁边留可解释规则,概率先校准 | 直接把输出概率当风险定价 |
| AI 原生 / 产品公司 | 要几分钟出文本分类基线 | 先跑它,再对比更强的模型 | 基线都没跑就上大模型 |
面试怎么说
面对 AI 产品公司的面试官,大约可以说:
“Naive Bayes applies Bayes’ rule: for each class it multiplies the prior by how likely each feature is in that class, then picks the class with the highest score. It is called naive because it assumes features are independent given the class, which is rarely true, so the probabilities can be overconfident. But it trains in seconds, works well with many sparse text features, and makes a good first baseline. I would use smoothing to avoid zero counts, compare it with logistic regression on the same test set, check recall on the urgent class, and calibrate the scores before using them as probabilities.”
现场用客户习惯的语言(粤语或普通话)讲清楚「把各个线索的证据乘起来」,可以用「几个迹象一起指向同一个结论」来比方;评估指标和上线条件,用英文写进确认邮件或方案。
小练习
下面三件事,哪一件最适合先试朴素贝叶斯?各用一句话说出理由。
- 几千条已标注的文字工单,要当天跑出一个基线
- 要直接用输出概率给保险产品定价
- 判断一张图片里有没有人
自测
- 朴素贝叶斯里的「朴素」指什么?这个假设不成立时会怎样?
- 面试官说:「假设你在一间咨询公司,客户是传统企业,只有 300 条标注数据,想自动分类客户来信。」你怎么答?
先写完再打开。
参考答案
小练习
- 适合。 文本、数据不多、要快基线。
- 不适合。 定价要校准过的概率,它的概率常偏极端。
- 不适合。 图像是原始像素,单个像素的独立线索没有意义。
答到「1 文本加快基线;2 概率不可靠;3 图像不适合」即算完整。
自测 1
「朴素」指:已知类别时,假设各个线索彼此独立,所以可以直接相乘。不成立时(线索相关),重复证据被多算,概率会偏极端,但排序和分类往往还可用。答到「条件独立 + 概率偏极端但分类常可用」即算完整。
自测 2
先用朴素贝叶斯这类简单模型当基线,300 条数据训练快、不容易过拟合;同时用交叉验证评估,因为测试集很小。再和逻辑回归比,看召回率、看错分的信件长什么样。说明数据少、结果不稳,建议先收集更多标注,并把基线结果、局限和下一步写成文档交给客户。答到「简单基线 + 小数据要交叉验证 + 局限说明 + 文档交接」即算完整。
延伸观看
- StatQuest: Naive Bayes, Clearly Explained!!! — StatQuest with Josh Starmer 的短解说:用小例子讲先验、似然怎么乘。
上一篇:梯度提升(ALG-07) · 下一篇:支持向量机(ALG-09) · 回到索引