AI 算法 ALG-09

ALG-09

支持向量机:找一条把两类分得最开的边界

  • 中等
  • 分类

面试频率中低:机器学习基础面里常被问间隔、核函数和 C;FDE 面经里出现得不多,手推对偶形式更少

招聘切入

逻辑回归也画一条线,但它关心的是「每个点落在哪一边的概率」。SVM 换了个目标:在所有能分开两类的线里,挑离两边最近的点都最远的那一条。

这一篇练三件事:说得清「间隔」是什么、说得清 C 和核函数各管什么、说得清什么时候不该选它。

FDE 面试很少要你推公式。更常见的是:客户的数据科学家早年做过一个 SVM 模型,你接手时要看懂它、判断要不要换。甲方企业内部(银行保险)会问它为什么不给概率、怎么解释;AI 原生 / 产品公司更可能问你它和逻辑回归、梯度提升怎么取舍。

适用场景

  • 样本几百到几万条,特征多,想要一个稳的分类器
  • 两类之间边界比较清楚,但混着少量噪声
  • 文本这类高维稀疏特征,用线性 SVM
  • 接手已有的 SVM 模型,要评估、复现或替换

不适用场景

  • 几百万条以上的数据,用非线性核会很慢、很吃内存
  • 需要现成、可信的概率(它原生只给「在哪一边、离多远」)
  • 业务要逐条解释「为什么这样判」,尤其是用了非线性核
  • 特征没做标准化又不打算做(尺度大的特征会主导距离)

场景

一间香港保险公司的理赔团队,想先给每张新理赔单分成「需要人工复核」和「直接处理」。手上有约 2,000 张打过标签的历史单,特征是几项数字(理赔金额占保额的比例、投保到出险的天数、近一年理赔次数等)。前任顾问留下一个 SVM 模型,你要判断它靠不靠得住。

概念

一句话:在两类之间修一条最宽的路,路中线就是边界;只有贴着路边的那几个点决定这条路。

间隔。 线性 SVM 的边界是 。路的两边是 ,路宽是

所以「路修得最宽」等于「让 最小」。

支持向量。 正好贴在路边、或者闯进路里的那些点,叫支持向量。其他点挪一挪,边界不变。这也是名字的来历。

软间隔和 C。 真实数据总有几个点分不开。SVM 允许少数点越界,每越界一点记一份代价 :

C 大:越界很贵,路会变窄,贴着训练数据走,容易过拟合。C 小:容忍越界,路更宽,更稳但可能欠拟合。C 要用交叉验证挑。

核函数。 一条直线分不开时,可以把点映射到更高维再找直线。核函数让它不用真的算出高维坐标,只算两点之间的相似度。最常用的是 RBF 核,它多一个参数 :越大,边界越弯,越容易贴着训练点。线性核更快,也更好解释。

两件容易踩的事。 第一,先标准化:SVM 看的是距离,「金额」以万计、「次数」以个计,不标准化的话金额会说了算。第二,它输出的是到边界的有符号距离,不是概率;要概率得另外校准(例如 Platt scaling),并在验证集上检查。

香港落地例子

保险理赔分流。数字都是教学示意,不是任何机构的数据。

两项特征都已标准化: 是理赔金额占保额比例, 是近一年理赔次数。训练出的线性 SVM 是

大于 0 判为「需要人工复核」。

  • 新单 A:,,送复核;离边界
  • 新单 B:,,直接处理;离边界
  • 路宽:。落在路里的单(分数在 -1 和 1 之间)最没把握

怎么交给业务:

  • 先查前任模型的特征有没有标准化,标准化参数有没有跟着模型一起保存
  • 同一份测试集,和逻辑回归、梯度提升比同一个指标,重点看需要复核那一类的召回率
  • 分数在 -1 到 1 之间的单,可以单列一档「建议人工看一眼」
  • 不要把分数直接说成概率;要概率就先校准
  • 新产品、新理赔类型上线后重新评估,C 和 要重新挑

同一个想法,换一类雇主,侧重不同:

雇主类型为什么会碰到你该怎么用不该怎么用
甲方企业内部(银行保险、地产、基金)早年模型里常有 SVM,要审计和交接用线性核或留一个可解释的对照模型,分数先校准把 RBF 核模型的分数直接当风险概率上报
AI 原生 / 产品公司要在几个基线里快速挑一个中等数据量时和逻辑回归、梯度提升一起比几百万条数据还硬上非线性核

面试怎么说

面对保险公司内部 FDE 岗的面试官,大约可以说:

“An SVM looks for the boundary with the widest margin between the two classes. Only the points closest to the boundary, the support vectors, decide where it goes. C controls how many mistakes we tolerate: a large C fits the training data tightly and can overfit, a small C gives a wider, more stable margin. If a straight line does not work, a kernel like RBF lets it draw a curved boundary. In practice I would standardize the features first, tune C and gamma with cross-validation, and compare it with logistic regression and gradient boosting on recall for the review class. It does not give probabilities by default, so I would calibrate the scores before anyone reads them as risk.”

现场用客户习惯的语言(粤语或普通话)讲清楚「修一条最宽的路,只看贴着路边的几张单」;指标、阈值和「分数不是概率」这一点,用英文写进确认邮件或方案。

小练习

下面三件事,哪一件最适合先试 SVM?各用一句话说出理由。

  1. 3,000 条已标注的理赔单,十几项数字特征,要一个稳的二分类模型
  2. 800 万条交易记录,要每天全量重训
  3. 业务要求每张单都写出「因为哪几项超标才被拦下」

自测

  1. SVM 里的 C 调大和调小,各会让模型怎样?为什么用之前要先标准化?
  2. 面试官说:「假设你在一间 AI 产品公司,客户的数据有 500 万行,前任工程师用 RBF 核 SVM,训练要跑一整晚。」你怎么答?

先写完再打开。

参考答案

小练习

  1. 适合。 中等数据量、数字特征、二分类,正是 SVM 的舒适区;记得标准化和交叉验证。
  2. 不适合。 数据量太大,非线性核训练很慢;可以考虑线性模型或梯度提升。
  3. 不太适合。 非线性核很难逐条解释;可以用线性核看权重,或换决策树、逻辑回归当可解释对照。

答到「1 中等数据适合;2 数据太大;3 解释性不够」即算完整。

自测 1

C 大:越界代价高,边界贴着训练数据,路变窄,容易过拟合。C 小:容忍越界,路更宽,更稳但可能欠拟合。标准化是因为 SVM 看距离,尺度大的特征会主导边界。答到「C 大易过拟合、C 小更宽更稳 + 距离受尺度影响」即算完整。

自测 2

先说明非线性核 SVM 在 500 万行上本来就慢,这是方法的特性,不只是机器不够。再给两条路:换线性 SVM 或逻辑回归,或换梯度提升,在同一份测试集、同一个指标上和原模型比;如果一定要保留 RBF 核,可以先抽样训练或用近似核方法。最后把效果、训练时间和重训频率写成对照表,让客户按上线要求选。答到「数据量是根因 + 换模型同集对比 + 写成取舍交给客户」即算完整。

延伸观看

  1. Support Vector Machines Part 1 (of 3): Main Ideas!!! — StatQuest with Josh Starmer:从一维阈值讲到间隔、软间隔和核函数。
  2. Support Vector Machine (SVM) in 2 minutes — Visually Explained:两分钟动画,先建立直觉。

上一篇:朴素贝叶斯(ALG-08) · 下一篇:主成分分析(ALG-10) · 回到索引

在 GitHub 上查看源文