AI 算法 ALG-10

ALG-10

主成分分析:把很多特征压成少数几个主要方向

  • 中等
  • 降维

面试频率中:基础面常问 PCA 保留什么、怎么选主成分个数;FDE 面经里多是顺带提到,手推特征分解少见

招聘切入

特征太多时,面试官想听的不是「PCA 是降维」这一句,而是:它保留什么、丢掉什么、丢掉的代价谁来承担。

这一篇练三件事:说得清 PCA 找的是「方差最大的方向」、说得清怎么决定留几个主成分、说得清什么时候不该用它。

FDE 现场更常见的是:客户的表有几十上百列,很多列在说同一件事,想先压一压再建模或画图。甲方企业内部(银行保险)会追问压完之后还能不能向业务解释;AI 原生 / 产品公司更关心它和直接用原始特征、或用 embedding 相比值不值。

适用场景

  • 数字特征很多,而且互相高度相关(多项金额、多项次数)
  • 想把数据压到两三维画图,先看看有没有群
  • 后面的模型对共线性敏感(比如线性回归),想先去相关
  • 想去掉一点噪声,或者让后面的训练和存储更省

不适用场景

  • 业务要求「每个输入都能对应到一个说得出的字段」,压完的新轴很难命名
  • 特征基本互相独立,压了只会丢信息
  • 关键信号藏在方差很小的方向上(例如极少数欺诈样本)
  • 特征是类别型,或者没做标准化又尺度悬殊
  • 关系明显是弯的、非线性的(PCA 只找直线方向)

场景

一间香港虚拟保险公司,客户行为表里有约 60 列数字:近 3 个月、6 个月、12 个月的保费、理赔次数、登录次数、客服来电次数等。数据团队发现很多列几乎同涨同跌。想先把它们压到十几个维度,再喂给后面的客户分群模型,同时给运营画一张二维分布图。

概念

一句话:先把数据居中,再找一根让数据投影后「散得最开」的轴,然后在垂直方向上找下一根,依次类推。

为什么找方差最大的方向。 沿着数据散得最开的方向,保留的信息最多;在几乎不变的方向上,各点都差不多,丢掉损失小。

怎么算。 标准化后,算协方差矩阵 ,做特征分解:

特征向量 是第 k 个主成分的方向,特征值 是数据沿这个方向的方差。把 从大到小排。一条样本 (已居中)的新坐标是 。

留几个。 看累计解释方差比例:

常见做法是累计到 80% 到 95% 就停,或者看碎石图的拐点。这个阈值是经验,不是定理,要看后面任务的指标有没有掉。

两件容易踩的事。 第一,先标准化:PCA 追的是方差,以万计的金额会盖过以个计的次数。第二,主成分是原始列的线性组合,会有正有负,不一定对应一个业务概念;要解释就看每个主成分在各原列上的权重(载荷)。另外它是无监督的,不看标签,方差最大的方向不一定对预测最有用。

香港落地例子

保险客户行为表。数字都是教学示意,不是任何机构的数据。

只看两列,已标准化: 近 12 个月保费, 近 12 个月理赔金额。两列相关系数为 0.8,协方差矩阵是

  • 特征值:,
  • 第一主成分方向:,大致是「保费和理赔一起高」的总体活跃度
  • 第二主成分方向:,是「保费高但理赔低」或相反的差别
  • 第一主成分的解释方差比例:

所以这两列压成一列,仍保留约 90% 的方差;对 60 列的真实表,逻辑一样,只是要靠累计比例来选 k。

怎么交给业务:

  • 先确认已标准化,标准化参数和主成分矩阵要跟模型一起保存,线上新数据用同一套变换
  • 报告里写累计解释方差和压缩前后后续模型指标的对比,不只写「压到了 12 维」
  • 给运营看的二维图,坐标轴要配上载荷最大的几个原列做说明
  • 不要把 PC1、PC2 直接当成业务指标命名上线,除非和业务一起确认过含义
  • 新产品上线、客群变化后重新拟合

同一个想法,换一类雇主,侧重不同:

雇主类型为什么会碰到你该怎么用不该怎么用
甲方企业内部(银行保险、地产、基金)风控、客户表列多且相关,监管和审计要解释压完要留载荷表和前后指标对比,关键字段单独保留把压缩后的轴当作无法追溯的黑盒打分
AI 原生 / 产品公司要给分群、可视化或下游模型快速降维当作预处理步骤,和不压缩的基线对比对文本 embedding 或非线性结构硬上线性 PCA 就当结论

面试怎么说

面对保险公司内部 FDE 岗的面试官,大约可以说:

“PCA finds the directions along which the data varies the most, and projects the data onto the top few of them. I would standardize the columns first, because PCA chases variance and large-scale columns would dominate. Then I look at the cumulative explained variance, say 90 percent, and check that the downstream model does not get worse after compression. The catch is interpretability: each component is a mix of original columns, so I would share the loadings with the business and keep key fields separate if they need to be explained. And since PCA ignores the label, I would compare it against the uncompressed baseline before committing.”

现场用客户习惯的语言(粤语或普通话)讲清楚「找数据散得最开的方向,压掉重复的列」;累计解释方差的阈值、前后指标对比,用英文写进确认邮件或方案。

小练习

下面三件事,哪一件最适合先试 PCA?各用一句话说出理由。

  1. 60 列互相高度相关的客户行为数字,想先压一压再做分群
  2. 一张只有 5 列、而且互相基本独立的表,业务要逐列解释
  3. 欺诈样本只占万分之几,信号可能藏在方差很小的方向上

自测

  1. PCA 的第一主成分是什么?为什么用之前要先标准化?
  2. 面试官说:「假设你在一间 AI 产品公司,客户想把 1,000 维的文本 embedding 用 PCA 压到 50 维做检索。」你怎么答?

先写完再打开。

参考答案

小练习

  1. 适合。 高度相关的数字列正是 PCA 的舒适区;记得标准化,并对比压缩前后的后续指标。
  2. 不适合。 列少且独立,压了只丢信息;业务又要逐列解释,主成分很难命名。
  3. 要小心。 PCA 只看方差,不看标签,稀有欺诈的信号可能在被丢掉的方向里;先用原始特征做基线,再比。

答到「1 适合;2 不适合;3 方差小的方向可能是关键信号」即算完整。

自测 1

第一主成分是让数据投影后方差最大的方向,也就是协方差矩阵最大特征值对应的特征向量。标准化是因为 PCA 追的是方差,尺度大的列会主导方向。答到「方差最大方向 + 尺度会影响结果」即算完整。

自测 2

先说可以试,因为 embedding 各维常有冗余,线性压缩有时能省存储和检索时间;但不要直接下结论。再说怎么验证:用同一批查询,比较压缩前后的召回率和延迟,看累计解释方差只是参考,召回率才是目标。最后提醒要保存主成分矩阵,新文档和查询用同一个变换,embedding 模型更换后要重新拟合。答到「可以试 + 用检索指标验证 + 变换要版本化」即算完整。

延伸观看

  1. StatQuest: PCA main ideas in only 5 minutes!!! — StatQuest with Josh Starmer:五分钟讲清主成分在找什么。
  2. StatQuest: Principal Component Analysis (PCA), Step-by-Step — StatQuest with Josh Starmer:一步步讲怎么算、怎么选几个主成分。

上一篇:支持向量机(ALG-09) · 下一篇:神经网络与反向传播(ALG-11) · 回到索引

在 GitHub 上查看源文