AI 算法 ALG-10
ALG-10
主成分分析:把很多特征压成少数几个主要方向
- 中等
- 降维
面试频率中:基础面常问 PCA 保留什么、怎么选主成分个数;FDE 面经里多是顺带提到,手推特征分解少见
招聘切入
特征太多时,面试官想听的不是「PCA 是降维」这一句,而是:它保留什么、丢掉什么、丢掉的代价谁来承担。
这一篇练三件事:说得清 PCA 找的是「方差最大的方向」、说得清怎么决定留几个主成分、说得清什么时候不该用它。
FDE 现场更常见的是:客户的表有几十上百列,很多列在说同一件事,想先压一压再建模或画图。甲方企业内部(银行保险)会追问压完之后还能不能向业务解释;AI 原生 / 产品公司更关心它和直接用原始特征、或用 embedding 相比值不值。
适用场景
- 数字特征很多,而且互相高度相关(多项金额、多项次数)
- 想把数据压到两三维画图,先看看有没有群
- 后面的模型对共线性敏感(比如线性回归),想先去相关
- 想去掉一点噪声,或者让后面的训练和存储更省
不适用场景
- 业务要求「每个输入都能对应到一个说得出的字段」,压完的新轴很难命名
- 特征基本互相独立,压了只会丢信息
- 关键信号藏在方差很小的方向上(例如极少数欺诈样本)
- 特征是类别型,或者没做标准化又尺度悬殊
- 关系明显是弯的、非线性的(PCA 只找直线方向)
场景
一间香港虚拟保险公司,客户行为表里有约 60 列数字:近 3 个月、6 个月、12 个月的保费、理赔次数、登录次数、客服来电次数等。数据团队发现很多列几乎同涨同跌。想先把它们压到十几个维度,再喂给后面的客户分群模型,同时给运营画一张二维分布图。
概念
一句话:先把数据居中,再找一根让数据投影后「散得最开」的轴,然后在垂直方向上找下一根,依次类推。
为什么找方差最大的方向。 沿着数据散得最开的方向,保留的信息最多;在几乎不变的方向上,各点都差不多,丢掉损失小。
怎么算。 标准化后,算协方差矩阵 ,做特征分解:
特征向量 是第 k 个主成分的方向,特征值 是数据沿这个方向的方差。把 从大到小排。一条样本 (已居中)的新坐标是 。
留几个。 看累计解释方差比例:
常见做法是累计到 80% 到 95% 就停,或者看碎石图的拐点。这个阈值是经验,不是定理,要看后面任务的指标有没有掉。
两件容易踩的事。 第一,先标准化:PCA 追的是方差,以万计的金额会盖过以个计的次数。第二,主成分是原始列的线性组合,会有正有负,不一定对应一个业务概念;要解释就看每个主成分在各原列上的权重(载荷)。另外它是无监督的,不看标签,方差最大的方向不一定对预测最有用。
香港落地例子
保险客户行为表。数字都是教学示意,不是任何机构的数据。
只看两列,已标准化: 近 12 个月保费, 近 12 个月理赔金额。两列相关系数为 0.8,协方差矩阵是
- 特征值:,
- 第一主成分方向:,大致是「保费和理赔一起高」的总体活跃度
- 第二主成分方向:,是「保费高但理赔低」或相反的差别
- 第一主成分的解释方差比例:
所以这两列压成一列,仍保留约 90% 的方差;对 60 列的真实表,逻辑一样,只是要靠累计比例来选 k。
怎么交给业务:
- 先确认已标准化,标准化参数和主成分矩阵要跟模型一起保存,线上新数据用同一套变换
- 报告里写累计解释方差和压缩前后后续模型指标的对比,不只写「压到了 12 维」
- 给运营看的二维图,坐标轴要配上载荷最大的几个原列做说明
- 不要把 PC1、PC2 直接当成业务指标命名上线,除非和业务一起确认过含义
- 新产品上线、客群变化后重新拟合
同一个想法,换一类雇主,侧重不同:
| 雇主类型 | 为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 甲方企业内部(银行保险、地产、基金) | 风控、客户表列多且相关,监管和审计要解释 | 压完要留载荷表和前后指标对比,关键字段单独保留 | 把压缩后的轴当作无法追溯的黑盒打分 |
| AI 原生 / 产品公司 | 要给分群、可视化或下游模型快速降维 | 当作预处理步骤,和不压缩的基线对比 | 对文本 embedding 或非线性结构硬上线性 PCA 就当结论 |
面试怎么说
面对保险公司内部 FDE 岗的面试官,大约可以说:
“PCA finds the directions along which the data varies the most, and projects the data onto the top few of them. I would standardize the columns first, because PCA chases variance and large-scale columns would dominate. Then I look at the cumulative explained variance, say 90 percent, and check that the downstream model does not get worse after compression. The catch is interpretability: each component is a mix of original columns, so I would share the loadings with the business and keep key fields separate if they need to be explained. And since PCA ignores the label, I would compare it against the uncompressed baseline before committing.”
现场用客户习惯的语言(粤语或普通话)讲清楚「找数据散得最开的方向,压掉重复的列」;累计解释方差的阈值、前后指标对比,用英文写进确认邮件或方案。
小练习
下面三件事,哪一件最适合先试 PCA?各用一句话说出理由。
- 60 列互相高度相关的客户行为数字,想先压一压再做分群
- 一张只有 5 列、而且互相基本独立的表,业务要逐列解释
- 欺诈样本只占万分之几,信号可能藏在方差很小的方向上
自测
- PCA 的第一主成分是什么?为什么用之前要先标准化?
- 面试官说:「假设你在一间 AI 产品公司,客户想把 1,000 维的文本 embedding 用 PCA 压到 50 维做检索。」你怎么答?
先写完再打开。
参考答案
小练习
- 适合。 高度相关的数字列正是 PCA 的舒适区;记得标准化,并对比压缩前后的后续指标。
- 不适合。 列少且独立,压了只丢信息;业务又要逐列解释,主成分很难命名。
- 要小心。 PCA 只看方差,不看标签,稀有欺诈的信号可能在被丢掉的方向里;先用原始特征做基线,再比。
答到「1 适合;2 不适合;3 方差小的方向可能是关键信号」即算完整。
自测 1
第一主成分是让数据投影后方差最大的方向,也就是协方差矩阵最大特征值对应的特征向量。标准化是因为 PCA 追的是方差,尺度大的列会主导方向。答到「方差最大方向 + 尺度会影响结果」即算完整。
自测 2
先说可以试,因为 embedding 各维常有冗余,线性压缩有时能省存储和检索时间;但不要直接下结论。再说怎么验证:用同一批查询,比较压缩前后的召回率和延迟,看累计解释方差只是参考,召回率才是目标。最后提醒要保存主成分矩阵,新文档和查询用同一个变换,embedding 模型更换后要重新拟合。答到「可以试 + 用检索指标验证 + 变换要版本化」即算完整。
延伸观看
- StatQuest: PCA main ideas in only 5 minutes!!! — StatQuest with Josh Starmer:五分钟讲清主成分在找什么。
- StatQuest: Principal Component Analysis (PCA), Step-by-Step — StatQuest with Josh Starmer:一步步讲怎么算、怎么选几个主成分。
上一篇:支持向量机(ALG-09) · 下一篇:神经网络与反向传播(ALG-11) · 回到索引