AI 算法 ALG-04
ALG-04
K 近邻:不总结规则,直接找最像的几个旧案例
- 入门
- 分类 / 回归
面试频率中低:常作为基线和相似案例检索的思路被问到;手写实现在 FDE 面经里少见
招聘切入
前面三篇都在「训练出一套规则或公式」。K 近邻(K-Nearest Neighbors,KNN)反过来:几乎不训练,来了新案例,就去历史里找最像的 K 个,看它们是怎么判的。
香港 FDE 现场常有这样的对话:客户说「这张单我见过类似的」。KNN 就是把这句话做成方法。它很少是最终模型,却是很好的基线,也是后面向量检索、相似案例推荐的思路根源。这一篇练三件事:「像」是怎么量出来的、K 怎么选、为什么特征要先拉到同一把尺子上。
甲方企业内部的 FDE(银行保险)常用它做「相似历史个案」给人工参考;AI 原生 / 产品公司会把它和向量检索放在一起问;大厂云与平台、咨询与系统集成多半只要你讲得出它的代价:数据一多,每次都要和所有历史比。
适用场景
- 想先要一个不用调参的基线,看数据里到底有没有可学的信号
- 业务同事习惯「参考相似个案」,你要给出看得见的几个旧案例,而不只是一个分数
- 数据量不大,特征不多,而且「相似」有明确含义
- 类别边界很不规则,用一条直线或几条规则切不出来
不适用场景
- 历史数据很大、要实时响应 → 每次都要和全部历史比距离,慢,要靠索引或近似检索
- 特征很多、很杂(几百维)→ 「距离」失去意义,近的和远的差不多
- 特征没整理:单位不同、混着类别和数字 → 距离被数值大的特征霸占
- 要给客户讲清楚「为什么是这个结论」的规则或权重 → KNN 只能给案例,给不出规则;这时用决策树或逻辑回归
场景
一间香港保险公司内部的 FDE 团队继续做旅游保险索偿分流。理赔员说:「树给的规则我看明白了,但遇到新单,我更想先看看以前最像的几张单后来怎样了。」
这正是 KNN:不总结规则,直接拿相似旧单出来给人看。
概念
一句话:新案例来了,算它和每个历史案例的距离,取最近的 个,分类就让这 个投票,回归就取它们的平均值。
怎样算「近」。 最常用欧氏距离。两个案例有 个特征 和 :
K 怎么选。
- 太小(比如 1):只看最近那一张,容易被一张怪单带偏,相当于过拟合
- 太大:把很远的案例也算进来,趋近于「全体多数怎么判就怎么判」
- 常见做法:试几个奇数(3、5、7、…),用没参与训练的数据比较效果;两类问题取奇数可以避免平票
特征要先放到同一把尺子上。 金额以港元计是几千上万,距生效日期是几天。不处理的话,距离几乎只由金额决定,天数形同虚设。常用做法是标准化,或按范围缩放到 0 到 1。这一步是 KNN 最容易被面试官追问的地方。
代价。 它「训练」几乎免费,但预测要和所有历史比一遍。数据变大后,要用索引或近似最近邻检索,这也是向量检索的来源。
香港落地例子
虚拟的旅游保险索偿单。历史取 6 张,两个特征:索偿金额(HK$ 千)、出险日距保单生效的天数;标签是后来是否被认定要细查。数字都是教学示意,不是任何保险公司的数据。
| 历史单 | 金额(HK$ 千) | 距生效天数 | 后来是否细查 |
|---|---|---|---|
| A | 9 | 4 | 是 |
| B | 8 | 10 | 是 |
| C | 10 | 60 | 否 |
| D | 3 | 5 | 否 |
| E | 2 | 90 | 否 |
| F | 7 | 6 | 是 |
新单:金额 9,000 港元,出险在生效后 5 天。取 。
不处理特征,金额按港元算。 距离几乎只由金额差决定:A 约 1,B 约 1,000,C 约 1,001.5,F 约 2,000,D 约 6,000。最近三张是 A、B、C,两张细查、一张不用,投票结果是「细查」,但 C 是在天数差 55 天的情况下被选进来的,天数几乎没起作用。
把两个特征都按范围缩放到 0 到 1(金额范围 2–10,天数范围 4–90)再算:A 约 0.01,B 约 0.14,F 约 0.25,C 约 0.65,D 约 0.75,E 约 1.32。最近三张变成 A、B、F,三张全部细查。
结论一样,但理由更站得住:「最像的三张都是金额高、刚投保就出险,后来都被细查」,C 那种金额同样高却是半年后才出险的单,不再混进来。
对理赔员可以这样给:每张新单旁边列出最像的 3 张旧单和它们的结果,让人参考,不替人决定。
边界也要写清:
- 例子只有 6 张,是为了能手算;真实使用要几百几千张,并且用没参与训练的数据比较 的取值
- 「像」只靠选进来的特征,没选进来的因素(比如旅行目的地风险)KNN 看不到
- 相似旧单只是参考,拒赔与否仍由理赔员按条款和单据决定
- 历史数据要定期更新,否则近邻都是过时的案例
同一个想法,换一类雇主,侧重不同:
| 雇主类型 | 为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 甲方企业内部(银行保险、地产、基金) | 业务习惯参考相似个案 | 给人工列出最像的几个旧案例,并说明用了哪些特征 | 把多数投票当作自动判定 |
| AI 原生 / 产品公司 | 产品里要「找相似」,和向量检索一脉相承 | 用 KNN 做基线,再讲数据大了怎么换成近似检索 | 忽略规模,在全量数据上暴力逐条比 |
面试怎么说
面对保险或银行内部团队的面试官,大约可以说:
“K-nearest neighbors is the simplest idea I know: for a new case, find the K most similar past cases and let them vote. I like it as a baseline, and because reviewers can actually see the similar cases. Two things matter. First, put the features on the same scale, otherwise a large number like claim amount in dollars drowns out something like days since the policy started. Second, choose K on data the model has not seen, because K equals one follows every odd case and a very large K just returns the majority. It gets slow when history is large, so then I would use an index or approximate nearest-neighbor search. I would show the similar cases to the reviewer as a reference, and the reviewer still makes the decision.”
现场用客户习惯的语言(粤语或普通话)带理赔员看一张新单旁边的三张相似旧单,问她「这三张真的像吗」;最后定下来的特征、K 值和「只作参考、不自动判定」,用英文写进确认邮件或方案。
小练习
一间物流公司想做三件事。哪一件最适合用 KNN 做第一版?哪一件不适合?各用一句话说出理由。
- 客服想在新投诉旁边显示「最像的 3 张历史投诉和当时怎么处理」
- 每天要对几千万条实时包裹轨迹逐条判断是否异常,响应要在毫秒级
- 要对客户说明:派送失败的概率跟哪几个因素有关、各自影响多大
自测
- 同事用 KNN 判断索偿单要不要细查,特征是索偿金额(港元)和出险距生效天数,结果几乎只看金额。原因是什么?怎么改?
- 面试官说:「假设你在一间 AI 产品公司,要给用户做『找相似』功能,历史有几千万条。」你对 KNN 的用法有什么变化?
先写完再打开。
参考答案
小练习
- 最适合。 要的是「看得见的相似案例」,不是规则或概率,KNN 正好。
- 不适合。 几千万条实时逐条比距离太慢,需要索引或近似检索,或换成别的模型。
- 不太适合。 要讲各因素影响多大,用逻辑回归的系数或决策树的规则;KNN 给不出这些。
答到「1 要相似案例;2 规模和速度是 KNN 的弱点;3 要可解释的权重或规则」即算完整。
自测 1
金额以港元计,数值远大于天数,欧氏距离几乎只由金额差决定,天数形同虚设。做法是把各特征标准化或按范围缩放后再算距离,并用没参与训练的数据检查 K 取多少合适。答到「特征尺度不同 + 先标准化 / 缩放 + 用新数据选 K」即算完整。
自测 2
思路不变,做法要换:用 KNN 的想法做基线,真正上线时不能每次和几千万条逐一比,要用近似最近邻检索(先建索引,只在附近一小部分里比),特征通常是模型生成的向量,而不是手选的几个数字。要讲清楚召回和速度怎么折中,数据更新后索引怎么跟着更新。答到「近似检索 + 索引 + 向量特征 + 速度与准确度折中」即算完整。
延伸观看
- StatQuest: K-nearest neighbors, Clearly Explained — StatQuest with Josh Starmer 的短解说:KNN 怎样找近邻、怎样投票、K 怎么选。
上一篇:决策树(ALG-03) · 下一篇:K-Means(ALG-05)——没有标签,让数据自己分成几群。 · 回到索引