AI 算法 ALG-04

ALG-04

K 近邻:不总结规则,直接找最像的几个旧案例

  • 入门
  • 分类 / 回归

面试频率中低:常作为基线和相似案例检索的思路被问到;手写实现在 FDE 面经里少见

招聘切入

前面三篇都在「训练出一套规则或公式」。K 近邻(K-Nearest Neighbors,KNN)反过来:几乎不训练,来了新案例,就去历史里找最像的 K 个,看它们是怎么判的。

香港 FDE 现场常有这样的对话:客户说「这张单我见过类似的」。KNN 就是把这句话做成方法。它很少是最终模型,却是很好的基线,也是后面向量检索、相似案例推荐的思路根源。这一篇练三件事:「像」是怎么量出来的、K 怎么选、为什么特征要先拉到同一把尺子上。

甲方企业内部的 FDE(银行保险)常用它做「相似历史个案」给人工参考;AI 原生 / 产品公司会把它和向量检索放在一起问;大厂云与平台、咨询与系统集成多半只要你讲得出它的代价:数据一多,每次都要和所有历史比。

适用场景

  • 想先要一个不用调参的基线,看数据里到底有没有可学的信号
  • 业务同事习惯「参考相似个案」,你要给出看得见的几个旧案例,而不只是一个分数
  • 数据量不大,特征不多,而且「相似」有明确含义
  • 类别边界很不规则,用一条直线或几条规则切不出来

不适用场景

  • 历史数据很大、要实时响应 → 每次都要和全部历史比距离,慢,要靠索引或近似检索
  • 特征很多、很杂(几百维)→ 「距离」失去意义,近的和远的差不多
  • 特征没整理:单位不同、混着类别和数字 → 距离被数值大的特征霸占
  • 要给客户讲清楚「为什么是这个结论」的规则或权重 → KNN 只能给案例,给不出规则;这时用决策树或逻辑回归

场景

一间香港保险公司内部的 FDE 团队继续做旅游保险索偿分流。理赔员说:「树给的规则我看明白了,但遇到新单,我更想先看看以前最像的几张单后来怎样了。」

这正是 KNN:不总结规则,直接拿相似旧单出来给人看。

概念

一句话:新案例来了,算它和每个历史案例的距离,取最近的 个,分类就让这 个投票,回归就取它们的平均值。

怎样算「近」。 最常用欧氏距离。两个案例有 个特征 和 :

K 怎么选。

  • 太小(比如 1):只看最近那一张,容易被一张怪单带偏,相当于过拟合
  • 太大:把很远的案例也算进来,趋近于「全体多数怎么判就怎么判」
  • 常见做法:试几个奇数(3、5、7、…),用没参与训练的数据比较效果;两类问题取奇数可以避免平票

特征要先放到同一把尺子上。 金额以港元计是几千上万,距生效日期是几天。不处理的话,距离几乎只由金额决定,天数形同虚设。常用做法是标准化,或按范围缩放到 0 到 1。这一步是 KNN 最容易被面试官追问的地方。

代价。 它「训练」几乎免费,但预测要和所有历史比一遍。数据变大后,要用索引或近似最近邻检索,这也是向量检索的来源。

香港落地例子

虚拟的旅游保险索偿单。历史取 6 张,两个特征:索偿金额(HK$ 千)、出险日距保单生效的天数;标签是后来是否被认定要细查。数字都是教学示意,不是任何保险公司的数据。

历史单金额(HK$ 千)距生效天数后来是否细查
A94是
B810是
C1060否
D35否
E290否
F76是

新单:金额 9,000 港元,出险在生效后 5 天。取 。

不处理特征,金额按港元算。 距离几乎只由金额差决定:A 约 1,B 约 1,000,C 约 1,001.5,F 约 2,000,D 约 6,000。最近三张是 A、B、C,两张细查、一张不用,投票结果是「细查」,但 C 是在天数差 55 天的情况下被选进来的,天数几乎没起作用。

把两个特征都按范围缩放到 0 到 1(金额范围 2–10,天数范围 4–90)再算:A 约 0.01,B 约 0.14,F 约 0.25,C 约 0.65,D 约 0.75,E 约 1.32。最近三张变成 A、B、F,三张全部细查。

结论一样,但理由更站得住:「最像的三张都是金额高、刚投保就出险,后来都被细查」,C 那种金额同样高却是半年后才出险的单,不再混进来。

对理赔员可以这样给:每张新单旁边列出最像的 3 张旧单和它们的结果,让人参考,不替人决定。

边界也要写清:

  • 例子只有 6 张,是为了能手算;真实使用要几百几千张,并且用没参与训练的数据比较 的取值
  • 「像」只靠选进来的特征,没选进来的因素(比如旅行目的地风险)KNN 看不到
  • 相似旧单只是参考,拒赔与否仍由理赔员按条款和单据决定
  • 历史数据要定期更新,否则近邻都是过时的案例

同一个想法,换一类雇主,侧重不同:

雇主类型为什么会碰到你该怎么用不该怎么用
甲方企业内部(银行保险、地产、基金)业务习惯参考相似个案给人工列出最像的几个旧案例,并说明用了哪些特征把多数投票当作自动判定
AI 原生 / 产品公司产品里要「找相似」,和向量检索一脉相承用 KNN 做基线,再讲数据大了怎么换成近似检索忽略规模,在全量数据上暴力逐条比

面试怎么说

面对保险或银行内部团队的面试官,大约可以说:

“K-nearest neighbors is the simplest idea I know: for a new case, find the K most similar past cases and let them vote. I like it as a baseline, and because reviewers can actually see the similar cases. Two things matter. First, put the features on the same scale, otherwise a large number like claim amount in dollars drowns out something like days since the policy started. Second, choose K on data the model has not seen, because K equals one follows every odd case and a very large K just returns the majority. It gets slow when history is large, so then I would use an index or approximate nearest-neighbor search. I would show the similar cases to the reviewer as a reference, and the reviewer still makes the decision.”

现场用客户习惯的语言(粤语或普通话)带理赔员看一张新单旁边的三张相似旧单,问她「这三张真的像吗」;最后定下来的特征、K 值和「只作参考、不自动判定」,用英文写进确认邮件或方案。

小练习

一间物流公司想做三件事。哪一件最适合用 KNN 做第一版?哪一件不适合?各用一句话说出理由。

  1. 客服想在新投诉旁边显示「最像的 3 张历史投诉和当时怎么处理」
  2. 每天要对几千万条实时包裹轨迹逐条判断是否异常,响应要在毫秒级
  3. 要对客户说明:派送失败的概率跟哪几个因素有关、各自影响多大

自测

  1. 同事用 KNN 判断索偿单要不要细查,特征是索偿金额(港元)和出险距生效天数,结果几乎只看金额。原因是什么?怎么改?
  2. 面试官说:「假设你在一间 AI 产品公司,要给用户做『找相似』功能,历史有几千万条。」你对 KNN 的用法有什么变化?

先写完再打开。

参考答案

小练习

  1. 最适合。 要的是「看得见的相似案例」,不是规则或概率,KNN 正好。
  2. 不适合。 几千万条实时逐条比距离太慢,需要索引或近似检索,或换成别的模型。
  3. 不太适合。 要讲各因素影响多大,用逻辑回归的系数或决策树的规则;KNN 给不出这些。

答到「1 要相似案例;2 规模和速度是 KNN 的弱点;3 要可解释的权重或规则」即算完整。

自测 1

金额以港元计,数值远大于天数,欧氏距离几乎只由金额差决定,天数形同虚设。做法是把各特征标准化或按范围缩放后再算距离,并用没参与训练的数据检查 K 取多少合适。答到「特征尺度不同 + 先标准化 / 缩放 + 用新数据选 K」即算完整。

自测 2

思路不变,做法要换:用 KNN 的想法做基线,真正上线时不能每次和几千万条逐一比,要用近似最近邻检索(先建索引,只在附近一小部分里比),特征通常是模型生成的向量,而不是手选的几个数字。要讲清楚召回和速度怎么折中,数据更新后索引怎么跟着更新。答到「近似检索 + 索引 + 向量特征 + 速度与准确度折中」即算完整。

延伸观看

  1. StatQuest: K-nearest neighbors, Clearly Explained — StatQuest with Josh Starmer 的短解说:KNN 怎样找近邻、怎样投票、K 怎么选。

上一篇:决策树(ALG-03) · 下一篇:K-Means(ALG-05)——没有标签,让数据自己分成几群。 · 回到索引

在 GitHub 上查看源文