AI 算法 ALG-13
ALG-13
卷积神经网络(CNN):用同一个小窗口扫过整张图
- 中等
- 分类 / 回归(神经网络,图像)
面试频率中:基础面常问卷积、池化和为什么比全连接网络更适合图像;手推卷积维度在 FDE 面经里少见
招聘切入
面试官问 CNN,想听的不是层名字背诵,而是:为什么看图要用一个小窗口反复扫,而不是把所有像素一股脑塞进去。
这一篇练三件事:说得清卷积核(滤波器)在做什么、说得清池化和参数共享带来什么、说得清实际项目里为什么多半直接用预训练模型而不是从零训练。
FDE 现场常见的是客户有一堆单据、证件或货物照片,想自动识别。甲方企业内部(银行保险、公营柜面)会追问图像里有没有个人资料、识别错了谁负责;AI 原生 / 产品公司更关心用预训练模型微调要多少标注、怎么评估。
适用场景
- 输入是图像或类似网格的数据(单据照片、货物外观、扫描件版面)
- 目标物体出现在图里的位置不固定,但样子有共同形状
- 标注图像不算少,或者可以拿预训练模型来微调
不适用场景
- 表格数据(保单字段、交易记录):先用梯度提升等表格方法,CNN 通常没有优势
- 图像很少又没有可用的预训练模型:容易过拟合
- 需要看懂整页文档的语义和排版关系:更常用 OCR 加版面模型,或多模态大模型
场景
一间香港物流公司,仓库每天拍下几千张包裹外箱的照片,想自动判断「箱子有没有破损」。把一张 224×224 的彩色图展开成约 15 万个数字,直接喂给全连接网络,第一层就要几千万个参数,数据又不够,很快背答案。CNN 的做法是:用一个小窗口(比如 3×3)在图上滑动,找「边缘」「折痕」这类局部形状,同一个窗口处处通用。
概念
一句话:CNN 用一组小的、共享参数的滤波器扫过图像,先找边缘、纹理这类局部形状,再一层层组合成更大的形状,最后接分类层给出结果。
卷积。 一个滤波器(比如 3×3 的数字表)盖在图的一小块上,对应位置相乘再求和,得到一个数;然后向右滑一格,重复。扫完一整张图,得到一张「特征图」,亮的地方表示这里出现了该滤波器要找的形状:
滤波器里的数字不是人写的,是训练时通过反向传播学出来的。
参数共享。 同一个滤波器处处使用,所以参数量只和滤波器大小有关,与图像大小无关。这也带来「平移不变」:折痕出现在左上还是右下,都能被同一个滤波器找到。
池化。 把相邻几个格子合成一个(常见是取最大值),特征图变小、计算变少,也让结果对小幅位移不那么敏感。
整体结构。 卷积 → 激活函数 → 池化,重复几次,越往后看到的范围越大(从边缘到纹理到部件);最后展平,接全连接层输出类别概率。
容易踩的事。 第一,图像小而标注少时从零训练会过拟合,先用预训练模型微调,并配合数据增强(翻转、裁剪、亮度变化)。第二,训练图和上线图的拍摄条件不一样(光线、角度、相机)会让效果明显下降,要用上线环境的图验证。第三,只看准确率会掩盖少数类,破损这类事件少,要看召回率和误报。第四,图片可能含个人资料,存储和送去云端前要先确认合规。
香港落地例子
虚拟物流公司的包裹破损检测。下面的数字都是教学示意,不是任何机构的数据。
- 基线:用人工规则(外箱颜色、轮廓)判断,破损召回率约 55%
- 从零训练一个小 CNN:训练集 97%,验证集 78%,明显过拟合
- 拿预训练模型微调,加翻转和亮度增强:验证集召回率约 88%,误报率约 6%
- 换一个仓库的照片复测:召回率掉到约 80%,说明拍摄环境有影响,需要补该仓库的样本
怎么交给业务:
- 先让业务同事标出「什么算破损」,把标准写成一页纸,不同人标注要一致
- 把预测结果和原图一起给人工复核,置信度低的转人工
- 同时给召回率和误报,写清各仓库分别的表现
- 上线后抽样复查,新仓库或新包装出现就补标注、重新评估
同一个想法,换一类雇主,侧重不同:
| 雇主类型 | 为什么会碰到 | 你该怎么用 | 不该怎么用 |
|---|---|---|---|
| 甲方企业内部(银行保险、公营柜面) | 证件、单据照片要自动识别 | 先确认个人资料合规,识别结果留人工复核 | 把图直接送去外部服务不审批 |
| AI 原生 / 产品公司 | 要快速交付图像识别功能 | 预训练模型加微调,建好评估集和回归测试 | 从零训练再盯着测试集调参 |
| 大厂云与平台 | 客户自带图片想上云训练 | 讲清标注量、验证口径和成本 | 只给训练模板,不讲验证 |
| 咨询与系统集成 | 客户想要「AI 识图」演示 | 用客户自己的现场照片做小范围试点 | 用干净的演示图当验收依据 |
面试怎么说
面对物流公司内部 FDE 岗的面试官,大约可以说:
“A convolutional neural network slides small learnable filters across an image to detect local patterns like edges and creases, and the same filter is reused everywhere, so it needs far fewer parameters than a fully connected network and still finds a dent wherever it appears. Pooling shrinks the feature maps and makes the result less sensitive to small shifts. Stacked layers combine edges into textures and then into parts, and a final layer outputs the class. In a real project I would start from a pretrained model and fine-tune it on a few hundred labeled photos, add augmentation, and validate on photos from the real warehouses, looking at recall and false alarms, not only accuracy. Low-confidence cases go to a human reviewer.”
现场用客户习惯的语言(粤语或普通话)讲清楚「用小窗口扫图找形状,先用现成模型微调,再用现场照片验证」;标注标准、验证口径和复核流程,用英文写进确认邮件或方案。
小练习
下面三件事,各是 CNN 适合、不适合还是要换办法?各用一句话说出理由。
- 判断仓库照片里的包裹有没有破损,已有三千张人工标注图
- 预测保单客户明年会不会退保,数据是二十几个表格字段
- 把一份扫描的整页保险申请表里的各栏位读出来并对应到字段
自测
- CNN 为什么比全连接网络更适合图像?卷积和池化各起什么作用?
- 面试官说:「假设你在一间银行,要用 CNN 自动识别客户上传的证件照片。」你会先问什么、怎么降低风险?
先写完再打开。
参考答案
小练习
- 适合。 图像、位置不固定、有三千张标注图,可以用预训练模型微调。
- 不适合。 这是表格数据,先用梯度提升或逻辑回归做基线。
- 要换办法。 这是读整页文档,更常用 OCR 加版面解析,或多模态模型,再核对字段。
自测 1
全连接网络把所有像素摊平,参数极多,也不懂「相邻像素有关系」。CNN 用小滤波器扫局部,找边缘等形状,同一滤波器处处共享,参数少,还有平移不变的好处;池化压缩特征图、减少计算,让结果对小位移不敏感。答到「局部滤波器 + 参数共享 + 池化压缩 / 位移不敏感」即算完整。
自测 2
先问数据合规:证件图像是否属于个人资料,能否出银行环境,保存多久,谁能看。再问评估:识别错了的后果、要看召回率还是误报、不同拍摄条件(光线、角度、手机型号)表现如何。降低风险:用预训练模型加银行自己的样本验证,置信度低的转人工,保留可审计的记录,上线后抽样复查。答到「合规 + 评估口径 + 人工复核 + 抽样监控」即算完整。
延伸观看
- StatQuest: Neural Networks Part 8: Image Classification with Convolutional Neural Networks (CNNs) — StatQuest with Josh Starmer:用 6×6 的小图例子讲清滤波器和池化。
上一篇:过拟合与正则化(ALG-12) · 下一篇预告:Attention / Transformer——让每个词直接去看和它相关的其他词。 · 回到索引