AI 算法 ALG-11

ALG-11

神经网络与反向传播:让误差一层层往回,告诉每个权重该怎么改

  • 中等
  • 分类 / 回归(神经网络)

面试频率中高:基础面常问反向传播在算什么、为什么要链式法则;FDE 面经里多是讲清思路,现场手推多层梯度少见

招聘切入

面试官问神经网络,很少要你默写公式,想听的是:网络怎么算出预测、怎么知道错了多少、又怎么把「错」分摊给每一个权重。

这一篇练三件事:说得清前向传播和反向传播各做什么、说得清链式法则在这里的作用、说得清什么时候不该上神经网络。

FDE 现场更常见的是:客户问「为什么不用更简单的模型」「训练不收敛怎么办」。甲方企业内部(银行保险)会追问能不能解释、怎么审计;AI 原生 / 产品公司更关心它和梯度提升这类表格基线相比值不值,以及怎么稳定训练。

适用场景

  • 输入是图像、语音、文本这类非结构化数据,人工做特征很难
  • 关系明显是非线性的,而且有足够多的标注数据
  • 想用一个统一的框架,把多种输入合在一起训练
  • 已有预训练模型,只需在自己的数据上微调

不适用场景

  • 表格数据、样本量不大:梯度提升或随机森林往往更稳、更省事
  • 业务要求逐条给出可审计的理由,而且不能接受事后近似解释
  • 数据很少,网络容易把噪声也背下来
  • 没有算力、没有时间调参,只需要一个快基线

场景

一间香港虚拟银行的客服团队,想把客户留言分成「查余额」「转账失败」「投诉」等几类。留言是短文本,规则写不完。数据团队想先把文字转成向量,再接一个小神经网络做分类,训练时要靠反向传播一遍遍调权重。

概念

一句话:前向算出预测,量出误差,再沿原路往回算「每个权重对误差负多少责任」,按责任大小调一点点。

前向传播。 每一层做两件事:线性组合,再过一个非线性激活函数。

没有激活函数,多层叠起来仍然只是一层线性变换。激活函数让网络能拟合弯的关系。

损失。 用一个数衡量预测错了多少。回归常用平方误差,分类常用交叉熵。比如:

反向传播。 目标是算每个权重的梯度 。网络是一层套一层的复合函数,所以用链式法则,从输出往输入逐层相乘:

前向时把每层的中间值存下来,反向时复用,所以算一遍梯度的代价和前向在同一个量级,不是每个权重各算一遍。

更新。 梯度下降,学习率 :

容易踩的事。 第一,学习率太大会来回震荡,太小会很慢。第二,层数深时梯度可能越乘越小(消失)或越乘越大(爆炸),所以才有合适的激活函数、初始化和归一化。第三,网络很容易过拟合,要留验证集看效果,不能只看训练损失。反向传播只负责算梯度,不保证找到全局最优。

香港落地例子

虚拟银行客服留言分类。下面的数字都是教学示意,不是任何机构的数据。

用最小的网络把过程走一遍:一个输入、一个隐藏单元(ReLU 激活)、一个输出。

  • 输入 ,目标 ,初始权重 ,,学习率
  • 前向:,,损失
  • 反向:
  • ,ReLU 此时是通的,所以
  • 更新:,
  • 再前向一次:,,损失约 0.02,从 4 掉到接近 0

真实网络只是把这个过程放在很多权重、很多样本上重复。

怎么交给业务:

  • 先做一个不用神经网络的基线(比如词袋加逻辑回归),再比,写清楚提升了多少、多花了多少成本
  • 训练集、验证集、测试集分开,报告验证集指标,不只给训练损失
  • 记录学习率、层数、随机种子,保证别人能复现
  • 上线后监控各类别的召回率,客户用语变了要重新评估
  • 需要解释时,说清楚的是「哪些输入影响大」这类事后分析,不是网络内部一条条规则

同一个想法,换一类雇主,侧重不同:

雇主类型为什么会碰到你该怎么用不该怎么用
甲方企业内部(银行保险、地产、基金)客服文本、单据图像量大,规则覆盖不了先和简单基线对比,留复现记录和监控,说明解释的边界在表格小数据上直接上深网络,还说「更先进」
AI 原生 / 产品公司产品本身就依赖模型效果用预训练模型微调,盯验证指标和训练稳定性只看训练损失下降就宣布模型好了
大厂云与平台客户会问怎么选算力和训练服务讲清楚数据量、训练成本和效果的取舍一上来推荐最大的模型
咨询与系统集成客户现有系统是规则或传统模型先论证值不值得换,做小范围对比试点不做对比就提议整体替换

面试怎么说

面对银行内部 FDE 岗的面试官,大约可以说:

“A neural network stacks layers that each do a linear step and then a non-linear activation. Training is a loop: a forward pass to get the prediction, a loss to measure the error, and backpropagation to compute how much each weight contributed to that error. Backpropagation is just the chain rule applied layer by layer, reusing the values from the forward pass, so it is cheap. Then gradient descent nudges each weight a little. In practice I would compare it with a simple baseline first, because on small tabular data gradient boosting is often just as good, and I would watch the validation loss, not only the training loss, to catch overfitting.”

现场用客户习惯的语言(粤语或普通话)讲清楚「先算预测,再把错误往回分摊给每个权重,一点点改」;基线对比、验证指标和复现记录,用英文写进确认邮件或方案。

小练习

下面三件事,哪一件适合上神经网络?各用一句话说出理由。

  1. 几万条客服短文本,要分成十来类,规则写不完
  2. 两千行、二十列数字的理赔表,业务要求逐条给出理由
  3. 训练损失一直在降,验证损失从第 5 轮起开始上升

自测

  1. 反向传播在算什么?为什么要用链式法则?
  2. 面试官说:「假设你在一间咨询公司,客户的风控模型现在是逻辑回归,想整体换成神经网络。」你怎么答?

先写完再打开。

参考答案

小练习

  1. 适合。 非结构化文本、数据量够、规则难写,是神经网络的舒适区;仍然要先有简单基线。
  2. 不适合。 表格小数据,又要逐条理由,梯度提升或逻辑回归更合适。
  3. 过拟合信号。 验证损失回升说明开始背训练集,要早停、加正则或减小网络,而不是继续训练。

答到「1 适合;2 不适合;3 过拟合」即算完整。

自测 1

反向传播算的是损失对每个权重的梯度,也就是每个权重对误差的责任。网络是一层套一层的复合函数,用链式法则把各层的导数从输出往输入逐层相乘,并复用前向时存下的中间值,所以代价和前向相近。答到「算梯度 + 链式法则逐层相乘 + 复用前向中间值」即算完整。

自测 2

先不反对,也不直接同意换。问清楚换的目的:是效果不够,还是想处理新的数据类型。然后建议先做小范围对比试点:同一份数据,同样的验证方法,比较两者的指标;同时比较可解释性、训练和维护成本、监管审计的要求。逻辑回归本身可解释、好审计,若提升不明显,就保留。若要换,旧模型先并行跑一段时间,再切换。答到「问清目的 + 同口径对比试点 + 比解释和成本 + 并行切换」即算完整。

延伸观看

  1. StatQuest: Neural Networks Pt. 2: Backpropagation Main Ideas — StatQuest with Josh Starmer:用小例子讲清反向传播在做什么。
  2. StatQuest: The Essential Main Ideas of Neural Networks — StatQuest with Josh Starmer:先看清神经网络前向在做什么。

上一篇:主成分分析(ALG-10) · 下一篇:过拟合与正则化(ALG-12) · 回到索引

在 GitHub 上查看源文