误差逆传播算法

Backpropagation —— 神经网络学习的核心引擎

Deep Learning · Gradient Descent

📐 核心公式

误差逆传播（Backpropagation，BP）算法由 Rumelhart、Hinton 和 Williams 于1986年推广，是训练多层神经网络最常用的算法。它通过链式法则将输出层的误差反向传播到隐藏层，计算损失函数对每个权重的梯度，然后利用梯度下降更新参数。以下展示一个典型2-2-1神经网络（输入层2个神经元，隐藏层2个，输出层1个）的公式。

前向传播： $$h_j = \sigma\left(\sum_{i=1}^{2} w_{ij} x_i + b_j\right), \quad j=1,2$$ $$y = \sigma\left(\sum_{j=1}^{2} v_j h_j + c\right)$$

损失函数（均方误差）： $$E = \frac{1}{2}(y - t)^2$$

输出层误差： $$\delta_y = \frac{\partial E}{\partial y} \cdot \sigma'(z_y) = (y - t) \cdot y(1-y)$$

隐藏层误差： $$\delta_j = v_j \cdot \delta_y \cdot h_j(1-h_j), \quad j=1,2$$

权重更新（梯度下降）： $$v_j \leftarrow v_j - \eta \frac{\partial E}{\partial v_j} = v_j - \eta \delta_y h_j$$ $$w_{ij} \leftarrow w_{ij} - \eta \frac{\partial E}{\partial w_{ij}} = w_{ij} - \eta \delta_j x_i$$ $$c \leftarrow c - \eta \delta_y, \quad b_j \leftarrow b_j - \eta \delta_j$$

📋 参数说明

x₁, x₂（输入）输入层的两个特征值，是神经网络接收的原始数据。

h₁, h₂（隐藏层）隐藏层神经元的输出，通过sigmoid激活函数计算得到。

y（输出）输出层神经元的预测值，经过sigmoid函数映射到(0,1)。

t（目标值）期望输出，训练样本的真实标签。

wᵢⱼ（输入到隐藏层权重）连接输入层第i个神经元与隐藏层第j个神经元的权重。

vⱼ（隐藏层到输出权重）连接隐藏层第j个神经元与输出层神经元的权重。

bⱼ, c（偏置）隐藏层和输出层的偏置项，允许神经元在输入为零时激活。

σ（sigmoid函数）激活函数，将净输入映射到(0,1)区间，σ(z)=1/(1+e⁻ᶻ)。

η（学习率）控制权重更新的步长，过大可能导致震荡，过小则收敛缓慢。

E（损失）均方误差，衡量预测值与目标值之间的差距。

🎛️ 交互式模拟

这是一个2-2-1结构的神经网络。调整输入、目标值和学习率，设置初始权重，然后点击"执行一步训练"观察前向传播、误差计算和反向传播更新权重的过程。

⚙️ 参数控制

输入 x₁ 0.50

输入 x₂ 0.80

目标值 t 1.00

学习率 η 0.50

初始权重与偏置（改变后自动重置训练）：

w₁₁ 0.30

w₂₁ -0.20

w₁₂ 0.50

w₂₂ 0.40

b₁ 0.10

b₂ -0.10

v₁ 0.60

v₂ -0.30

c 0.20

当前输出 y

0.50

损失 E

0.13

训练步数: 0

🔗 网络结构（2-2-1）

📈 损失下降曲线

📖 标准介绍

误差逆传播算法（Backpropagation，BP）是训练人工神经网络的核心算法之一，由Rumelhart、 Hinton和Williams在1986年发表的论文中系统阐述并推广。BP算法基于梯度下降优化理论，利用链式法则高效计算损失函数对网络中每一个权重的偏导数，从而指导权重的更新。其核心思想是：首先通过前向传播计算网络的输出，然后计算输出与期望目标之间的误差，接着将该误差从输出层向输入层逐层反向传播，在传播过程中计算每个神经元的误差信号，并据此更新连接权重和偏置。

BP算法使得多层神经网络的训练成为可能，克服了单层感知机的线性局限。它奠定了深度学习的基础，至今仍广泛用于各种神经网络架构（如CNN、RNN、Transformer等）的训练中。尽管现代深度学习框架自动计算梯度，但理解BP算法对于深入掌握神经网络的工作原理至关重要。

💡 通俗介绍

想象你在教一个孩子投篮。你告诉他球应该往哪个方向扔，他扔了一次，球偏左了。于是你说：“往右一点。”他调整了一下，再扔，这次偏右了。你又说：“再往左一点。” 经过多次调整，他的投篮越来越准。这个过程中，你其实在根据“误差”（球离篮筐的距离）不断指导他调整动作。

BP算法做的事情类似。神经网络就像一个投篮者，它先随便扔一次（前向传播），看看离目标有多远（计算损失）。然后，它分析“哪个动作导致了偏差？” 如果某个权重（力量大小、角度）对偏差影响大，就多调整它；影响小，就少调整。这个“分析哪个动作导致偏差”的过程就是反向传播——从最终误差出发，通过链式法则追溯每个参数对误差的贡献，然后用梯度下降逐步修正。经过大量训练，神经网络的“投篮”就会越来越准。

❓ 解决了什么问题

BP算法解决了多层神经网络中隐层权重的训练问题。在BP算法提出之前，感知机只有输入层和输出层，可以直接根据误差调整权重。但对于多层网络，隐藏层没有直接的期望输出，如何调整隐藏层的权重是一个难题。

BP算法通过误差反向传播巧妙地解决了这个问题：它将输出层的误差按照连接权重分配到隐藏层，从而为隐藏层神经元提供一个“虚拟误差”，然后就可以像输出层一样更新隐藏层权重。这一创新使得训练任意深度的前馈网络成为可能，直接推动了神经网络研究的复兴。

此外，BP算法与梯度下降的结合，提供了一种通用的参数优化框架，可以用于训练各种可微模型，包括CNN、RNN、Transformer等。可以说，几乎所有现代深度学习模型的训练都依赖于BP算法的思想。

⭐ 为什么重要

BP算法是深度学习的技术基石。没有BP算法，就没有现代深度学习。它使得训练多层网络从理论可能变为工程现实，直接催生了20世纪80年代末至90年代初的神经网络研究热潮。虽然此后深度学习经历了低谷，但BP算法的核心思想一直被保留，并在2006年深度学习复兴后成为不可或缺的工具。

从数学角度看，BP算法本质上是链式法则的高效实现。它利用计算图动态规划的特性，避免了重复计算梯度，将计算复杂度从指数级降低到线性级，使得训练大规模网络成为可能。现代深度学习框架（如TensorFlow、PyTorch）内置的自动微分功能，其核心原理仍然是BP算法。

此外，BP算法还启发了许多后续优化技术，如动量法、Adam、RMSprop等，它们都是在BP计算的梯度基础上改进更新规则，以提高训练速度和稳定性。理解BP算法是深入学习和研究深度学习的必经之路。

🌐 应用场景

图像识别语音识别自然语言处理推荐系统医疗诊断金融预测自动驾驶游戏AI

BP算法几乎贯穿了所有深度学习应用场景：

计算机视觉：训练卷积神经网络（CNN）进行图像分类、目标检测、语义分割；
自然语言处理：训练循环神经网络（RNN）、长短时记忆网络（LSTM）、Transformer用于机器翻译、文本生成等；
语音识别：训练深度神经网络将声学特征映射到音素或字符；
推荐系统：训练深度协同过滤模型学习用户和物品的嵌入表示；
强化学习：训练策略网络和价值网络，如AlphaGo中的深度神经网络。

任何需要从数据中学习复杂映射关系的任务，都离不开BP算法。它是连接数据与模型的桥梁，是机器学习工程师的必备知识。

⚠️ 缺陷与局限

1. 梯度消失与梯度爆炸：在深层网络中，使用sigmoid等饱和激活函数时，梯度在反向传播过程中会指数级衰减（消失）或增长（爆炸），导致训练困难。

2. 容易陷入局部最优：损失函数通常是非凸的，梯度下降可能收敛到局部最小值而非全局最优解。虽然在实践中往往能取得不错的效果，但理论上无法保证全局最优。

3. 对初始权重敏感：不合适的权重初始化可能导致收敛缓慢或陷入不良的局部极小。需要采用Xavier、He等初始化方法。

4. 需要大量计算资源：训练大型网络需要反复进行前向和反向传播，计算开销巨大，尤其是在数据量和模型规模增大时。

5. 过拟合风险：BP算法训练的模型参数众多，容易在训练数据上过拟合，需要正则化、Dropout、早停等技术来缓解。

6. 学习率选择困难：学习率过大可能导致训练震荡甚至发散，过小则收敛缓慢。通常需要手动调参或使用自适应学习率算法。

尽管存在这些局限，BP算法仍然是目前训练神经网络最有效的方法之一。大量改进技术（如ReLU激活、批归一化、残差连接等）已经有效缓解了上述问题，使得深度网络能够成功训练。