📖 标准介绍

激活函数（Activation Function）是人工神经网络中一个至关重要的组成部分，它定义了神经元 从输入到输出的映射规则。在形式上，神经元首先计算输入信号的加权和 z = Σwᵢxᵢ + b， 然后通过激活函数 f 进行非线性变换，得到最终输出 a = f(z)。如果没有激活函数（或使用线性激活函数）， 无论网络有多少层，整体仍然等价于一个线性模型，无法解决复杂的非线性问题。

常见的激活函数包括：sgn（符号函数）、sigmoid（S型函数）、tanh（双曲正切）、ReLU（修正线性单元） 以及线性函数等。它们在输出范围、梯度特性、饱和性等方面各有优劣，适用于不同的网络结构和任务。 例如，sigmoid 将输出压缩到 (0,1) 区间，常用于二分类问题的输出层；ReLU 在正区间保持梯度不变， 有效缓解了深层网络中的梯度消失问题，成为现代深度学习的默认选择之一。

💡 通俗介绍

如果把神经元比作一个“决策者”，激活函数就是它的“性格”。面对同样的输入信息 z， 不同的激活函数会做出不同的反应：

sgn 是一个严格的“是/否”判断者，只输出 -1 或 1（或 0）， 就像开关一样，没有中间状态。
sigmoid 是一个“概率主义者”，把结果压缩到 0 到 1 之间， 告诉你“这件事发生的可能性有多大”。
tanh 与 sigmoid 类似，但把输出范围扩大到 -1 到 1， 相当于把 sigmoid 拉长并中心移到 0。
ReLU 是一个“高效务实派”，当输入为正时，原样输出； 为负时直接输出 0，计算简单，而且在深层网络中表现出色。
linear 则是一个“老实人”，输入什么就输出什么， 不引入任何非线性，适合用于回归问题的输出层。

正是这些不同的“性格”，让神经网络能够灵活地学习从简单到极其复杂的模式。

❓ 解决了什么问题

激活函数解决的核心问题是赋予神经网络非线性建模能力。 在激活函数被引入之前，早期的神经网络（如感知机）只能处理线性可分的问题。 1969年，Minsky 和 Papert 在《Perceptrons》一书中指出了单层感知机的局限性， 尤其是无法解决 XOR（异或）等非线性问题。这一发现导致了神经网络研究的第一次寒冬。

激活函数的引入，使得多层神经网络能够通过堆叠非线性变换来逼近任意复杂的函数。 1989年，Cybenko 等人证明了万能逼近定理（Universal Approximation Theorem）： 只要网络具有至少一个隐藏层，并使用非线性激活函数（如 sigmoid）， 就能以任意精度逼近任何连续函数。这一理论为深度学习的发展奠定了坚实的数学基础。

此外，不同的激活函数还解决了训练过程中的梯度问题。例如，ReLU 在正区间的梯度恒为 1， 有效缓解了深层网络中的梯度消失问题，使得训练数百层的网络成为可能。

⭐ 为什么重要

激活函数是神经网络中不可或缺的非线性引擎。没有它们， 无论网络多深，本质上都只是一个线性回归模型，无法学习复杂的数据模式。 激活函数的选择直接影响网络的表达能力、训练速度和收敛性能。

在深度学习的发展历程中，激活函数的革新多次推动了领域的进步： sigmoid 和 tanh 开启了多层感知机的时代；ReLU 的出现使得训练深层卷积神经网络 （如 AlexNet、VGG、ResNet）成为可能，直接引发了深度学习革命； 后续的 Leaky ReLU、ELU、GELU 等改进版本进一步优化了训练稳定性和性能。

可以说，激活函数是连接线性代数与非线性世界的桥梁， 是神经网络从“线性分类器”进化为“万能逼近器”的关键。

🌐 应用场景

图像识别 语音识别 自然语言处理 推荐系统 强化学习 生成模型

不同的激活函数适用于不同的场景：

sigmoid：常用于二分类任务的输出层，将输出解释为概率。
tanh：常用于循环神经网络（RNN）和生成模型中的隐藏层， 因为其输出以 0 为中心，有利于梯度的流动。
ReLU：现代卷积神经网络（CNN）和深度前馈网络的首选， 计算高效且能缓解梯度消失。
linear：回归问题的输出层，直接输出连续值。
sgn：早期感知机和某些二值神经网络中使用， 也可作为二分类的硬判决。

⚠️ 缺陷与局限

sgn：梯度几乎处处为零，无法用于基于梯度的学习算法； 输出只有离散的取值，信息损失较大。

sigmoid：输出不以零为中心，导致优化路径曲折； 在饱和区（输入很大或很小）梯度趋近于零，容易产生梯度消失； 指数运算计算开销较大。

tanh：虽然以零为中心，但同样存在饱和区梯度消失的问题； 指数运算开销较大。

ReLU：当输入为负时梯度为零，可能导致“死神经元” （某些神经元永远无法激活）；输出不以零为中心； 在负区间没有梯度，限制了学习能力。

linear：不引入非线性，堆叠多层仍然等效于单层线性变换， 无法学习复杂模式。

在实际应用中，通常会根据任务需求、网络深度和计算资源， 选择合适的激活函数，并可能结合批归一化、残差连接等技术来缓解梯度问题。