《深度学习》—— 神经网络中常用的激活函数

激活函数（Activation Function）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。它在神经网络中扮演着至关重要的角色，主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。

1. Sigmoid 激活函数

• 函数定义：Sigmoid函数是一种S型函数，也称为S型生长曲线或Logistic函数。其数学表达式为：
  
• 特点：
  • 能够将输入的连续实值变换为0和1之间的输出，适合用作二分类的输出层
  • 函数平滑且易于求导
• 缺点：
  • 激活函数计算量大，反向传播求误差梯度时涉及除法运算
  • 反向传播时容易出现梯度消失的情况，影响深层网络的训练
• 函数图像：
  

2. Softmax 激活函数

• 函数定义：Softmax函数通常用于多分类问题的输出层，其数学表达式为：
  
• 特点：
  • 将输出转化为概率分布，所有输出值之和为1
  • 非常适合多分类问题
• 函数图像：
  

3. ReLU 激活函数

• 函数定义：ReLU函数是线性整流函数，其数学表达式为：
  
• 特点：
  • 解决了梯度消失问题
  • 计算速度非常快，收敛速度远快于Sigmoid和Tanh
• 缺点：
  • 输出的不是以0为中心
  • 某些神经元可能永远不会被激活（Dead ReLU）
• 函数图像：
  

4. Leaky ReLU 激活函数

• 函数定义：Leaky ReLU函数是ReLU函数的改进版，其数学表达式为：
  
  • α 是一个很小的常数
• 特点：
  • 继承了ReLU函数的优点
  • 解决了Dead ReLU问题
• 函数图像：
  

5. ELU 激活函数

• 函数定义：ELU函数是另一种ReLU函数的改进版，其数学表达式为：
  
• 特点：
  • 解决了ReLU的Dead ReLU问题
  • 在所有点上都是连续且可微的
  • 相比ReLU及其变体，在某些情况下能提高训练速度和准确度
• 函数图象：
  

6. Tanh 激活函数

• 函数定义：Tanh函数是双曲正切函数，其数学表达式为：
  
• 特点：
  • 解决了Sigmoid函数不以0为中心输出的问题
  • 函数输出范围在-1到1之间，更接近数据真实分布
• 缺点：
  • 仍然存在梯度消失的问题
  • 涉及幂运算，计算相对复杂
• 函数图像：