激活函数汇总

Question

如题所述

Answer 1

激活函数汇总：

Sigmoid函数：

特性：将输入映射到区间，适用于二分类问题。优点：易于实现，对01区间进行标准化。缺点：存在梯度消失和饱和问题，限制反向传播的学习速度。

Tanh函数：

特性：值域为，输出更加集中，提供更细粒度的表示。优点：激活值分布紧凑。缺点：同样存在梯度消失问题。

ReLU函数：

特性：简洁高效，广泛应用于深度学习。优点：易于计算，防止梯度消失。缺点：可能产生死亡神经元。

LeakyReLU：

特性：改进的ReLU，通过设置负斜率值解决梯度消失问题。优点：保持ReLU的大部分优点，引入梯度流。缺点：实际效果不一定总优于ReLU。

PReLU：

特性：引入可训练参数调整负斜率。优点：提供更好的拟合能力。缺点：需要额外的参数。

RELU6函数：

特性：限制ReLU的输出范围为。适用场景：需要限制输出范围的场景，如Mobilev1模型。

RReLU：

特性：训练时随机选择负斜率的范围，测试时固定为平均值。适用情况：理论上性能更好，但实际应用不广泛。

Hardsigmoid函数：

特性：分段线性函数近似sigmoid，加速计算。

Hardtanh函数：

特性：分段线性函数近似tanh，提供快速计算。

Hardswish函数：

特性：两端采用线性近似，适用于轻量级模型，如MobileNetv3。

ELU函数：

特性：引入负输入时的指数增长，减少饱和问题。优点：更好地处理负输入。缺点：计算更复杂。

SELU函数：

特性：使输入输出的均值和方差保持稳定，有利于网络训练。注意：参数通常不是通过训练学习的。

GELU函数：

特性：通过高斯分布累计概率函数实现，提供平滑的非线性转换。

CELU：

特性：对ELU函数的改进，允许调整负半边的斜率。

LogSigmoid函数：

特性：对Sigmoid函数进行对数变换，常用于概率估计。

Softplus函数：

特性：平滑ReLU函数，实现连续非线性映射，适用于概率模型。

Softshrink函数：

特性：对输入进行硬阈值处理后，对剩余部分进行缩放，适用于特征选择。

Softsign函数：

特性：通过缩放和剪裁，将输入限制在区间，保持线性增长特性。

Tanhshrink函数：

特性：通过线性减法和硬阈值处理，将输入限制在区间。

Threshold函数：

特性：输入达到阈值时返回特定值，提供硬决策过程。

GLU函数：

特性：通过门控机制将输入线性地分为两部分，适用于门控循环网络。

Softmax函数：

特性：将输入向量转化为概率分布，常用于分类问题。

Softmin函数：

特性：输出是概率分布的倒数，适用于特殊场景。

Softmax2d函数：

特性：扩展Softmax至二维输入，适用于图像分类等任务。

Logsoftmax函数：

特性：将Softmax操作与对数运算结合，提高数值稳定性。

AdaptiveLogSoftmaxWithLoss：

特性：为大输出空间模型设计的优化策略，通过基于标签频率分组，加速计算。

Swish函数：

特性：通过乘法操作引入自适应非线性，简化神经网络计算。

Snake激活函数：

特性：专门用于处理周期性数据，如语音生成模型。