激活函数-SwiGLU

2023-12-18 16:17:56

SwiGLU

SiLU 函数是一种神经网络中的激活函数，全称是 Sigmoid Linear Unit, 也被称为 Swish 函数。它由 Google Brain 在 2017 年提出，是一种非线性激活函数，能够有效地对神经网络的输入进行非线性变换。

定义

f ( x ) = x ? σ ( x ) f(x) = x * \sigma (x) f(x)=x?σ(x)

其中： σ ( x ) = 1 1 + e ? x \sigma(x) = \frac{1}{1+e^{-x}} σ(x)=1+e?x1?

SiLU 函数的特点如下：

  • 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
  • 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
  • SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
  • SiLU函数不是单调递增的，而是在x≈?1.28时达到全局最小值?0.28，这可以起到一个隐式正则化的作用，抑制过大的权重

图形如下

在这里插入图片描述

pytorch SILU用示例

m = nn.SiLU()
input = torch.randn(2)
output = m(input)

文章来源:https://blog.csdn.net/Elvira521yan/article/details/135061417
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。