机器学习笔记 - Swish激活函数是否更好一点？

2023-12-20 08:35:41

一、Swish激活函数简述

        首先，Swish 是像 ReLU、sigmoid 和 tanh 一样的非线性函数，使神经网络能够对输入和输出之间的复杂关系进行建模。非线性函数对于深度学习的工作至关重要，因为它们能够捕获和表示复杂的模式。

        与 ReLU 等其他常用激活函数相比，Swish 具有独特的形状。它的形状更像是 sigmoid 函数，随着输入值的增加，输出平滑且逐渐增加。此功能使 Swish 在处理各种输入方面更具适应性和效率。

        Swish 定义为 x \cdot \sigma (\beta x)，其中\sigma (z) = (1 + exp(-z))^{-1} 是 sigmoid 函数，β 是常数或可训练参数。研究人员选择 Swish 而不是其他激活函数，因为它泛化能力更好。

import matplotlib.pyplot as plt
import numpy as np

def swish(x):
    return x * sigmoid(x)

文章来源:https://blog.csdn.net/bashendixie5/article/details/135093162
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。