反向传播与梯度下降

当我们训练神经网络时，我们的目标是使网络的输出尽可能接近期望的输出。

通过调整网络的参数（权重和偏置），我们可以减小网络的输出与期望输出之间的差距。反向传播和梯度下降是两个关键步骤，用于计算并更新这些参数。

反向传播是一种计算梯度的方法，它基于链式法则来计算每个参数对网络误差的贡献。具体而言，反向传播从网络的输出层开始，通过将误差向后传递到每一层，计算每个参数对误差的影响。这样，我们可以知道如何微调每个参数，以减小误差。反向传播的过程可以分为以下几个步骤：

1. 前向传播：从输入开始，按照网络的定义，将数据沿着网络进行正向传递，得到输出。

2. 计算损失函数：将网络的输出与期望输出进行比较，计算出网络的误差（损失函数）。

3. 反向传播：从输出层开始，计算每个参数对误差的贡献。首先计算输出层的梯度，然后向前依次计算每一层的梯度，直到第一层。

4. 参数更新：根据梯度的信息，使用梯度下降算法来更新网络参数。梯度下降算法根据梯度的方向和大小调整参数的值，以最小化代价函数。

梯度下降是一种优化算法，用于最小化代价函数。它基于梯度的信息来指导参数的更新方向。梯度是代价函数对参数的偏导数，它告诉我们在当前参数值下，代价函数增加最快的方向。因此，梯度下降算法将参数朝着梯度的相反方向进行更新，以减小代价函数。

具体而言，梯度下降算法可以分为两种形式：批量梯度下降和随机梯度下降。

• 批量梯度下降（Batch Gradient Descent）：在每个训练周期中，计算整个训练集的梯度，并使用梯度的平均值来更新参数。这种方法通常需要更多的计算资源，但收敛较为稳定。

• 随机梯度下降（Stochastic Gradient Descent）：在每个训练样本上计算梯度，并使用单个样本的梯度来更新参数。这种方法计算速度较快，但可能会存在一些噪声。

除了批量梯度下降和随机梯度下降，还有一种折中的方法，称为小批量梯度下降（Mini-batch Gradient Descent），它在每个训练周期中计算一小部分训练集的梯度，并使用这些梯度的平均值来更新参数。小批量梯度下降通常是实际应用中最常用的方法。

通过反向传播计算梯度，然后使用梯度下降算法更新参数，可以不断优化神经网络，使其逐渐接近最优解，从而提高网络的性能和准确性。