梯度下降简介

2024-01-02 18:28:14

梯度下降简介




1、背景概述


在Scikit-Learn线性回归第一篇文章（详见：传送门）中，我们给出了线性回归的损失函数的定义：
L = ∑ i = 1 m ( y i ? f ( x i ) ) 2 L=\sum_{i=1}^m(y_i-f(x_i))^2 L=i=1∑m?(yi??f(xi?))2

回忆一下，损失函数主要用于评估模型拟合的好坏，损失函数衡量了我们构造的模型的预测值与真实值的差异，因此，我们希望我们的预测结果与真实值的差异越小越好。也就是我们希望损失函数取得最小值

损失函数取得最小值是我们构建模型的本质要求，求解模型的特征向量 ω \omega ω是我们构建模型的核心问题

根据损失函数（最小二乘法），我们的求解目标可以转换为求解误差平方和（残差平方和）最小值：
m i n ω = ∣ ∣ Y ? X ω ∣ ∣ 2 2 min_\omega={||Y-X\omega||_2}^2 minω?=

文章来源:https://blog.csdn.net/weixin_55629186/article/details/135342430
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。