机器学习---逻辑回归算法

2023-12-14 09:43:05

1、逻辑回归

逻辑回归又叫logistic回归分析,是一种广义的线性回归分析模型。线性回归要求因变量必须是连续性的数据变量,逻辑回归要求因变量必须是分类变量,可以是二分类或者多分类(多分类都可以归结到二分类问题),逻辑回归的输出是0~1之间的概率。比如要分析年龄,性别,身高,饮食习惯对于体重的影响,如果体重是实际的重量,那么就要使用线性回归。如果将体重分类,分成了高,中,低三类,就要使用逻辑回归进行分类。

逻辑回归公式:f(z)=\frac{1}{1+e^{-z}}

其中,e是自然对数,无限不循环小数,e\approx 2.718281828459...

逻辑回归公式又叫逻辑函数(Logistic function)或者S形函数(Sigmoid function)。逻辑回归公式的图像如下:

即当z=0时,f(z)=0.5,当z \to +\infty?时,f(z)趋近于1,当z \to -\infty时,f(z)趋近于0。逻辑回归的输出f(z)就是位于0~1之间的概率,假设现在判断病人是否生病,得到的z=2对应的

f(z)=0.7我们可以归结为生病,如果z=-2对应的f(z)=0.1我们就可以认为不生病。当z=0时,

f(z)=0.5是决策的边界。

假设z=w_{0}+w_{1}x_{1}+w_{2}x_{2}w_{0}w_{1}w_{2}都大于零,那么当z=0时,f(z)=0.5。也就是

w_{0}+w_{1}x_{1}+w_{2}x_{2}=0时,f(z)=0.5,当z=0时使用图像来表达两个自变量的关系为:

图中A、B、C、D、E点都表示有x_{1}x_{2}两个维度的数据,现要使用逻辑回归对五个点分成两类:I和II类,A点和B点都在直线上,对应的z值是0,那么逻辑回归结果f(z)=0.5,将A,B两点划分为I类和II类都可以,假设我们规定当z>=0属于I类,z<0属于II类,那么A,B属于I类。C点位于直线的上方,对应的z值要大于零,反映到S形函数上对应的f(z)>0.5属于I类,同理,E也属于I类,D点属于II类。图中E点的z值远大于C点的z值,反映到S形函数中,E点属于I类的概率比C点属于I类的概率要大的多。训练逻辑回归模型,在这里就是训练出一条直线将两个类别的点隔开。如果维度是3,那么训练逻辑回归模型就是训练一个平面将两个类别的点隔开。如果维度大于3,那么训练逻辑回归模型就是训练一个超平面将两个类别的点隔开。

文章来源:https://blog.csdn.net/yaya_jn/article/details/134940865
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。