机器学习基本概念2
资料来源:
https://www.youtube.com/watch?v=Ye018rCVvOo&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J&index=1
https://www.youtube.com/watch?v=bHcJCp2Fyxs&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J&index=2
分三步
1、 定义function
b和w是需要透过知识去获取的,是未知的
做机器学习,需要Domain Knowledge,这些知识就是用来解b和w
这里的函式,就叫做Model
我们知道2月25号的人数是多少,就叫feauture
2、 定义Loss
Loss is a function of parameters
真实的值叫Label(正确的数值)
可以算出来最近3年的误差,把所有的误差加起来,算出来一个L,这就是我们的Loss,值越大,说明越不好
MAE和MSE的区别和选择具体而定,还有Cross-entropy
真实的后台统计数据例子
越偏红色,代表Loss越大,偏蓝色,Loss越小,那在预测的时候,w为0.75 b代500,可能预测会更准
3、最佳化算法
做法: Gradient Descent
如何做: 当w不同的值时,会得到不同的Loss,
怎么找到w,让Loss最小,随机选取初始化的点 w0(有一些方法可以更科学的找到这个值)
计算w对l的微积分,计算error surface的斜率,如果这个斜率的值为负数,
把w的值变大,Loss就会小
跨步要多大呢?
斜率大,就跨大
学习速率是自己设定的
Loss的值为什么会是负数?
因为这个函数是自己定义的,Loss的定义的估算的值和实际的值的绝对值,如果根据刚刚的定义,不可能为负数
但上面的这个例子不是真实的案例,error surface 可能是任何形状
hyperparameter,自己设定的
什么时候会停止下来?一般两种情况
a、 前期设定了这个参数,例如次数
b、 达到了理想的状态
Gradient Descent上面找不到最佳的loss值,因为随机的位置不一样
Local minima是个假的问题,具体为什么,后面会讲
两个参数,如何做上面的Graddient Descent?
例子
课程总结:
这三个步骤合并起来,叫做训练
2021年的误差还是比较大的,怎么做的更好? 分析下数据
蓝色线相当于把红色右移了一天而已,每隔7天就是一个循环
这个model是一个比较坏的,我们可以拿7天的周期来进行修改
x叫做feature
上面的叫做Linear Model,我们后面看下怎么把Linear Model做的更好
Linear Model 太过简单了
我们需要写出更复杂,更多未知参数的function
1除以1+Exponential-b+wx1,再乘以constant常数
当b+wx1趋向于无穷大的时候,会发生什么事呢,Exponential会消失,当X1非常大的时候,这一条线会收敛在高度是C的地方
当b+wx1趋向于负的无穷大,分母会非常大,Y的值会趋近于0
S型的function,叫做sigmoid
我们需要各式各样合适蓝色的function,那这个蓝色function怎么出来呢,需要调整b和w
改w,会改变斜率,斜坡的坡度
修改b呢,会左右移动
修改c,会改变高度
可以制造出不同
把0和1和2和3都加起来
summation,b是constant
假设b,c,w是未知参数,有弹性,有未知参数的函式
Transpose
X输入,我们的Feature是X这个向量,X乘上矩阵W加上向量b,得到向量r,再把向量r,通过Sigmooid Function得到向量a,
再把向量a跟乘上c的Transpose加上b,就得到了y
不同的表示方式,上面是图示化的方式,下面是线性代数的表示方式
在参数小的情况下,穷举所有的可能就行,不需要使用Gradient Descent
Sigmoid 可以有多个,会产生越多线段的 Piecewise Linear的function,你就可以逼近越复杂的function
至于需要几个Sigmoid,这是另外的Hyper Parameter,这个自己决定
Loss function
Update和Epoch是不一样的东西
每次更新一次参数叫做一次update,把所有的Batch都看过一遍,叫做一个Epoch
为什么要分成一个一个的batch?
激活函数
哪种比较好?? Relu好一些
我们还可以继续改我们的模型
我们可以把重复的事情,反复的再多做几次,这里的几次,又是另外一个超参数
模型也需要一个好的名字
这个是在模拟人脑
Deep Learning的由来。。。。
只要有足够多的ReLU或者Sigmoid,就能够逼近任何连续的Function
反复用的意义在哪里?
过多的层数效果不一定好
神经网络结构那部分讲的太精彩了。从简单的线性回归开始,到用几个简单线性函数去逼近一个分段线性函数,然后提出用sigmooid和线性逼近曲线,然后自然而然引出神经网络的基本结构。输入特征,参数,激活函数..等等概念自然而然都出来了
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!