常见的几种迁移学习的方式的介绍 & Batch Normalization的原理介绍

2024-01-07 19:06:31

1.使用迁移学习的优势：（1）.能够快速的训练出一个比较理想的结果；（2）.在数据集很小的时候也能训练出不错的结果。

2.需要注意的点：在使用预训练模型参数时，需要尽量保持和之前这个模型训练时数据的预处理方式保持一致，否则可能达不到想要的效果。

3.常见的几种迁移学习的方式：（1）载入预训练模型后训练所有参数；（2）载入权重后只训练最后几层全连接层的参数；（3）载入模型后，在原网络的基础上再加一层全连接层，只训练加的这个全连接层。这3种方式中，第2种是对设备要求最低，也是训练最快的，但是第一种方法能达到的的效果是最好的。

4. Batch Normalization：它是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。一般来说，在图像预处理时，会采用标准化处理，但是随着网络的不断深入，feature map便不再满足均值为0，方差为1了，这时候就需要使用batch normalization了。这个方法第一次火是在resnet模型中运用，具体的原理建议移步一位大佬的博客：Batch normalization原理讲解
?

文章来源:https://blog.csdn.net/qq_43449643/article/details/135388501
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。