对比学习学习记录1

2023-12-13 06:07:11

对比学习学习记录

SimCLR Framework

在这里插入图片描述

  • 关键在于定义正负样本
  • 判断异同
  • 相同的就是正例
  • 不同的就是负例
  • 让模型学到其中的规律

在这里插入图片描述

  • 通过encoder对图像提取特征得到一个向量
  • 这里的encoder可以是resnet
  • 还需要定义相似度的函数
  • 计算正负样本之间的距离

在这里插入图片描述

  • 对于上面的图片
  • 首先对图片进行两种随机的数据增强，比如切片或者加上噪声
  • 对图片进行数据增强之后得到的是两个正样本xi,xj
  • 最后将xi,xj输入Encoder进行特征提取得到hi和Hj
  • 针对hi和hj进行MLP得到特征输出zi和zj
  • 最后针对zi和zj进行计算余弦相似度 最小化

在这里插入图片描述

  • 对比学习的batch越大 模型的效果越好

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 数据差异越大 模型学习的效果越好

文章来源:https://blog.csdn.net/qq_44653420/article/details/134954528
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。