【多模态对话】《颠覆性创新：多模态对话与精准区域分割》学习笔记

2023-12-20 06:50:53

【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割 - VPGTrans & NExT-Chat》

1 VPGTrans

1.1 研究问题

1.1.1 模态对齐预训练开销很大：训练时间长

解决方案：迁移已有的VPG(比如BLIP-2 OPT 27B上的VPG)

在这里插入图片描述

1.2 训练技巧：两步框架

  1. Projector初始化大学习率warm-up（加速+防止掉点正常训练）
  2. 正常训练

在这里插入图片描述

文章来源:https://blog.csdn.net/songyuc/article/details/135097733
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。