大模型概述

2023-12-15 16:16:51

文章目录

大模型

所谓 大：模型结构大， 参数量大，训练数据量大

  • 大模型包含数十亿个参数，模型大小可以达到数百GB甚至更大。这种巨大的模型规模为其提供了强大的表达能力和学习能力
  • 多任务学习：大模型通常会一起学习多种不同的任务，如NLP中机器翻译、文本摘要、问答系统等，CV中，多模态中。这可以使模型学习到更广泛和泛化的理解能力。
  • 丰富的数据：大模型需要大量的数据来进行训练，只有大量的数据才能发挥大模型的参数规模优势。
    在这里插入图片描述
  1. 预训练模型，下游任务，数据集，参数量
  2. 市场上的应用
  3. 结合我们的业务场景可以做什么应用

语言大模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

语言大模型综述

视觉大模型

420B token的数据集让模型可以通过上下文学习来理解并执行下游任务，并且统一了图片/视频、有监督/无监督、合成/真实、2D/3D/4D等几乎所有的数据形式。
在这里插入图片描述

在这里插入图片描述
Sequential Modeling Enables Scalable Learning for Large Vision Models

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

多模态大模型

  1. 基础大模型训练
  2. 下游任务检验大模型的能力
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

文章来源:https://blog.csdn.net/qq_45842681/article/details/135006200
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。