大模型实战营第二期——1. 书生·浦语大模型全链路开源开放体系

2024-01-08 23:21:39

1. 实战营介绍

2. 书生·浦语大模型介绍

在这里插入图片描述

  • 数据:汇聚 5400+ 数据集,涵盖多种模态与任务,更多数据集
  • 预训练:并行训练,极致优化,速度达到 3600 tokens/sec/gpu
  • 微调:全面的微调能力,支持SFT,RLHF和通用工具调用
  • 部署:全链路部署,性能领先,每秒生成 2000+ tokens
  • 评测:全方位评测,性能可复现,50 套评测集,30 万道题目

在这里插入图片描述

2.1 数据

在这里插入图片描述
OpenDataLab的知乎文章:多模态语料库 “书生·万卷” 1.0 详细解读 | 附下载地址

也是来自论文的

在这里插入图片描述
https://opendatalab.com/home

2.2 预训练

在这里插入图片描述

预训练与微调使用教程

2.3 微调

在这里插入图片描述

在这里插入图片描述
SFT(ScalableFine-Tuning) 是一种用于自然语言处理的技术,它通过对预训练的语言模型进行微调,使其适应特定任务

https://github.com/InternLM/xtuner

预训练与微调使用教程

在这里插入图片描述

2.4 评测

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

https://opencompass.org.cn/

在这里插入图片描述

在这里插入图片描述

2.5 部署

在这里插入图片描述

在这里插入图片描述
https://github.com/InternLM/lmdeploy

在这里插入图片描述

2.6 智能体(应用)

在这里插入图片描述

在这里插入图片描述

https://github.com/InternLM/lagent

在这里插入图片描述

在这里插入图片描述
https://github.com/InternLM/agentlego

文章来源:https://blog.csdn.net/Castlehe/article/details/135372922
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。