大模型实战营Day2 轻松玩转书生·浦语大模型趣味Demo

2024-01-07 19:41:19

大模型:参数数量巨大,拥有庞大计算能力和参数规模的模型

InternLM :是一个开源的轻量级训练框架,旨在支持模型预训练,而无需广泛的依赖关系。通过单一代码库,它支持在具有数千个 GPU 的大规模集群上进行预训练,并在单个 GPU 上进行微调,同时实现显著的性能优化。InternLM 在 1024 个 GPU 上训练期间实现了近 90% 的加速效率。

基于?InternLM?训练框架,上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B?和?InternLM-20B

Lagent?是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。通过?Lagent?框架可以更好的发挥?InternLM?的全部性能。

浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型,提供出色的图文理解和创作能力,结合了视觉和语言的先进技术,能够实现图像到文本、文本到图像的双向转换。使用浦语·灵笔大模型可以轻松的创作一篇图文推文,也能够轻松识别一张图片中的物体,并生成对应的文本描述。

通用环境配置

pip换源

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple

conda设置默认源

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

配置本地端口:

本地生成SSH 密钥对,将公钥放置`InternStudio`平台

ssh-keygen -t rsa

基于SSH隧道方式,将服务器上的特定端口(我的是34089)映射到本地计算机的端口(例如: 6006)

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 34089

模型下载:

Hugging Face

使用 Hugging Face 官方提供的?huggingface-cli?命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建 python 文件,填入以下代码,运行即可。

  • resume-download:断点续下
  • local-dir:本地存储路径。(linux 环境下需要填写绝对路径)
import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

以下内容将展示使用?huggingface_hub?下载模型中的部分文件

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json")
ModelScope

使用?modelscope?中的?snapshot_download?函数下载模型,第一个参数为模型名称,参数?cache_dir?为模型的下载路径。

注意:cache_dir?最好为绝对路径。

安装依赖:

pip install modelscope==1.9.5
pip install transformers==4.35.2

在当前目录下新建 python 文件,填入以下代码,运行即可。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')
OpenXLab

OpenXLab 可以通过指定模型仓库的地址,以及需要下载的文件的名称,文件所需下载的位置等,直接下载模型权重文件。

使用python脚本下载模型首先要安装依赖,安装代码如下:pip install -U openxlab?安装完成后使用 download 函数导入模型中心的模型。

from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')

文章来源:https://blog.csdn.net/li4692625/article/details/135439314
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。