大模型实战营Day2 轻松玩转书生·浦语大模型趣味Demo

大模型：参数数量巨大，拥有庞大计算能力和参数规模的模型

InternLM ：是一个开源的轻量级训练框架，旨在支持模型预训练，而无需广泛的依赖关系。通过单一代码库，它支持在具有数千个 GPU 的大规模集群上进行预训练，并在单个 GPU 上进行微调，同时实现显著的性能优化。InternLM 在 1024 个 GPU 上训练期间实现了近 90% 的加速效率。

基于?InternLM?训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B?和?InternLM-20B。

Lagent?是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。通过?Lagent?框架可以更好的发挥?InternLM?的全部性能。

浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力，结合了视觉和语言的先进技术，能够实现图像到文本、文本到图像的双向转换。使用浦语·灵笔大模型可以轻松的创作一篇图文推文，也能够轻松识别一张图片中的物体，并生成对应的文本描述。

通用环境配置

pip换源

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple

conda设置默认源

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

配置本地端口：

本地生成SSH 密钥对，将公钥放置`InternStudio`平台

ssh-keygen -t rsa

基于SSH隧道方式，将服务器上的特定端口(我的是34089)映射到本地计算机的端口(例如: 6006)

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 34089

模型下载：

Hugging Face

使用 Hugging Face 官方提供的?huggingface-cli?命令行工具。安装依赖:

pip install -U huggingface_hub

然后新建 python 文件，填入以下代码，运行即可。

• resume-download：断点续下
• local-dir：本地存储路径。（linux 环境下需要填写绝对路径）

import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

以下内容将展示使用?huggingface_hub?下载模型中的部分文件

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json")

ModelScope

使用?modelscope?中的?snapshot_download?函数下载模型，第一个参数为模型名称，参数?cache_dir?为模型的下载路径。

注意：cache_dir?最好为绝对路径。

安装依赖：

pip install modelscope==1.9.5
pip install transformers==4.35.2

在当前目录下新建 python 文件，填入以下代码，运行即可。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')

OpenXLab

OpenXLab 可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件。

使用python脚本下载模型首先要安装依赖，安装代码如下：pip install -U openxlab?安装完成后使用 download 函数导入模型中心的模型。

from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')