20分钟部署ChatGLM3-6B

准备工作

1.下载源代码：
https://github.com/THUDM/ChatGLM3

2.下载预训练模型：
https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files
可以创建一个py文件，直接使用如下代码下载到本地：

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='F:/pretrained_model/chatglm3-6b/', revision='master')

注意：chatglm3-6B约11G大小

正式部署

1.创建一个虚拟环境（可选）
conda create -n chatglm3 python=3.8 --offline

2.安装requirements
pip install -r requirements.txt

3.修改代码：

• 默认调用方式，只需将这里替换为预训练模型的保存路径即可，CPU调用需要32G内存， GPU调用方式需要13G显存
  
• GPU量化调用方式，修改为如下，需要5G
  

4.运行demo
cd basic_demo
streamlit run web_demo2.py

email的地方直接回车，后面就会加载模型了。

访问改地址即可进行对话：http://localhost:8501/

小结

和chatglm2相比，输出的结果似乎没有明显的改变，当最大的一个区别在于，chatglm2-6B有专门的int4版本，而chatglm3-gb取消了这个版本，在代码中可以直接指定量化版本。