GPT4All : 便捷易用的本地智能问答推理软件(乱记)

2023-12-29 21:29:41

安装与使用

  • 去官网 https://gpt4all.io/index.html下载可执行文件。
    在这里插入图片描述
  • 打开应用即可看到是否共享数据的选项：
    在这里插入图片描述
  • 然后自动进入模型下载界面
    在这里插入图片描述

测试

在这里插入图片描述
在这里插入图片描述

  • 内存占用
    在这里插入图片描述

  • 缺点：在我本地的轻薄本上运行时，风扇会有轻微噪声，关闭软件很久都没停止。

python端

# pip install gpt4all // https://docs.gpt4all.io/

from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output)

后端实现

????????根据官方提供的后端实现,目前支持三种不同的模型体系结构：GPT-J 架构， LLAMA 架构，基于 Mosaic ML 的 MPT 架构的模型。由于 Georgi Gerganov 编写的 ggml 库和各开源社区不断增长的开发人员的支持模型可用于 CPU 推理。

CG

在这里插入图片描述

文章来源:https://blog.csdn.net/ResumeProject/article/details/135297436
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。