2023年_大模型相关的热门开源工具

2023-12-28 14:04:32

1 引言

在 OPENAI 发布 ChatGPT 后的一年里,整个人工智能领域经历了迅猛的演变,对写作、编程等多个领域的工作方式产生了深刻的影响。2023 年整个行业都将聚焦于自然语言处理大模型,进行了大量实验和尝试,积累了宝贵的经验,或许明年将是人工智能应用大规模落地,真正产生价值的时刻。

开源项目可以被视为一个广阔的实验场,实验展示了许多可能性和成果,以及关注的热点。虽然并非全部应用场景,但从中我们可以窥见一二。

本文以 GitHub 上的开源项目为切入点,来看看大模型相关的高评分开源工具。旨在了解社区最关注的项目,这些工具实现了哪些功能,采用了什么样的技术,可能的盈利模式,以及它们当前仍然面临的挑战。

2 高星和热榜

梳理热门榜单和热门关键字搜索中的 topN 开源项目,深入了解社区对各个领域的关注、不同思路的探索,以及实现方法的多样性。

2.1 Python 中文新秀榜

GitHub-Chinese-Top-Charts(231204)中文新秀榜 ->软件类 ->Python 榜:

地址

  • binary-husky/gpt_academic 48.3k Star 学术 GPT
  • THUDM/ChatGLM-6B 36k Star 开源中英双语 LLM
  • acheong08/ChatGPT 27.5k Star ChatGPT 反向工程,早期调用方法,已停更
  • svc-develop-team/so-vits-svc 21k Star 唱歌合成引擎(与 LLM 无关)
  • chatchat-space/Langchain-Chatchat 19k Star 基于 Langchain 与 ChatGLM 等模型的本地知识库问答
  • OpenBMB/ChatDev 17k Star 利用大模型编写应用程序的框架
  • ymcui/Chinese-LLaMA-Alpaca 15.5k Star 中文 LLaMA&Alpaca 大语言模型训练部署
  • THUDM/ChatGLM2-6B 14k Star 开源中英双语 LLM
  • GaiZhenbiao/ChuanhuChatGPT 13.4k Star 川虎 GPT Web 应用聊天界面,解决了搜索,本地文件问答等问题,界面简捷好用
  • lss233/chatgpt-mirai-qq-bot 10.3k Star 聊天机器人,支持多种模型,以及多种聊天软件

可以看到,Python 新秀榜中 top10 中 9 个都与自然语言大模型相关。

2.2 Github 搜索 GPT

Github 搜索 GPT,按 Star 排序,top10:地址

  • Significant-Gravitas/AutoGPT 154k Star 将目标拆分成多步,并使用 Agent 实现
  • fighting41love/funNLP 59.5k Star 自然语言相关资源类项目,23.8 已停更
  • nomic-ai/gpt4all 55.5k Star 本地安装部署多个大模型
  • Yidadaa/ChatGPT-Next-Web 52.3k Star GPT Web 应用聊天界面
  • xtekky/gpt4free 49.9k Star GPT4 反向工程
  • binary-husky/gpt_academic 48.3k Star 学术 GPT
  • AntonOsika/gpt-engineer 46.3k Star 自动编程工具
  • PlexPt/awesome-chatgpt-prompts-zh 46.1k Star ChatGPT 中文 Prompt 指南,包含各种场景对应的提示
  • imartinez/privateGPT 44.2k Star 本地知识库
  • lencx/ChatGPT 43.7k Star Rust/ChatGPT 桌面应用,使用 Rust 编写

2.3 Github 搜索 LLM

Github 搜索 LLM,按 Star 排序,top10:地址

  • langchain-ai/langchain 70k Star 构建 LLM 相关应用程序的工具集
  • nomic-ai/gpt4all 55.5k Star 本地安装部署多个大模型
  • binary-husky/gpt_academic 48.3k Star 学术 GPT
  • geekan/MetaGPT 31k Star 多 Agent 框架,通过构建不同的角色:工程师、产品经理、架构师和项目经理,最终共同构建一个软件项目
  • StanGirard/quivr 25.7k Star 第二大脑框架,结合数据存储和 GPT 的知识库架构
  • run-llama/llama_index 24.6k Star LLM 应用程序的数据框架
  • milvus-io/milvus 24.4k Star 矢量数据库
  • microsoft/JARVIS 22.2k Star 微软开源的人工智能 AI 助理系统,集成了多种模型,支持多模态
  • JushBJJ/Mr.-Ranedeer-AI-Tutor 21.3k Star GPT-4 人工智能导师,可在 OPENAI 界面中使用的 GPT 插件
  • jmorganca/ollama 20.2k Star 本地搭建 Llama2 等大型语言模型

搜索大模型,得到的结果更丰富,更具启发性。

3 分析方法

下面将对热门的应用进行分类和讨论,并对其中十个项目进行具体分析,分析方法如下:

  • 功能
    • 整体功能:解决了什么问题
    • 当前解决了哪些问题,未能解决的问题有哪些
    • 提供了哪些功能点,其中哪些是刚需
    • 用户使用难度:操作逻辑是否过于复杂
  • 技术栈
    • 技术栈包括:前端、中间件、后端、数据库、底层功能
    • 现有底层工具消化了哪些常用功能
    • 代码分析
  • 可能产生的应用和盈利方向
    • 开源软件与盈利之间的关系是一个复杂而多层次的话题,这里仅讨论具体技术盈利的方向和可能性。

4 典型应用分类

上述热门应用可简单分为以下类别:

4.1 大模型本地化

大模型本地化主要是指将大型模型部署到本地环境进行使用,通常需要本地有 GPU 资源以提供支持;最小配置的模型需要 6-10GB 的显存即可运行。如果需要进行个性化微调,则需要更强大的硬件资源。

在考虑模型大小的同时,还需要考虑多语言支持。一般而言,我们首选至少支持中英文双语的模型,例如:Chinese-LLaMA-Alpaca、ChatGLM2-6B 和 ChatGLM-6B。

在本地搭建模型可能基于以下几个方面的需求:

  • 本地保密数据或者网络环境不适合将数据外传。
  • 调用外部模型需要支付一定费用,如果本地具备计算资源,可有效节约成本。
  • 需要根据具体行业数据微调模型,或者根据已有模型进一步研发。

需要注意的是:本地模型的效果一般都不如主流模型,且两者之间存在较大差距;此外,如果使用量较大,也需要考虑硬件成本和等待时间等因素。

主要模型如下:

  • ChatGLM-6B/ChatGLM2-6B:目前公认好用的中文开源大模型,本地搭建很方便,又不是很大,一般 GPU 都能跑。
  • Chinese-LLaMA-Alpaca:中文 LLaMA & Alpaca 大语言模型 + 本地 CPU/GPU 训练部署
  • ollama:在本地启动并运行大型语言模型,支持多种开源大模型,常与其它应用层工作配合使用。
  • GPT4All:开源的聊天机器人,将模型部署在本地,其亮点是在 CPU 机器上也可以运行大模型,但需要较长的等待时间。

4.2 整体解决方案/Agent

用户仅通过 ChatGPT 进行聊天通常只能解决一些简单的单步问题。要解决更为复杂的问题,通常需要进行多步人机交互。致力于解决这一问题的项目通常采用以下方法。

常规的交互方式是:用户提供一个问题或主题,机器通过分析和推理,提供一系列实现步骤和具体方法,并且能够调用其他工具解决问题。这种方法主要依赖思维链技术和提示 Prompt 来实现。其中,一种常见的应用是 Agent,可以将其简单地看作“机器人”,通过协调完成一系列复合工作。

典型应用如下:

  • AutoGPT:建立和使用 AI Agent,将设定的目标自动拆解成多个子任务,并派出 Agent 执行任务直到目标达成,整个过程无需编程。 GPT应用_AutoGPT
  • MetaGPT:将软件开发拆解成前后多个步骤,调用模型完成各个步骤,通过提示以及对返回结果的解析,最终结合成完整的项目。GPT应用_MetaGPT
  • gpt-engineer:使用简单提示生成完整代码。
  • ChatDev:生成可直接运行的应用程序。

大型模型在解决问题的过程中扮演着重要的角色。然而,仅依赖机器自行解决复杂问题还难以实现,经常在过程中的某一步“跑偏”。因此,这类工具通常会设计一些交互功能,使用户通过交互在中间步骤引导 Agent 工作。此外,程序员对工具链和机器最为熟悉,因此开发领域也是最早进行实验和应用的领域。

4.3 辅助工具

辅助工具是大型模型基础建设中的重要组成部分,它本身并不构成完整的解决方案,而是通过安装包的方式提供逻辑或服务,供其他程序调用。

一些常用的辅助工具包括:

  • langchain: 一个编程框架,旨在帮助在应用程序中使用大型语言模型(LLM)。GPT应用_Langchain
  • llama-index:提供了一个简单的接口,用于在 LLM 和外部数据源之间进行交互,常用于构建本地知识库。GPT应用_llamaindex
  • milvus:向量检索云服务(Milvus),它解耦了业务逻辑、模型和数据存储。

4.4 上层应用

这类工具的功能主要依赖于大型模型的实现,此类工具种类繁多,更侧重于特定场景的应用,解决实际问题。相对而言,它们更加偏向前端,也存在前后端结合的解决方案,以下是针对不同方面的分开讨论:

  • 加强易用性: 这一类工具注重提升用户体验,通过强化角色定义和提供常用功能,使其更加用户友好。一部分工具采用了套壳的方式,更好地包裹和整合相关功能。
  • 扩展性: 针对本地知识库,致力于实现保密性、搜索性以及生成性的功能。
  • 与具体领域结合: 一些工具专注于与具体领域结合,如学术研究领域,以满足相关行业的特定需求。
4.4.1 前端应用

这里介绍的前端应用并非不包含后端服务,而是指主要设计和实现以前端功能为主,涉及较少复杂的数据存储和后台服务。

  • gpt_academic 学术 GPT,不断更新的高星应用。gpt_academic 的出现较早,专注于优化论文阅读、润色和写作体验,功能实用且充实,是在特定垂直领域应用 GPT 的一个典型范例。学术ChatGPT工具
  • ChatGPT-Next-Web:调用 ChatGPT 的前端工具,即我们熟悉的浅蓝色界面,构成了许多国内用户使用 ChatGPT 不可或缺的一部分。GPT应用_ChatGPT-Next-Web
  • ChuanhuChatGPT:也称为川虎 Chat,可调用 ChatGPT API 和其他许多大型语言模型的 Web 界面。支持代理、基于文件的问答,GPT 微调以及 GPT 结合网络搜索查询。用户界面简洁易用。GPT应用_chuanhu川虎
  • chatgpt-on-wechat/chatgpt-mirai-qq-bot:微信聊天机器人是另一类重要的应用。这些程序可以以公众号服务、企业号、普通微信聊天、飞书等多种方式将通讯工具与大型语言模型连接在一起,提供更为便捷的大模型使用方法。GPT应用_chatgpt-on-wechat
4.4.2 前后端结合

本部分展示了一些更为复杂的集成方案,主要致力于解决本地知识与大型模型结合的问题。综合利用了前端、后端、数据存储、大型模型等技术,构建了综合性的解决方案。

  • FastGPT 在不需要编程的情况下,快速建立简单的本地知识库。 GPT应用_FastGPT
  • privateGPT 该方案搭建了完整的 RAG 系统,相比于 FastGPT,其界面更为简单。底层支持相对丰富,可用于知识库的完全本地部署,包含大型模型和向量库。GPT应用_PrivateGPT
  • JARVIS 微软开源的人工智能 AI 助理系统,集成了多模态多种模型,需要较强硬件支持才能运行。
  • quivr 提出了“第二大脑”概念,具体实现采用 RAG 模型,针对不同用户和场景支持多个“大脑”并存。每个“大脑”存储一个或多个文件,用户可以使用指定的“大脑”进行搜索增强生成。GPT应用_QUIVR
  • langchain-Chatchat:结合 langchain 与 ChatGLM,实现了一个本地 RAG 的后端。代码完全采用 Python 实现,可以与 FastGPT 前端结合使用,是一个用于本地知识库的后端解决方案。

4.5 其它(更外围)

相对于程序和方法而言,这些项目更加注重资源的整合。主要包含两个方向:提示词方向和 ChatGPT 反向工程(白嫖)。

  • Mr-Ranedeer-AI-Turor 个性化人工智能导师,封装了一套提示词,为用户提供定制的 AI 学习指导服务。
  • awesome-chatgpt-prompts-zh ChatGPT 中文调教指南,提供一些常用的使用场景以及对应的 Prompt 提示。 GPT应用_awesome-chatgpt-prompts-zh
  • revChatGPT ChatGPT ChatGPT 反向工程,在 OpenAI 官方正式发布 ChatGPT 接口之前,可通过它调用 ChatGPT。从 2023 年 8 月起不再更新。
  • GPT4free GPT4 反向工程,使用 streamlit 制作了一个简易的输入框和文本输出展示。通过 Python 包开发,开发者也可以将其嵌入到自己的应用内部。
  • funNLP NLP 资源汇总,包含 ChatGPT、LLM 数据集、中文语料库、知识图谱、文本生成、关键字提取、文本匹配、文本可视化等多个方向的技术、项目、文献资料等。

5 盈利方向

5.1.1 Saas 服务

为企业提供整合服务,包括部署、使用、代码或数据托管。这也是许多成功商业化的开源系统的主要收入模式。

5.1.2 建立生态

虽然前路漫长,未来充满不确定性,但建立生态系统可能会带来巨大的机遇。

5.1.3 套壳

大模型相关的服务通常是需要付费的,在用户不能直接使用的情况下,提供一下服务中转服务,只要加价不过分夸张,有需求的用户通常都能接受。

5.1.4 免费版与收费版

提供免费版并附加一些额外功能收费也是一种常见的商业策略。另外,有些工具像 MySQL 也提供免费版和收费版,供用户选择。

6 讨论

6.1 功能

上述项目,从功能角度来看,并没有发现特别令人惊讶的功能。目前的方向相对明确,大量资源都在这些方向上集中。几乎没有你能想到而别人想不到的功能。或许需要更关注一些细分领域。

6.2 实现

从实现的角度来看,开源软件在功能设计、交互、架构以及编码方面都提供了许多值得借鉴的内容,许多功能已经得到了很好的实现。

从运维度度看,高星工具通常具有很强的服务意识,可以即开即用,工具链做的也非常好;许多应用对交互和前端进行了深入的优化,前端领域涉及的知识丰富且众多,百花齐放;相比之下,Python 后端调用则相对较为统一。总体而言,大模型领域有点类似于直播带货,关键技术主要集中在几家大厂手中,普通人主要以应用为主。

从开发的角度来看,更多的时间可能会用于考查而非实现,需要避免重复造轮子。上层工具是否最优可能并不是最重要的,敏捷开发可能更为关键。此外,剃刀原则也很重要:如无必要,勿增实体。

6.3 产品

目前,大多数人使用的底层大型模型很可能仍然是 ChatGPT 系列。

然而,在过去的一年里,涌现了许多新的模型,尤其是中文模型。通过对底层的多种模型的支持,至少使得多数工具变得可公开使用,且在没有科学上网的环境下也有备用方案。

就模型效果而言,大模型领域可能还会经历一个很长的发展阶段。首先,由于长尾效应,模型不可能成为可以回答所有问题的“全知”。因此,将其与应用和场景结合,还有很多工作要做。从业务角度来看,充分利用模型的理解能力,可以与许多领域结合,解决以前无法解决的问题。这个需求可能远远超过只是让 AI 写文章或画图。

6.4 展望

在 2023 年,大型模型毫无疑问是最炙手可热的话题。在查找资料的过程中,有的标题真的太过辣眼:“跟不上时代的脚步”," 抢了 XXX 的饭碗 "…… 大家都太想寻找捷径了,结果导致这条路越走越拥挤,形成了一片红海。

一旦打开潘多拉魔盒,后续的发展就变得无法预测。巨大的技术变革,也确实会打破一些看似平静的状态。未来可能会更加开放,也更为激烈。毕竟,有些组织在今天的发展中显得过于庞大和低效。

产品往往有两种走向,一种是从需求 ->产品,解决具体的问题,一些自动化工具早就问世,比如自动客服,并不是大型模型出现后才有的。然而,随着大型模型的出现,这些工具至少变得更加高效易用。另一种是从数据/能力 ->产品,有时候会发明出一些产品让生活变得更好,比如外卖。但有时候也难免:拿着锤子的人看什么都像钉子。

可能会有更多的内容整合在一起。例如,微信已经在管理多个方面,包括帐单、位置、运动,甚至移动设备。或许有一天,这些领域将被更加紧密地整合在一起。模型的理解能力将有助于更好地执行这些任务。

7 参考

gpt4free 0.0.1.4版本安装指南

gpt4free官网,github,免费“白嫖” GPT-4 方法,使用教程

文章来源:https://blog.csdn.net/xieyan0811/article/details/135260688
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。