AI大模型

2023-12-28 23:45:51

目录

前言

AGI通用人工智能

总结


前言

AI零基础直播公开课,了解一下。


AGI通用人工智能

query

chatmind.tech

找一下这篇论文,了解一下

E为编码器,D为解码器

所谓大模型也就是编码器-解码器。

模型里会有一些公式和参数,厉害的模型是参数比较靠谱。

所谓的机器学习训练模型就是去调整参数(这里之前我好像弄过一个预测模型,确实如此)。

GPT3.5有1750亿个参数。

Google这篇论文很好:

????????1.它的编码器和解码器的结构让事情变简单了,参数变少。里面有个K矩阵,二维数组,类似于空间字典的作用。

????????2.它的注意力机制,也就是权重问题,V矩阵,数值记录权重。这里的多投自注意力机制,也就是机器自己学习找到语义。

很多人工智能工程师更多是处理某些特定场景,距离agi也就是通用性的AI。

CV已死?算法工程师很多时候是给机器做助理工作的,比如视觉工程师,先预处理,边缘提取等等,就是给机器找权重,自注意力机制(transformer的基础)能跨语言到视觉等的多模态,提取比较重要的东西,所以视觉工程师可能会更早的失业。

技术分层:

1、指令工程,总结和大模型对话的讨论方法;AI编程,AI自动化测试

2、向量数据库,向量检索,autoGPT,github copolit等,场景比较广泛

3、fine-tune,自有数据对模型进行精调,比较难。

下面是fine-tune的原理图(来源于ChatGPT3.5论文)

第一步,雇了很多标注师,一问一答,进行模型精调(参数精调),教授知识。

第二步和第三步反复循环,调教“大脑”。RLHF,强化学习,人类反馈(human feelback这个很重要)。

midjourney可以试试。

之后试试二次开发哈哈哈哈。三万三千条rlhf就能做一轮fine-tune。

在openai上能直接做fine-tune。但是由于有墙,国内不会用这个。(还有数据泄露的风险)

可以选择一些开源的模型,智谱华章的ChatGLM还有Facebook的LLaMA 7B。

这个人的羊驼,他只用了70亿的参数。

可以用阿里云做二次开发。低成本且高效。

公司比较缺大模型产品方案,比较重要:

1、畅想的场景什么比较靠谱

2、靠谱的场景需要什么技术(上面说到的技术)

3、能实践的效果

4.成本

5.数据整理,什么好数据等数据过滤

6.需要什么框架进行fine-tune

7.需要几轮,多长时间

8.性能效果,最后效果

9.商业化,投产比。


总结

主要是想了解一下大模型。后续去GitHub上看看chatALL.ai吧,感兴趣就多去了解下大模型。还有一个重要收获是我现在正在搞CV啊,太难受了,太难受了,或许激光雷达或者GPSins方向是可以深耕的,加油吧,早日毕业。

文章来源:https://blog.csdn.net/m0_66076989/article/details/135277247
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。