GPT实战系列-探究GPT等大模型的文本生成

GPT实战系列-探究GPT等LLM文本生成

GPT专栏文章：

GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-CSDN博客

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

LLM文字创作与人类有什么不同？

• 人类是如何进行文字创作的？一个有趣的例子就是：写文章。大致有思考兴趣点，构思，篇章与逻辑整理，落笔，修改等过程。过程中一步接一步思考，甚至借用外部工具，搜索资料，计算，验证等过程。回答问题，说话之前往往也会再三思考。
• LLM语言模型生成文本的方式，依据上下文条件，逐步生成下一个 token，每个 token 计算时间一样，不确定生成的正确性。缺乏前后思考。

思考链（Chain of thought，CoT）

• 需要推理的任务可以使用 CoT，构造一种思考范式，指明文本生成方向，划分槽位，transformer 需要更多上下文来思考。以 few-shot prompt 为例，让模型以 step-by-step 方式生成。目前也有 zero-shot-CoT，最经典的方式就是使用 Let’s think step by step 作为提示词。

一致性（self-consistency）

• 一致性，有时候生成也会掉到坑里，出不来。比如 transformer 在采样到一个不好的 token 后就很难恢复。

反省（Ask for reflection）

• 通过灵魂拷问，问 “你完成任务了吗？” 这个问题，让 ChatGPT 对不好的问题进行反思并生成更好的回复。

思考系统2

• 在《快思考，慢思考》中提到有快思考系统和慢思考系统，Tree of Thoughts（思考树）：建议为给定的 prompt 生成多个思路，然后对它们进行评分，并保留好的思路。

扩展LLM能力

代理Chains/Agents

• React：将任务分解成一系列思考、行动、观察、思考、行动、观察的过程，通过思考来进行问题回复，过程中允许调用外部工具完成任务，比如 google 搜索 API。

使用工具 ( Plugins)

• 为 ChatGPT，等LLM大模型提供计算器、代码解释器、搜索等工具，协助做 LLM 不擅长的任务。需要调用外部工具的地方需要人为标注出来。

基于检索增强 LLM 能力

• 获取相关文档，将文档分为块，提取得到数据的 embedding 向量，存储到向量库中。
• 在测试时，查询向量存储，获取与相关的文档，获得搜索结果。

约束提示（Constrained prompting）

• 在 LLM 的输出中强制使用特定格式生成的技术。比如，让 LLM 填写一个 json 模板中的内容，其中 json 的 key 是写死的，LLM 负责填补一些空白的 key，这些 key 可以提前进行一些约束，让 LLM 的采样空间受到限制，即能让 LLM 的输出符合预设定的格式。
  
  

点个赞 点个赞 点个赞

觉得有用 收藏 收藏 收藏

End

---

GPT专栏文章：

GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-CSDN博客

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

决策引擎专栏：
Falcon构建轻量级的REST API服务

决策引擎-利用Drools实现简单防火墙策略