LLM 幻觉现象及 RAG 解决方案

2024-01-03 14:59:26

1. 幻觉现象及原因

  • 什么是幻觉(hallucination)现象? 大模型的回答有编造成分或错误.
    • 比如问 “tensorflow 1.12 版本有 xxx 这个api 么”, 模型回答 “有”, 其实没有.
  • 原因
    • 训练语料质量低, 本身有错误答案存在.
    • LLM 的训练并不关注 “事实是否正确”, 自然不能保证生成答案一定符合事实.
    • 推断期间引入错误,

2. RAG 方案

在这里插入图片描述
流程简介：将文本分块，然后使用一些 Transformer Encoder 模型将这些块嵌入到向量中，将所有向量放入索引中，最后创建一个 LLM 提示，告诉模型根据我们在搜索步骤中找到的上下文回答用户的查询。

文章来源:https://blog.csdn.net/chuchus/article/details/135358414
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。