自然语言处理阅读第二弹

2023-12-17 22:44:27

HuggingFace

NLP中的自回归模型和自编码模型

  • 自回归:根据上文内容预测下一个可能的单词,或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息,不能同时利用上文和下文的信息。
  • 自编码:对输入的句子随机Mask其中的单词,然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
  • Sequence-to-Sequence:是encoder和decoder的结合。
    在这里插入图片描述

安装环境

在这里插入图片描述

视频

BERT架构

  • 输入的修改 在这里插入图片描述
  • 预训练任务1
    在这里插入图片描述
  • 预测任务2
    在这里插入图片描述
  • 总结
    在这里插入图片描述

李沐课程

文章来源:https://blog.csdn.net/u013308709/article/details/135037154
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。