【Transformer】Transformer and BERT(1)

2023-12-18 11:31:59

在这里插入图片描述

文章目录

太…完整了!同济大佬唐宇迪博士终于把【Transformer】入门到精通全套课程分享出来了,最新前沿方向

学习笔记

Transformer

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
无法并行,层数比较少

在这里插入图片描述
在这里插入图片描述
词向量生成之后,不会变,没有结合语境信息的情况下,存在一词多义,无法处理

在这里插入图片描述
词如何编码成向量

在这里插入图片描述
在这里插入图片描述
第一句话中,it 和 animal 的相应最高

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
内积,正交的话内积为0,越相近(相关),内积越大

在这里插入图片描述
在这里插入图片描述

d k \sqrt{d_k} dk? ? 的目的,向量维度越大,内积也越大, d k \sqrt{d_k} dk? ? 起到 scale 的作用

在这里插入图片描述
对于每个输入 x1 … xn, 计算一样的,可以并行为一个矩阵乘法

在这里插入图片描述
多头类比多个卷积核,来提取多种特征

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
不同的头得到的特征表达也不相同
在这里插入图片描述
多头包含在了 self-attention 中了

在这里插入图片描述
引入位置编码,形式有很多,比如 one-hot,原文中作者使用的是周期性信号进行编码

在这里插入图片描述
layer normalization 和 residual structure

在这里插入图片描述
在这里插入图片描述

encoder-decoder attention,encoder 的 K,V,decoder 的 Q

在这里插入图片描述
mask 机制:以翻译为例,不能透答案了,翻译到 I am a 的时候,student 要被 mask 起来,只能计算 I am a 的注意力

不能用后面未知的结果当成已知的条件

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

BERT

在这里插入图片描述
在这里插入图片描述
语料
在这里插入图片描述
预测出 mask,来训练提升特征编码能力

在这里插入图片描述
在这里插入图片描述
end-to-end 的形式,词编码表达和 task 一起训练

在这里插入图片描述
在这里插入图片描述
答案 d2->d3

文章来源:https://blog.csdn.net/bryant_meng/article/details/135057193
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。