Attention机制学习

2023-12-15 13:33:17

写在前面
注意力机制是一个很不错的科研创新点方向，但是没有系统记录过学习过程，这里记录科研中遇到的各种注意力机制。

Attention机制解释

本质上来说用到attention的任务都有Query，Key，Value三个关键components，目标则是输入query，然后根据query和key的关系以及key和value的关系求出最终的value。所谓注意力机制就是重点体现在query和key的关系设定上。

例子1 根据腰围估计体重

参考视频，这个大佬up讲的非常好，值得大家去一键三连！

图1

如图1所示，这个例子是想通过输入一个腰围（q），得到最后的体重预测值（v）。每一个k对应一个v，但是q要跟三个k都有一个加权，如图2所示。
在这里插入图片描述

图2
其中，$\alpha(q, k_1)$

文章来源:https://blog.csdn.net/messyking/article/details/135013092
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。