GRU算法

2024-01-02 05:52:07

前置知识：RNN，LSTM

LSTM需要训练的参数很多，极消耗计算资源。GRU是一种LSTM的改进算法，参数更少，更容易训练。

它将忘记门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。

结构

GRU的整体结构图与RNN没有区别

reset重置门

r_t=\sigma(W_z·[h_{t-1},x_t]+b_r)

rt就是重置门，得到rt后，将rt与上一时刻传入的ht-1进行点乘，得到重置之后的数据，并与xt进行拼接。

h_{t-1}^{'}=h_{t-1}*r_t \\h'=tanh(w*[h_{t-1}',x_t]+b)

h'包含了输入信息xt，经过选择后的上一时刻的信息h't-1，

update更新门

Z_t=\sigma(W_z·[h_{t-1},x_t]+b_z) \\h_t=z_t*h_{t-1}+(1-z_t)*h'

  • z*ht-1：表示对隐藏状态选择性的遗忘；

  • (1-z)*h'：表示对包含当前节点信息的h'选择性的记忆

文章来源:https://blog.csdn.net/lty1392309506/article/details/135329813
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。