043、循环神经网络

2023-12-25 23:09:14

之——RNN基础

杂谈

? ? ? ? 第一个对于序列模型的网络，RNN。

正文

1.潜变量自回归模型

? ? ? ? 潜变量总结过去的信息，再和当前信息一起结合出新的信息。

2.RNN

? ? ? ? 循环神经网络将观察作为x，与前层隐变量结合得到输出

? ? ? ?其中Whh蕴含了整个模型的时序信息，Whx表征了对新的观察的方式。

????????它的学习的过程就是在观察当前字的时候要去以生成下一个字为目的地学习：

3.衡量语言模型

????????

4.梯度裁剪

????????

? ? ? ? 如果梯度超过阈值，就把梯度拖回阈值：

?

5.RNN更多应用

????????

文章来源:https://blog.csdn.net/weixin_55706338/article/details/135207489
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。