Tensorflow快餐教程(10) - 循环神经网络

  1. 云栖社区>
  2. 博客>
  3. 正文

Tensorflow快餐教程(10) - 循环神经网络

lusing 2018-05-08 21:24:15 浏览3105
展开阅读全文

循环神经网络

上节介绍了在图像和语音领域里大放异彩引发革命的CNN。但是,还有一类问题是CNN所不擅长的。这类问题的特点是上下文相关序列,比如理解文字。这时需要一种带有记忆的结构,于是,深度学习中的另一法宝RNN横空出世了。

大家还记得第8节中我们讲的人工神经网络的第二次复兴吗?没错,第二次复兴的标志正是1984年加州理工学院的物理学家霍普菲尔德实现了他于两年前提出的一种循环神经网络模型。这种网络被称为Hopfield网络。当时因为硬件条件的限制,Hopfield网络并没有得到广泛应用。而两年扣BP网络被重新发明,全连接前馈神经网络成为主流。RNN正是在Hopfield网络的基础上发展起来的。

RNN_rolled

RNN的图片都取自:https://colah.github.io/posts/2015-08-Understanding-LSTMs/

从图中我

网友评论

登录后评论
0/500
评论
lusing
+ 关注