浅谈神经网络训练方法,Deepmind更青睐正向传播

  1. 云栖社区>
  2. 雷锋网>
  3. 博客>
  4. 正文

浅谈神经网络训练方法,Deepmind更青睐正向传播

青衫无名 2017-08-01 15:27:00 浏览972
展开阅读全文

雷锋网(公众号:雷锋网)按:本文作者文海宁,银行算法工程师。

深度学习的神经网络训练方法有除了典型的反向传播,也有被Deepmind青睐的正向传播,以及以BAM网络背后的双向传播,本文将对这些训练方法进行简单的探讨,如果你有兴趣,欢迎留言。

1. 典型的BAM网络

深度学习目前非常火爆,追踪溯源,深度学习源于神经网络。BP神经是反向误差训练的典例。因为反向传播需要计算每个参数的梯度,从而能够使用各种梯度下降方法来更新参数。

但是,相比于正向传播,反向传播能解决大部分问题,统领深度学习的天下吗?

双向传播,其中最为典型的还属BAM网络。下图是其简单原理的展现。

当向其中一层加入输入信号时,另一层可得到输出。由于初始模式可以作用于网络的任一层,信息可以双向传播,所以没有明确的输入层或输出层。可将其中的一层称为X层,有n个神经元节点;另一层称为Y层

网友评论

登录后评论
0/500
评论
青衫无名
+ 关注
所属云栖号: 雷锋网