深度学习最佳实践系列——权重w初始化

  1. 云栖社区>
  2. 翻译小组>
  3. 博客>
  4. 正文

深度学习最佳实践系列——权重w初始化

【方向】 2018-06-25 01:25:31 浏览2677
展开阅读全文

       作为深度学习的初学者,我有意识到的一件事情,即网络上没有太多的在线文档能够涵盖所有深层次的学习技巧。都是一些比较零碎的实践技巧,比如权重初始化、正则化及循环学习率等,这些可以使得训练和调试神经网络变得更容易和更高效。本系列博客内容将尽可能多地介绍一些实践细节,以便你更容易实现深度学习方法。
       在撰写本文时,假定读者已经对如何训练神经网络有着一个基本的理解。理解权重(weight)、偏置(bias)、隐藏层(hidden layer)、激活函数(activation function)等内容将使你看本篇文章会更加清晰。如果你想建立一个深度学习的基础,推荐这门课程
       注明:本文提到神经网络的层时,表示的是一个简单的神经网络层,即全连接层。当然,本文所讲解的一些方法也适用于卷积和循环神经网络。在本文中

网友评论

登录后评论
0/500
评论
【方向】
+ 关注
所属云栖号: 翻译小组