深度学习中的Normalization模型(附实例&公式)

  1. 云栖社区>
  2. 数据派THU>
  3. 博客>
  4. 正文

深度学习中的Normalization模型(附实例&公式)

初商 2019-08-27 23:24:35 浏览319
展开阅读全文

本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,从一个新的数学视角分析了BN算法为什么有效。

image.png

[ 导读 ]不管是传统机器学习,还是当前火热的深度学习,Normalization技术都是能够提升算法性能的大杀器。本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,包括大家熟悉的Batch Normalization (BN)和可能不那么熟悉的Layer Normalization (LN)、Instance Normalization (IN) 及Group Normalization (GN)模型;用生动形象的例子阐述了这些Normalization模型之间的区别和联系;并在一个统一的数学框架下分析了它们的性质;最后从一个新的数学视角分析了BN算法为什么有效。

1、从Mini

网友评论

登录后评论
0/500
评论
初商
+ 关注
所属云栖号: 数据派THU