一篇卷积神经网络的编年史

  1. 云栖社区>
  2. 雷锋网>
  3. 博客>
  4. 正文

一篇卷积神经网络的编年史

玄学酱 2017-08-02 11:19:00 浏览1166
展开阅读全文

人工神经网络模型整体上的发展过程如下图所示:

一篇卷积神经网络的编年史

一篇卷积神经网络的编年史

上图对比了本文所述的各种神经网络之间,操作复杂度和精度之间的关系。

  LeNet5

1998, Yann LeCun 的 LeNet5。

图像特征分布在整个图像上。 

在具有很少参数的多个位置上提取类似特征时,具有可学习的参数的卷积是个比较有效的方法。 

在没有应用GPU的时候,能够保存参数和计算就成了一个关键优势。 

LeNet5并没有把每个像素都作为大型多层神经网络的一个输入,因为图像是高度空间相关的,如果用了这种方法,就不能很好地利用相关性。

LeNet5 的主要特征:

  • CNN 主要用这3层的序列: convolution, pooling, non-linearity;

  • 用卷积提取空间特征;

  • 由空间平均得到子样本;

  • 用 tanh 或 sigmoid 得到非线性;

  • 用 multi-layer neura

网友评论

登录后评论
0/500
评论
玄学酱
+ 关注
所属团队号: 雷锋网