深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读

  1. 云栖社区>
  2. 新智元>
  3. 博客>
  4. 正文

深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读

技术小能手 2018-05-10 14:28:58 浏览4772
展开阅读全文

早期成果

卷积神经网络是各种深度神经网络中应用最广泛的一种,在机器视觉的很多问题上都取得了当前最好的效果,另外它在自然语言处理,计算机图形学等领域也有成功的应用。

第一个真正意义上的卷积神经网络由LeCun在1989年提出[1],后来进行了改进,它被用于手写字符的识别,是当前各种深度卷积神经网络的鼻祖。接下来我们介绍LeCun在早期提出的3种卷积网络结构。

文献[1]的网络由卷积层和全连接层构成,网络的输入是16x16的归一化图像,输出为0-9这10个类,中间是3个隐含层。这个网络的结构如下图所示:

7879de6c8b674058ee8de01eeb412ba11965dbda

这篇文章提出了权重共享(weight sharing)和特征图像(feature map)的概念,这些概念被沿用至今,就是卷积层的原型。网络有1个输入层,1个输出层,3个隐含层构成,其中隐含层H1和H2是卷积层,H3是全连接层。网络的激活函数

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属团队号: 新智元