从AlexNet到胶囊网络,CNN这五年(视频详解)

  1. 云栖社区>
  2. 大数据文摘>
  3. 博客>
  4. 正文

从AlexNet到胶囊网络,CNN这五年(视频详解)

技术小能手 2017-12-22 14:14:11 浏览4348

今年11月7日,Geoffrey Hinton老爷子发表了“Dynamic Routing Between Capsules”的论文,提出了“胶囊网络”,胶囊网络在MNIST手写数字识别上的表现超过了CNN,一时引发了热议

毕竟,如果Hinton说这玩意儿好用,那它很有可能真的好用!

600cbb9a22bab3c21dae74f16b50bb9e27a909a5

Hinton现任加拿大多伦多大学教授,同时是谷歌大脑在加拿大的负责人。听起来好像没啥特别的 (⊙ˍ⊙)

不过随便一搜,1947年出生的他有各种头衔加持:”深度学习之父“、”开山鼻祖“……对,他就是在80年代就提出了反向传播算法不久前又选择抛弃它的那个老头

5f63e45017845c1e772501e4521c9835c64d02b3

左起Yann LeCun,Geoffrey Hinton,Yoshua Bengio,Andrew Ng(图片来自吴恩达Facebook页面)

第一波推动CNN应用的Yann LeCun(Facebook人工智能实验室主任、纽约大学教授),就是Hinton的博士后。

此外,据传伯克利的Michael I.Jordan教授(吴恩达的导师)当年申请Hinton的博士后没有被录取⊙o⊙ Michael I.Jordan教授不久前曾到清华大学授课,点这里查看独家听课笔记

9d161e1c775a0546e7a80c47a0c1507336c8b6c4

那么,胶囊网络到底有什么特别呢?为什么Hinton认为它比CNN还牛?

大数据文摘字幕组经授权翻译了YouTube网红Siraj Raval的一段详解胶囊网络的视频,试图从CNN的历史沿革开始,通过几次大的性能提升告诉你胶囊网络和此前的CNN有什么不同

让我们先来看一张大图。

940e10f55ee203b9705f9b28ec4fd4b318bf4027

图:物体识别简明史,来源见文末。

虽然相关算法80年代就已经提出,让神经网络这一玩儿法真正进入了人们的视野的,是数据量和算力极大扩充之后,在2012年横扫ImageNet比赛的AlexNet。AlexNet加入了ReLU和Dropout的概念,从而解决了权值消失的问题,并能防止过拟合

在这之后一个大的提升是VGG网络,它增加了很多很多层(^._.^)ノ

再然后,GoogleNet在一个层的输入上进行了多个不同内核大小的卷积操作,最后把这些操作的结果连接起来,作为下一层的输入。

在这之后是ResNet。ResNet的思想是,如果我们不断的叠加网络,接下来如果你继续添加更多的层,网络性能会开始下降。那么就在每两层后加入一个加法运算,这样就改善了梯度消失的问题。

383030a0ad3ee69b3e7a1664748eeef7594f2c79

网络被设计得越来越深了,但卷积神经网络在识别带有旋转角度、颠倒等”不正常“的图片时表现特别不好。我们需要一个更加泛化的算法。这对目前无人驾驶的应用来说尤为重要——我们不能总是期待图像是正着出现的。

c844d2933691c294237f7d26f3862a6a3014dc74

卡戴珊的眼睛和嘴互换位置,这张图仍被CNN识别为“person”

于是,我们有了Hinton的胶囊网络。它可以被理解为“张量神经元”,即输入和输出都是张量

更多关于胶囊网络的详细解释

请点击观看视频

时长22分钟

51a01a878d8e4370547123921e7bdbdf646988a2


原文发布时间为:2017-12-22

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号