翻译小组 关注
手机版

纯干货:深度学习实现之空间变换网络-part2

  1. 云栖社区>
  2. 翻译小组>
  3. 博客>
  4. 正文

纯干货:深度学习实现之空间变换网络-part2

【方向】 2018-04-11 08:38:02 浏览13305 评论0

摘要: 本文详细介绍了空间变换网络及其工作原理,最后将整个机制归结为两个熟悉的概念:仿射变换和双线性插值。

1eb0f09986c22b9f0012dee7c79efe791fb622bb

    
    纯干货:深度学习实现之空间变换网络-part1

第一部分中,我们主要介绍了两个非常重要的概念:仿射变换双线性插值,并了解到这两个概念对于理解空间变换网络( Spatial Transformer Networks )非常重要。

在这篇文章中,我们将详细介绍一篇空间变压器网络这一论文——Google Deepmind的研究人员Max JaderbergKaren SimonyanAndrew ZissermanKoray Kavukcuoglu最早提出了这一概念。

读完本文,希望你能够对这个模型有一个清晰的认识和理解。我们将在后续第三部分中使用Tensorflow实现该网络。

目的

在进行分类任务时,我们通常希望系统对变化的输入具有较强的鲁棒性。 也就是说,如果输入需要经过某种转换,我们的分类模型理论上应该在转换之前输出相同的类标签。一般情况下,图像分类模型可能会面临以下挑战

1.规模变化:现实世界和图像中的尺寸变化。

2.视角变化:随着观察者的角度变化,物体的取向不同。

3.变形:非刚体可以变形并扭曲成不寻常的形状。

d2a4bdb5e0a1359901a21ac105f4c7cb1a2af2f7

对于人类来说,将上图中的对象进行分类,这很简单。但是,计算机算法仅适用于原始3维亮度值数组,因此输入图像的微小变化也可能会改变相应数组中的像素值。因此,理想的图像分类模型理论上应该能够从纹理和形状中分离出物体的形态和变形如下面的猫咪图像。

5dadc514a1676dc4bfbab2b60701145bbe6d741d0e5921fbc086c68266c7896c3e5168ee214f1c23

78df14f43081ebf8912968c6e974acba67084aecf804a812bb0f49e6343c0d0f689ac180a55d06c1

左图:较难分类的猫咪图像。 右图:生成简化分类管道的转换图像。

如果我们的模型可以使用某种组合来从左到右执行,从而简化后续的分类任务,那么这是不是非常理想?

池化层

事实证明,我们在神经网络架构中使用池化层,这使模型具有一定程度的空间恒定性。池化操作也是一种降采样机制,它逐层降低了深度维度上特征映射的空间大小,同时也减少了参数数量和计算成本。

726ca494213a9b749282d9b2d735693c6c008c5f

池化层在空间上对数组进行下采样。上图中,左图为大小为[224*224*64]的输入数组与维度为2、步长为2的滤波器做最大池化操作,输出大小为[112*112*64]的数组。右图为2*2的最大池化数组。

它是如何具有恒定性的?我们可以这样理解,池化的思想是采用复杂的输入,将其分解为一个个单元,并将这些复杂单元中的信息池化,产生一组更简单的单元集,来描述输出。举例来说,假设我们有3张数字7的图片,每张图片的方向不同。我们通过聚合像素值可以捕获到大致相同的信息,因此不管数字在网格中的哪个位置,每张图像网格上的池化都会检测到数字7

池化之所以不受欢迎,有以下限制因素。首先,池化具有破坏性。在使用池化时,75%的特征激活会面临丢失,这就意味着我们会丢失确切的位置信息。由于我们之前提到过,池化赋予了网络一定的空间鲁棒性,而位置信息在视觉识别中尤为重要。想想上面提到的猫咪分类器,相对于鼻子的位置,知道胡须的位置可能更重要。当我们使用最大池化时,这些信息就已经丢失了。

池化的另一个限制因素是,它是本地和预定义的。由于感受野较小,池化操作只会对网络的更深层产生影响,这就意味着中间特征映射可能会有更大的输入失真。请记住,由于只增加感受野会过于降低我们的特征映射,因此,我们不能随意的只增加感受野。

另外一个主要的问题就是,对于相对较大的输入失真,卷积网络并不是恒定的。这种限制源于,只有一个用于处理数据空间变化的受限预定义池化机制。这就是空间变换网络发挥作用的地方!

Geoffrey Hinton曾表示:在卷积神经网络中使用池化操作是一个很大的错误,并且网络能够稳定运作本身也是一场灾难。

空间变换网络(STNs

通过为卷积神经网络提供确切的空间变换,空间变换机制解决了上述问题它拥有3个属性。

1.模块化:只需要进行微小的调整,就可以将空间变换网络插入到现有体系结构的任何地方。

2.可区分性:可以使用反向传播算法进行训练,允许对所插入的模型进行端到端的训练。

3.动态的:在每个输入样本的特征映射上执行主动空间变换,而池化层则是对所有输入样本进行操作。

正如你所看到的,空间变换在所有方面都优于池化运算符。那么,什么是空间变换呢?

2083f07a98ed6a2b5d8beeca6020c80a71d65d02

如上图所示,空间变换模块由三个部分组成:一个定位网络( localisation network),一个网格生成器(grid generator )和一个采样器(sampler)。我们不能盲目的对输入图像进行仿射变换,首先需要创建一个采样网格,对其进行转换,然后使用网格对输入图像进行采样,这一点非常重要。下面我们来看一下空间变换的核心部分。

定位网络

定位网络是作用于输入特征映射,输出仿射变换参数θ。其定义如下:

1.输入:形状为(HWC)的特征映射U

2.输出:形状为(6,)的变换矩阵θ

3.架构:全连接网络或卷积网络。

在训练网络时,我们希望定位网络能够输出越来越精确的θ精确意味着什么呢?试想一下数字7逆时针旋转90度。经过2次训练以后,定位网络能够输出一个变换矩阵,来执行45度的顺时针旋转,经过5次训练以后,实际上可以学习完成90度的顺时针旋转。我们的输出图像看起来就像一个标准数字7,这是我们的神经网络在训练数据中看到的,并且可以对其进行轻松的分类。

另一种方式则是,定位网络学习存储如何将每个训练样本转换为其所在层的权重。

参数化的采样网格

网格生成器的作用是输出一个参数化的采样网格,这是一组点集,即输入映射经过采样产生期望的转换输出。

具体来说,网格生成器首先创建与输入图像U(格式为(HW))相同大小的归一化网格,即覆盖整个输入特征映射的一个索引集(xtyt)映射(上标t代表输出特征映射的目标坐标)。由于我们对这个网格做了仿射变换,并且想要使用变换,我们继续在坐标矢量上添加一行进行计算。最后,我们将6个参数θ塑造为一个2*3矩阵,并执行下面的乘法运算,就会得到我们所需要的参数化采样网格。

089efdb9c451959bfc71ef77b89eda08636a9051 

输出的列向量包含一组索引,告诉我们应该在哪里对输入进行采样,就能得到所需的转换输出。但是,如果这些指数是分数呢?这就是即将要介绍双线性插值的原因。

可微分的图像采样

由于双线性插值是可微的,因此非常适用于空间变换网络。通过输入特征映射和参数化采样网格,我们进行双线性采样并获得形状为(H'W'C')的输出特征映射V。这就意味着,我们可以通过指定采样网格的形状,来执行下采样和上采样。我们绝对不仅限于双线性采样,还可以使用其他的采样内核,但重要的一点是:它必须是可微的,以便允许损失梯度一直流回的定位网络。

deff4b0465a3cf60c1727136866a98f6659cf9d7

图为将参数化采样网格应用于图像U(输出为V)的两个例子。(a)恒等变换(即U = V)(2)仿射变换(即旋转)

上述为空间变换的内部工作原理,可将其归结为我们一直在谈论的个关键概念:仿射变换双线性插值。我们让网络学习最佳的仿射变换参数,这将有助于独立完成分类任务。

有趣的空间变换

最后,我们来举个例子,说明下空间变换的应用

失真MINIST数据集

下图是将空间变换作为全连接网络的第一层,对失真MNIST数据集的数字进行分类的结果。

45ab8c4dad956f6d701fb1c9b981f8dfda93d150

注意它是怎样学会理想的鲁棒性图像分类模型?通过放大和消除杂乱的背景,将输入进行标准化进行分类。如果你想查看变换的实时动画,请点击这里

德国交通标志识别GTSRB数据集

f810cb0a24631d7017bd80010ffa1643d1c9730190424eac3d1e2a1cc7a3d6362d8961ebfcf508bd

左图:训练期间空间变换的行为。注意它是如何逐渐消除背景来学习交通标志。右图为不同输入图像的输出。请注意,无论输入如何变化和失真,输出都保持近似恒定。

总结

本文概览了Google Deepmind的空间变换网络论文。我们首先介绍了分类模型所面临的挑战,主要是输入图像失真导致分类失败。一种解决方案是使用池化层,但是有明显的局限性——使用率很低。另一个解决方案就是本文的空间变换网络

其中包含一个可的模块,可以插入到卷积网络中任何一个位置以增加其几何不变性。它赋予网络空间变换特征映射,而无需额外增加数据或监督成本。最后,整个机制归结为两个熟悉的概念:仿射变换和双线性插值。

参考资料

1.The original Deepmind paper[链接]

2.Kudos to the Torch blog post on STNs which really helped me during the learning process[链接]

3.Torch Implementation also helped me grasp the inner workings of STNs[链接]

4.Stanford’s CS231n as always[链接] 

 数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

以上为译文。

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Deep Learning Paper Implementations: Spatial Transformer Networks - Part II》,译者:Mags,审校:袁虎。

文章为简译,更为详细的内容,请查看原文 

用云栖社区APP,舒服~

【云栖快讯】诚邀你用自己的技术能力来用心回答每一个问题,通过回答传承技术知识、经验、心得,问答专家期待你加入!  详情请点击

网友评论

【方向】
文章658篇 | 关注1111
关注
阿里云机器学习是基于阿里云分布式计算引擎的一款机器学习算法平台。用户通过拖拉拽的方式可视化的... 查看详情
帮助您基于阿里云构建出一个隔离的网络环境。您可以完全掌控自己的虚拟网络,如选择自有 IP 地... 查看详情
CDN
是将源站内容分发至全国所有的节点,缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的... 查看详情
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
阿里云总监课正式启航

阿里云总监课正式启航