论文笔记之: Hierarchical Convolutional Features for Visual Tracking

简介: Hierarchical Convolutional Features for Visual Tracking  ICCV 2015     摘要:跟卢湖川的那个文章一样,本文也是利用深度学习各个 layer 之间提取出来的不同特征进行跟踪。

 

Hierarchical Convolutional Features for Visual Tracking 

ICCV 2015

 

  摘要:跟卢湖川的那个文章一样,本文也是利用深度学习各个 layer 之间提取出来的不同特征进行跟踪。因为各个层次提出来的 feature 具有不同的特征。并且将各个层级的特征用现有的 correlation filter 进行编码物体的外观,我们在每一个层上寻找最佳响应来定位物体。

  

  引言:老套路的讨论了现有的跟踪问题存在的挑战以及现有方法取得的一些进展,并且引出了研究 CNN 各个 layer 的特征对跟踪结果的影响。

  现有的 deep learning 的跟踪方法基本都是依赖于训练分类器的方式来实现物体的跟踪。但是这种做法存在两个技术上挑战:

  1. 大部分的算法都只是用到了最后一层提出的 feature,这一层的特征其实是具有一定的偏差性的;

    对于高层视觉识别问题,这些特征提供了有效的语义信息。但是跟踪并不是识别其semantic classes,而是去定位物体的位置。

    那么,很明显,仅仅用最后一层的特征,并不是最优的选择。

  2. 第二个问题是关于提取训练样本。

       训练一个 robust 的分类器需要大量的两本,但是这个在跟踪问题上,并不是非常的适合。因为在一个物体周围进行采样,很难确定哪个算是正样本,哪个是负样本。

  

  本文通过两种方式来解决这两个技术难题。

  (1)利用神经网络的各个层的特征,联合的来表示所要跟踪的物体;

  (2)在各个层次自适应学习 correlation filter,而不必去进行样本的 sampling。

  

  本文总结的几个贡献点为:

  1. 结合了各个层次的特征,进行物体的特征表示;

  2. 采用线性 correlation filter 的方式在每一层来降低 sampling ambiguity。我们 infer 物体位置是通过一种 multi-level correlation response map in a coarse-to-fine fashion. 

  3. 充分的实验。

 

 


 

  为了更好的理解现有方法和传统方法的区别和联系,本文的相关工作写的还是挺不错的。现在我们来分析下这个小节:

 

  Tracking by Binary Classifiers

  跟踪问题可以看做是局部窗口内的一个重复的检测问题,即:tracking by detection的思路。这种分类器学习的方式经常是 online的。

  但是,在物体周围采样本的时候,经常会遇到模糊采样的问题,导致轻微的不准确采样就会使得分类器不准确,从而导致逐渐的偏移。已经有许多算法提出以尝试解决上述问题。核心的 idea就是如何合适的更新一个判别分类器来降低 drift。这里作者给出了许多例子,这里就不一一列举了。 

 

  Tracking by Correlation Filters

  相关滤波最近吸引了很多研究者的眼球,由于其采用了快速傅里叶变换,速度极快。基于 correlation filter 的跟踪方法回归所有输入特征的 circular-shifted versions 到一个目标高斯函数,从而不使用 hard-thresholded samples of target appearance.

  本文也是基于这种方法来做得,不同的地方在于,本文的方法结合了不同层次上的特征,而不是传统手工特征。 

  那么,看到这里,其实本文的工作一句话来说就是:组合了深度学习的特征 +  现有的 correlation filter 进行跟踪。其实,学术贡献点并不是很大,居然可以发 ICCV 。。。

  

  Tracking by CNNs .

   视觉表示是跟踪问题中非常重要的问题,传统方法设计了很多非常有效的表示,例如:子空间表示,颜色直方图。最近CNN 的表示已经被广泛的验证了其有效性。

   然后作者列举了几个深度学习的工作,指出其不足之处在于:仅仅用到了最后一层的 feature,这是远远不够的。

   

  可以看出相关工作的写作,是非常具有针对性的。列举前人工作的时候,要根据自己方法的特色来划分类别和指出别人的不足。

  本文的贡献点是:CNNs +  different feature + correlation filter 

  所以,作者从这三个角度,分别攻击了前人方法的不足,其实是借助了另外的两个成分来弥补当前谈论的方法的缺陷。这个写作技巧可以借鉴在以后的文章写作中去。 

 

  下面这幅图展示了各个 layer 特征的不同。

 


 

  本文所提出的方法流程

 

    文章的主题部分大致分为几个部分:

  1. 卷积特征的提取;

  2. Correlation Filter 的相关介绍;

  3. Coarse-to-Fine Translation Estimation ;

  4. Model Update 

 

  本文的算法流程如下所示:

  

 

 

 

 

 


  实验结果:


 

  

  总结:

  个人感觉这个文章的学术贡献点,并不是非常的充分,只是简单的组合。不过看来,大家对于如何更好的利用深度学习来做跟踪问题,并没有特别好的办法。只是简单的利用其提出的强有力的特征来表达所跟踪的问题。所用的跟踪算法也是现有的,只是借用了不同 CNN layer 的特征。那么,未来的跟踪算法该如何更好的借助 CNN 这个工具,得到更加有效,智能的跟踪算法呢?

路漫漫其修远兮,吾将上下而求索 。。。

 

  

 

 

 

 

 

相关文章
|
8月前
|
机器学习/深度学习 编解码 自然语言处理
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers论文解读
我们提出了SegFormer,一个简单,高效而强大的语义分割框架,它将transformer与轻量级多层感知器(MLP)解码器统一起来。
407 0
|
机器学习/深度学习 搜索推荐
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
推荐系统的出现,有效地缓解了信息过载的问题。而传统的推荐系统,要么忽略用户和物品的丰富属性信息,如用户的人口统计特征、物品的内容特征等,面对稀疏性问题,要么采用全连接网络连接特征信息,忽略不同属性信息之间的交互。本文提出了基于信息融合的深度神经注意矩阵分解(ifdnamf)推荐模型,该模型引入了用户和物品的特征信息,并采用不同信息域之间的交叉积来学习交叉特征。此外,还利用注意机制来区分不同交叉特征对预测结果的重要性。此外,ifdnamf采用深度神经网络来学习用户与项目之间的高阶交互。同时,作者在电影和图书这两个数据集上进行了广泛的实验,并证明了该模型的可行性和有效性。
227 0
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
|
机器学习/深度学习 自然语言处理 数据挖掘
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第五章~第八章(一)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第五章~第八章
|
机器学习/深度学习 人工智能 数据挖掘
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第五章~第八章(二)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第五章~第八章
|
机器学习/深度学习 数据挖掘 Java
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章(二)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章
|
机器学习/深度学习 数据挖掘 计算机视觉
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章(三)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章
|
机器学习/深度学习 数据挖掘 计算机视觉
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章(一)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章(一)
|
机器学习/深度学习 人工智能 编解码
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第一章~第三章(一)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第一章~第三章
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第一章~第三章(一)
|
机器学习/深度学习 自然语言处理
Understanding and Improving Layer Normalization | NIPS 2019 论文解读
作者们认为,前向归一化并非LN起作用的唯一因素,均值和方差也是重要原因。它们改变了后向梯度的中心和范围。同时,作者还发现,LN的参数,包括bias和gain,并非总是能够提升模型表现,甚至它们可能会增加过拟合的风险。因此,为了解决这个问题,作者们提出了自适应的LN(简称AdaNorm)。AdaNorm将LN中的bias和gain替换成线性映射函数的输出。这个函数能够自适应地根据不同的输入调整权重。作者们在七个数据集上做了实验都表明AdaNorm能够取得更好的效果。同时可以看到,AdaNorm缓解了过拟合的问题,并且给训练带来更好的收敛效果。
18204 0
Understanding and Improving Layer Normalization | NIPS 2019 论文解读