CNN 使用小卷积核而非大卷积的好处

简介:

大尺寸的卷积核可以带来更大的感受野,但也意味着更多的参数,并且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 $2$ 个连续的 $3\times3$ 卷积层( stride=1)组成的小网络来代替单个的 $5\times 5$卷积层可以保持感受野范围的同时又减少了参数量:

卷积核设置 参数个数
一个 $5\times 5$ $5\times 5+1=26$
两个级联的 $3\times 3$ $(3\times 3+1)\times 2=20$

由于参数个数仅与卷积核大小有关,所以 $3\times 3$ 级联卷积核占优势,并且用 $2$ 个级联的 $3\times3$ 卷积层( stride=1)组成的小网络来代替单个的 $5\times 5$卷积层增加了非线性变换的操作使得模型的泛化能力进一步的提高。

  • 两个 $3\times 3$ 的堆叠卷基层的有限感受野是 $5\times 5$ ;三个 $3\times 3$ 的堆叠卷基层的感受野是 $7\times 7$,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变。
  • 多个 $3\times 3$ 的卷基层比一个大尺寸卷积层有更多的非线性(更多层的非线性函数),使得判决函数更加具有判决性,并且起到隐式正则化的作用。
  • $1\times 1$ 卷积核除了具有降低参数量和增加非线性的作用外,还可以起到对通道数的升降进行控制的作用 (达到特征降维和升维的作用)。
目录
相关文章
|
15天前
|
机器学习/深度学习 算法 计算机视觉
卷积神经网络中的卷积层,如何提取图片的特征?
卷积神经网络中的卷积层,如何提取图片的特征?
24 0
|
29天前
|
机器学习/深度学习 存储 自然语言处理
卷积神经元网络CNN基础
卷积神经元网络CNN基础
34 1
|
29天前
|
机器学习/深度学习
大模型开发:解释卷积神经网络(CNN)是如何在图像识别任务中工作的。
**CNN图像识别摘要:** CNN通过卷积层提取图像局部特征,池化层减小尺寸并保持关键信息,全连接层整合特征,最后用Softmax等分类器进行识别。自动学习与空间处理能力使其在图像识别中表现出色。
24 2
|
2月前
|
机器学习/深度学习 自然语言处理 语音技术
【HetConv】基于异构内核的深度cnn卷积
【HetConv】基于异构内核的深度cnn卷积
60 0
【HetConv】基于异构内核的深度cnn卷积
|
1月前
|
机器学习/深度学习 算法 数据库
基于CNN卷积网络的MNIST手写数字识别matlab仿真,CNN编程实现不使用matlab工具箱
基于CNN卷积网络的MNIST手写数字识别matlab仿真,CNN编程实现不使用matlab工具箱
|
4月前
|
机器学习/深度学习
CNN卷积神经网络手写数字集实现对抗样本与对抗攻击实战(附源码)
CNN卷积神经网络手写数字集实现对抗样本与对抗攻击实战(附源码)
36 0
|
4月前
|
机器学习/深度学习 存储 TensorFlow
【Python机器学习】卷积神经网络卷积层、池化层、Flatten层、批标准化层的讲解(图文解释)
【Python机器学习】卷积神经网络卷积层、池化层、Flatten层、批标准化层的讲解(图文解释)
114 0
|
6天前
|
机器学习/深度学习 数据采集 TensorFlow
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
23 0
|
1月前
|
机器学习/深度学习 人工智能 算法
详细介绍卷积神经网络(CNN)的原理 !!
详细介绍卷积神经网络(CNN)的原理 !!
76 0
|
2月前
|
机器学习/深度学习 编解码 计算机视觉
【OctaveConv】下降一个八度:用八度卷积减少卷积神经网络中的空间冗余
【OctaveConv】下降一个八度:用八度卷积减少卷积神经网络中的空间冗余
33 0
【OctaveConv】下降一个八度:用八度卷积减少卷积神经网络中的空间冗余

热门文章

最新文章

相关实验场景

更多