1×1卷积核的作用

简介：

在network in network网中网这篇论文中，对1×1卷积核作用进行了解释，该论文为后续网络模型开发（比如GoogLeNet、Inception都广泛使用了1×1卷积）提供了很好的思路，是一个经典的方法。

1×1卷积简介

1×1卷积就是将卷积核的尺寸设置为1×1，如图所示

1×1卷积的意义

• 图片a是使用以前常规的卷积操作，原始尺寸是256×256×28的一个张量，经过32个5×5×256的卷积核卷积之后得到28×28×32的张量，总的计算量为Total multiplications。

  • 这里的计算值可以这样理解：28×28×32的张量的每一个值都是经过一次卷积运算得到的，而每一个值是由5×5×256卷积核卷积得到的，因此计算量为28×28×32×5×5×256
  • 而参数量其实就是所有卷积核所包含参数量，别忘了加上偏置项。32个5×5×256的卷积核加上32

• 图片b是使用1×1卷积核中间过渡来进行优化，通过上述相同的计算，可以看到总计算量和总参数量得到了大幅度下降。

  • 可以看到1×1卷积核通过控制卷积核的数量来进行降维和升维
  • 网络深度由原来的2层变成了三层，广泛使用1×1卷积可以增加模型的深度，增加模型非线性能力