CNN学习笔记

参考资料

可视化网站：https://poloclub.github.io/cnn-explainer/#article-input

卷积&全连接&卷积模式：https://zhuanlan.zhihu.com/p/76606892

骰子例子：https://www.zhihu.com/question/22298352

自从我转专业到软件以来，卷积神经网络这个词就一直萦绕在我耳边，CNN的大名也是无数次地听到。但即使如此，对于什么是卷积，对于卷积神经网络训练的过程，我从来没有真正掌握，今天在选修课上又一次接触到了这一概念，想到之后保研面试肯定是要问这些的，不如现在就趁着时间还早打好基础，把机器学习的系统思维真正地构建起来，为之后的保研和陶瓷做准备。

1 卷积

“卷积”一词来源于信号处理领域，人们想要知道一个输入信号在经过一个可以用单位冲击响应函数描述的线性系统后的输出是什么，由此引出了卷积运算。

假设有输入信号和系统响应如下：

首先要知道，某一时刻的信号输出值是当前和之前所有输入信号的累积效果，我现在想知道时信号的输出值，那么就要考虑的情况，是刚输入的所以输出分量为。f(9)已经输入了1s，所以输出分量为。由此一直累加到。

由此可推导出连续函数的卷积公式：

$(f*g)(t)\triangleq \int _{-\infty }^{\infty }f(\tau )g(t-\tau )\,\mathrm {d} \tau$

离散型随机变量也可以进行卷积，只要把上面的积分换成求和即可，但是在那之前，我们先从概率论的角度推一遍卷积公式。

条件非常简单，求两个独立随机变量X、Y的和Z = X + Y的概率密度函数。

IMG_1F0AA84E73E6-1

我们再来看看离散型随机变量的例子，我们以掷骰子为例，由前面的证明我们知道，我们需要构造的是两次掷的骰子点数之和。

假设我们要求，由上面的公式我们知道应该是

。对应在图像上就是先把第二个骰子“卷”过来再对应位置相加相乘。

CNN中所用的是多维互相关，也就是没有翻转的卷积。我们先来看多维卷积，具体来说是二维，公式如下：

该操作需要先将卷积核翻转，然后再与输入点相乘。但是CNN中省略了翻转这一过程，因为翻转本身没有什么意义，还会改变特征的方向特征，所以CNN中用的是互相关(Cross-Correlation):

另外，卷积操作其实就是对输入向量乘以一个稀疏的全连接矩阵。

卷积和全连接实质上都是一组线性转换，但是卷积相比全连接而言，其参数矩阵更加稀疏，kernel matrix 中很多为零（sparse connectivity），同时非零部分的参数实际上是共享的（parameter sharing）。这两个特点让卷积可以大大减少参数的数量，同时同一套参数（卷积核）在多个地方复用更有利于捕捉局部的特征。

卷积有三种模式，分别是FULL,VALID和SAME模式。下面的图像可以直观表述它们的区别：