我们知道神经网络的结构是这样的:
那卷积神经网络跟它是什么关系呢?
其实卷积神经网络依旧是层级网络,只是层的功能和形式做了变化,可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。
卷积神经网络的层级结构
? 数据输入层/ Input layer
? 卷积计算层/ CONV layer
? ReLU激励层 / ReLU layer
? 池化层 / Pooling layer
? 全连接层 / FC layer
1.数据输入层
该层要做的处理主要是对原始图像数据进行预处理,其中包括:
? 去均值:把输入数据各个维度都中心化为0
? 归一化:幅度归一化到同样的范围
? PCA/白化:用PCA降维;白化是对数据各个特征轴上的幅度归一化
去均值与归一化效果图:
去相关与白化效果图:
2.卷积计算层
这一层就是卷积神经网络最重要的一个层次,也是“卷积神经网络”的名字来源。
在这个卷积层,有两个关键操作:
? 局部关联。每个神经元看做一个滤波器(filter)
? 窗口(receptive field)滑动, filter对局部数据计算
先介绍卷积层遇到的几个名词:
? 深度/depth(解释见下图)
? 步长/stride (窗口一次滑动的长度)
? 填充值/zero-padding