神经网络
全连接：在神经网络中，每一层的每个神经元都与下一层的每个神经元相连
卷积神经网络（CNN）
卷积神经网络：可以简单地理解为，用滤波器(Filter)将相邻像素之间的”轮廓”过滤出来。通常，随着网络的层级越深入，你使用的过滤器也会更多，其背后的原理就是我们使用越多的过滤器就意味着会有更多的边缘和特征检测。
卷积运算：前一层的特征图与一个可学习的卷积核进行卷积运算，卷积的结果经过激活函数后的输出形成这一层的神经元，从而构成该层特征图，也称特征提取层，每个神经元的输入与前一层的局部感受野相连接，并提取该局部的特征，一旦该局部特征被提取，它与其它特征之间的位置关系就被确定。
填充(Padding)：在原图片的边缘进行填充(Padding)，以保证输入和输出的图片尺寸一致。
步长 (Stride)：过滤器去卷积图片是通过窗口一步一步的移动最终将整个图片卷积完成的，实际上移动的步伐可以迈得更大，这个步伐的长度就叫做步长(Stride)。步长(Stride)和填充(Padding)的大小一起决定了输出层图像的尺寸。
深度(Depth)：这里的深度是指输出层图片的深度，通常图片有红绿蓝(RGB)三个颜色通道(Channel)，那一个滤波器也需要三层滤波器对每个颜色通道进行过滤，于是6x6x3的图片经过3x3x3的滤波器过滤之后最终会得到一个4x4x1的图片，此时输出层图片的深度就是1。增加滤波器的个数就能增加输出层图片的深度，同时滤波器的个数也决定了输出层图片的深度（两者相等）。
池化(Pooling)：用滤波器进行窗口滑动过程中，实际上”重叠”计算了很多冗余的信息，而池化操作就是去除这些冗余信息，并加快运动。Pooling的方式其实有多种，用的最多的是max-pooling就是取一个区域中最大的值。
池化运算：它把输入信号分割成不重叠的区域，对于每个区域通过池化（下采样）运算来降低网络的空间分辨率，比如最大值池化是选择区域内的最大值，均值池化是计算区域内的平均值。通过该运算来消除信号的偏移和扭曲。
全连接运算：输入信号经过多次卷积核池化运算后，输出为多组信号，经过全连接运算，将多组信号依次组合为一组信号。
来源AI学习笔记——卷积神经网络（CNN） 卷积神经网络CNN的原理（一）－－－基本概念
上采样（upsampling）与下采样（subsampled）：上采样（upsampling）与下采样（subsampled）
缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。
放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。