一种应用于深度卷积神经网络中的特征提取方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 1106119 A(43)申请公布日 2020.01.14

(21)申请号 201910955807.3(22)申请日 2019.10.09

(71)申请人 北京邮电大学

地址 100876 北京市海淀区西土城路10号(72)发明人 刘奕彤　丁光磊　杨鸿文　(51)Int.Cl.

G06N 3/04(2006.01)

权利要求书1页 说明书2页 附图2页

()发明名称

一种应用于深度卷积神经网络中的特征提取方法(57)摘要

本发明提出了一种应用于深度卷积神经网络中的特征提取方法。在本发明中，首先对局部待卷积数据进行线性运算，将得到输出结果再通过非线性激活函数激活输出。将激活后的输出值再次作为上述的局部待卷积数据并重复进行上述操作(至少一次)来实现线性运算和非线性激活函数的迭代。最后结合使用卷积运算中的滑动计算，来遍历所有的待卷积数据得到本算法特征提取的结果。本发明原理简单，易于使用现有的框架来快速实现并作加速计算，同时可以和目前已有的一些技术重叠使用。CN 1106119 ACN 1106119 A

权　利　要　求　书

1/1页

1.一种应用于深度卷积神经网络中的特征提取方法，在深度卷积神经网络中使用卷积层来做深层堆叠时，使用本专利发明的特征提取算法来替代传统的卷积，使网络模型提取更加抽象的高阶特征信息，提高网络模型的表现性能。本发明的特征在于如下步骤：

a)基于传统卷积滑动计算的基础上，每次只对待卷积数据的局部进行计算。b)首先，通过对局部待卷积数据进行线性运算。c)之后，将输出结果使用一个非线性函数进行激活输出。

d)将激活函数的结果重新作为局部待卷积数据重复b)到c)的操作至少一次。e)到此输出即为当前滑动窗口的特征提取结果，将卷积核滑动到下一位置并得到下一组局部待卷积数据，重复b)到d)的操作，直至滑动遍历完整的待卷积数据。

f)最终的输出即为一个非线性内核的卷积核输出结果。2.根据权利要求1所述的方法，其特征在于，所述待卷积数据，是指由图像、音频频谱等可表示为矩阵或向量数据。

3.根据权利要求1所述的方法，其特征在于，所述线性运算，是指加法和数量乘法。在标量、向量和矩阵中有不同的形式，都称之为线性运算。

4.根据权利要求1所述的方法，其特征在于，所述非线性函数，是指函数图像不是一条直线的函数，包括指数函数、幂函数、对数函数、多项式函数等等基本初等函数以及他们组成的复合函数，还包括神经网络构成的函数。

5.根据权利要求1所述的方法，其特征在于，所述激活输出，是输入x经过函数f(x)的变换后得到结果y＝f(x),y即为激活输出结果，所示函数f(x)不限于任何形式的函数包括神经网络，输入x不限任何形式，包括标量、向量、矩阵等。

6.根据权利要求1所述的方法，其特征在于，所述滑动窗口，是指和传统矩阵卷积算法中相同的滑动操作，但是不滑动窗口的步长、大小、形状和数目。

2

CN 1106119 A

说　明　书

一种应用于深度卷积神经网络中的特征提取方法

1/2页

[0001]

1.应用领域

[0002]本发明涉及卷积特征提取方法的问题，特别涉及基于深度卷积神经网络的特征提取方法。

2.背景技术

[0003]近年来，各类深度神经网络模型层出不穷，这些模型的提出使得深度学习在图像、音频、自然语言等领域的发展有了突破性的进展。其中卷积运算几乎成为了深度神经网络在图像领域处理的基石，通过卷积层、池化层、归一化层等进行堆叠，使得网络具有足够的深度，从而能够处理复杂的图像任务。同时，硬件计算能力的提升，GPU并行计算的兴起，深度学习模型的规模也越来越大。因此，为了能够使得网络能够高效的利用参数，模型的结构设计一直是深度学习领域研究的重点，但是这些设计都是基于图像卷积操作来实现。[0004]卷积是通过部分覆盖范围内的周围单元产生响应，来从大型图像中图取出所关注的特征图样。这个过程类似于大脑皮层中用于局部敏感和方向选择的神经元，这种独特的网络结构可以有效地降低反馈神经网络的复杂性。同时，在计算上，卷积操作可以通过滑动来对同一图像的不同局部单元共享卷积操作的参数。因此，相比于全连接网络，卷积极大地节约了参数，节省了计算资源。但是，卷积操作的数学本质即为一个线性的变换提取，例如f(x)＝wx+b。线性的提取方式无法提取出非线性的特征，因此在提取高阶非线性特征时，传统卷积操作只能采用多个卷积核的堆叠来提取高阶非线性特征的低级线性表示图样组合。[0005]总的来说，虽然卷积层公认为是有效的，但是其低级特征提取的特性，使得卷积无法真正理解或抽象出高阶的、有效的特征。在深度学习的发展过程中，越来越多的模型被提出用于克服在大规模卷积运算中暴露出的低效、难以传播、不易训练等问题。不久前神经网络之父Geoffrey Hinton提出了Capsules用于将标量的卷积核扩充到向量，增强其表示能力。逐步会有更多的人关注特征提取算法的革新。本文提出一种新的特征提取算法将卷积的线性运算扩充到非线性运算来增强卷积提取高阶特征的能力。[0006]理论上，至少具备一层隐含层的神经网络能够拟合任意函数，被称之为深度神经网络。因此，全连接神经网络自身是一个结构简单的非线性函数拟合器。通过对对神经网络的不断训练，最终可以在一个局部最优处拟合目标函数。由此可以启发我们借助神经网络的非线性拟合的思想来提出一种新的非线性的特征提取算法，该算法使得卷积操作具有非线性高阶特征提取的能力。[0007]3.发明内容及特征

[0008]本发明提出了一种用于深度卷积神经网络中的特征提取方法。[0009]本发明中，将卷积视为一个不含隐含层的神经网络。改进原有的卷积操作，向该神经网络添加隐含层，使其由不含隐含层的线性变换，改进为含有至少一层隐含层的非线性变换，从而实现对高阶特征的非线性提取。此外，滑动卷积、参数共享等方法与特性和传统卷积保持一致。因此，不会影响到高层模型的设计与优化算法的应用。[0010]单个神经单元卷积的具体步骤如下：

3

CN 1106119 A[0011]

说　明　书

2/2页

a)待卷积数据记为W，隐藏层卷积核数目为U，参数为wi，i∈{1,2,…U}。

[0012]b)卷积核与卷积数据对位元素X相乘，再加上偏置b，即f(x)＝wiX+bi。[0013]c)逐元素经过非线性激活函数X：＝g(f(X)),将输出值重新赋给X。[0014]d)选择下一个卷积核，参数为wi+1，重复b)到d)的操作U次。[0015]e)最后对位元素求和，作为一次神经单元滑动后卷积计算结果。[0016]f)滑动到下一位置，重复进行以上操作，直至滑动遍历所有待卷积数据。[0017]g)最终得到单个神经单元卷积计算结果

[0018]经过第i个卷积核可以表示为f(x)＝wiX+bi，其中X是卷积核对位元素；wi是卷积核参数，g(x)则为一种非线性映射，例如sigmoid函数；U是隐含层数目，将结果g(f(x))作为下一次隐含层计算时的对位数据元素X，重复该计算过程；当前滑动位置计算结束后，计算下一位置的卷积结果，重复以上的操作。只要迭代一次隐藏层卷积，即可实现线性向非线性的改进。本发明采用线性运算与激活函数迭代实现了非线性卷积的特征提取算法。[0019]本发明与目前的卷积特征提取运算相比，单个卷积核的特征提取核抽象能力更强，更能有效的利用参数资源，同时其实现原理简单，易于使用现有的框架实现并加速计算。此外，本发明也可以与目前已有的一些技术重叠使用，例如池化层、归一化层的堆叠，残差网络的跨层连接等。

4.附图说明[0020](1)图1为本发明方法的流程示意图和摘要附图。[0021](2)图2为本发明简化后的等效全连接神经网络示意图。[0022](3)图3为滑动计算示意图。[0023]5.具体实施方法举例

[0024]为了进一步说明本发明的实施方法，下面给出一个实施范例。此示例仅表示对本发明的原理性说明，不代表本发明的任何。[0025]假设待卷积数据维度N为(5,5)。隐含层卷积核数目C为3，维度K为(2,2)，卷积步长S为1,填充P为0。同时，方便起见，省去偏置项b不影响该运算。以下(a)代表了图1中的隐含层计算，(b)代表了输出层计算。[0026]a)首先，分别用每一个隐含层卷积核对待卷积数据做卷积运算。得到隐含层计算结果，维度为(3,4,4)。由3个卷积核得到的计算结果，因此通道数为3。其空间维度为4，满足卷积计算维度公式，

[0027]

b)得到隐含层计算结果后，经过一层非线性激活层，例如Sigmoid函数。使用输出层卷积核，维度为(3,1,1)，其通道数为3，空间维度为1，由该卷积核(3,1,1)和隐含层输出(3,4,4)做卷积操作，得到最终的神经单元卷积法的输出，维度为(1,4,4)。到此完成一个神经单元卷积的计算。

[0028]c)如果需要多个神经单元卷积，只需要重复以上操作，将输出结果合并即可。如：使用5个神经单元卷积，重复以上操作得到5个维度为(1,4,4)的输出结果。将结果合并为一个维度为(5,4,4)的张量。

4

CN 1106119 A

说　明　书　附　图

1/2页

图1

图2

5

CN 1106119 A

说　明　书　附　图

2/2页

图3

6