数学建模之神经网络

神经网络

神经网络不需要做许多假设和和复杂的数学表达式，只用通过学习样本进行训练。

一、BP神经网络

1.1简介

BP神经网络由输入层、隐层和输出层三层构成。对于BP神经网络，网络的性能受局部不准确试验数据的影响很小。所以BP神经网络有很强的容错性。

缺点：训练时间较长，求得的解可能是局部极小解。

biWil若R是输入量的个数，是隐层第i个神经元与输出层第K个神经元的连接权值，是

阈值。则通用神经元模型如下：

∑f

将多个神经元模型串起来会得到n个神经元输出，第i个神经元输出为

...文案大全

实用文案

nik1ikxkbiR

第i个神经元经过任意传递函数后得到输出为

yif(ni)logsig(ni)|tansig(ni)|purelin(ni)

BP神经网络的应用

①沼泽草炭土结构特性及模型研究（下载文档）

2.1步骤

①构造建模方案

根据输入与输出关系写出表达式，如三输入，一输出的非线性函数表达式为

f(d,q,)

相对应的BP神经网络结构为

文案大全

实用文案

......

ij设j，yi，ol分别表示BP网络三层节点的输入节点，隐节点，输出节点。

x表示输

入节点和隐节点之间的网络权值，Tli表示隐节点和输出节点之间的网络权值，我们用梯度法对BP网络的权值进行修正，采用sigmoid函数。若输出节点期望输出tl，则有

输入节点至隐节点的公式为：

i(k1)i(k)ij阈值修正：

误差：

iyi(1yi)lTlil

权值修正:

ij(k1)ij(k)ij

隐节点至输出节点的公式为：

若有p个样本数，n个输出节点数，则一个样本的误差为

ek|tl(k)ol(k)|,l1n控制误差范

文案大全

实用文案

p围是

Eek,k1

阈值修正：l(k1)l(k)l

权值修正：Tli(k1)Tli(k)lyi,(k为迭代次数） 误差：l(tlol)ol(1ol)

输出节点的计算公式为：

yif(ijxji)j隐节点的输出：点阈值。

，其中j为输入节点的输入，

xij为连接权值，i为节

输出节点的输出：

olf(Tijyil)i，其中ij为连接权值，l为节点阈值。

T②BP算法参数优化

一般选取初始权值的范围为：（-1，+1），

用in,out分别表示输入层，输出层的节点数，s表示样本训总数，则隐含节点数的大约取值：hideinouts/out 文案大全

实用文案

程序框图如下：

初始化输入学习样本和目标输出计算隐层、输出层神经元输出计算隐层、输出层神经元误差修改连接权值与神经元阈值更新学习样本学习样本结束？误差小于允许值？是更新学习次数学习次数小于上限值？是否结束

④改进BP神经网络

针对BP可能出现局部最小解的问题，我问用带动量因子算法对BP算法学习过程进行改进。方法是在BP算法的基础上往每个权值的变化上再加一项正比于前次权值变化的值，

文案大全

实用文案

同时由方向传播来产生新的传播变化。

用K，c分别表示训练次数和动量因子，c一般取0.95左右，则权值调节为：

wij(k1)(1c)ipjcwij(k)

bi(k1)(1c)icbi(k)

二、RBF神经网络

RBF神经网络是一种三层前向网络，首先用径向基函数作为隐含层节点的“基”构成隐含层空间，对输入矢量进行一次性变化，将低维的模式输入映射到高维空间内，然后通过对隐含层接点输出的加权求和得到输出。RBF网络结构如下

2.1 RBF网络的应用

文案大全

实用文案

①广州铁路枢纽运货量预测（下载文档）

②沼泽草炭土结构特性及模型研究（下载文档）

2.2步骤

（1）用K均值聚算类算法计算基函数中心

①聚类中心di(i1,2,,m)的初始化，一般用最初的m个训练样本作为di的值。

②按照最近邻规则将样本集合分组，即将xt(t1,2,,n)分到中心是di的输入样本聚类集合i(i1,2,,m)中，所以有xti且dimin||xtdi||。

③将聚类中心重新调整，用mi表示i的输入样本数，计算i中样本的平均值，即聚类中心

di1mixtxit。

若聚类中心有变化则重复以上步骤，否则进入下一步。得到RBF网络最终基函数中心。

（2）方差的计算

选取高斯函数为径向基函数，用dmax表示选取中心间的最大距离，则方差为

dmax,i1,2,2mi,m

（3）最小二乘法计算权值

文案大全

实用文案

用dk表示相对于输入xk的期望，yk表示网络的计算输出，一般误差准则是平方误差最小，即

1nJminE(dkjykj)22k1j1

由于基函数的参数ci和已经确定，误差E只是权重的函数，要使E达到最小，则有

I1M2ykjdkjexp2xkmcim0wijk1j1i12m1

nJEij将上式写成矩阵形式AW=C,求解此线性方程组即得到w。

例题：广州铁路枢纽运货量预测

根据表1预测广州铁路枢纽的货运量

表1 1995--2006年广州铁路枢纽货运量

文案大全

实用文案

解：（1）预测目标及时间序列的转换

假设广州铁路枢纽货运量的时间序列值为：X=x(1),x(2),,x(n)，预测模型中n=12，其中2005年，200年的数据在建立预测模型时不做学习训练样本,只在后面做测试样本,检验模型预测效果。

多数情况下,预测货运量的年增量即预测x(ni)x(ni1)的差值比直接据测x(ni)的绝对值最为输出效果更好。因此,时间序列可转换为Y=y(1),y(2),,y(n1)。其中，

y(i)x(i1)x(i),i1,2,,n1。

从而将预测目标转换为通过Y预测y(ni),i0,1,2,，转换结果如表2。

表2 1996——2006年广州铁路枢纽货运量增长值及其归一化后结果

文案大全

实用文案

（2） 数据的预处理

由于学习方法要求输入层的输入值在[0,1]之间,其输出范围也要求在[0,1]之间。但是由表1可知,收集到的铁路货运量增长值并没有落在这一范围内,使收集到的数据与网络模型算法要求的数据不一致,致使学习样本无法输入到网络模型中去,达不到学习与预测的目的。因此,必须对收集到的数据进行归一化处理。

yiminY10n

yi式中，yi为第i个增长值的实际值;minY为序列中的最小值;n为序列中绝对值最大的值的位数,这里n=4,归一化后的结果如表2。

(3)时间序列向标准表格形式的转换

在实际的预测中,对某一年货运量增长值的预测结果影响最大的是本年度前几年的货运量增长值,越接近该年的货运量增长值,对该年的影响越大。为使模型能多次重复使用,并充分利用已有信息,我们将新数据不断加入到模型中,去掉一些较为陈旧的数据,则可获得既能体现未来发展趋势的数据,又能维持模型的计算量不变。

所以,如果把时间序列的窗口设定为4,即以连续4年归一化后的货运量增长值来预测第5年归一化后的货运量增长值。如2006对年归一化后的货运量增长值进行预测,使用的是2002年—2005年的归一化后的货运量增长值。

（4）RBF网络的建立

文案大全

实用文案

根据题，我们建立的网络是输出层为5个结点,输出层为1个节点的神经网络模型。

采用实验的方法,通过选取不同的模型均方性能指标,分析获得相应的结果。隐含层基函数选取的是高斯基函数,中心训练方法采用的是K均值聚类算法。选取模型的性能指标为0.01。

学习与训练数据如表3所示。

表3 时间序列向标准表格形式的转换（窗口

利用RBF神经网络进行枢纽货运量的预测,并与BP神经网络比较。其中BP神经网络预测模型与RBF神经网络预测模型一样是基于时间增长值序列,学习率自适应调整策略利用数值优化法来实现反传算法,隐含层的节点数为5。

文案大全

实用文案

通过建立好的模型去预测2007一2008年的货运量,结果如下表4所示。

表4 2000一2006年广州铁路枢纽实际货运量与预测值分析

从表4上可以看出,基于径向基(RBF)的神经网络的平均误差为3.48%,BP神经网络的平均误差5.38%,这就说明基于径向基的神经网络输出的结果更精确、误差更小,可以更好更有效地对铁路货运量进行预测。

文案大全

实用文案

故将1995一2006年广州铁路枢纽铁路货运量时间序列转换为1995一2006年货运量增长序列,采用基于径向基的神经网络进行分析、训练、测试,然后对2007一2010年枢纽的货运量进行预测,结果如表5所示。

表5 2007一2010年预测的广州铁路枢纽铁路货运量

文案大全