软件学报ISSN lOOO一9825,CODEN RUXUEW E—mail:jOS@iscas.ac.ca JournalofSoftware,2012,23(7):1805—1815【doi:10.3724/SP.J.1001.2012.04128】 http://www.jos.org.cn ◎中国科学院软件研究所版权所有. Tel/Fax:+86-10—62562563 一种多尺度协同变异的粒子群优化算法 陶新民H,刘福荣 ,刘 玉 ,童智靖 (哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨 150001) (黑龙江省电力有限公司,黑龙江哈尔滨 150090) Multi-Scale Cooperative Mutation Particle Swarm Optimization Algorithm TAO Xin.MinH,LIU Fu.Rong ,LIU Yu ,TONG Zhi.Jing (College ofInformation and Communication Engineering,Harbin Engineering University,Harbin 150001,China) (Heilongjiang Electric Power Company Limited,Harbin 1 50090,China) +Corresponding author:E-mail:taoxinmin@hrbeu.edu.ca,http://www.hrbeu.edu.cn Tao XM,Liu FR,Liu Y,Tong ZJ.Multi-Scale cooperative mutation particle swarm optimization algorithm. Journal ofSoftware,2012,23(7):1805—1815(in Chinese).http://www.jos.org.cn/lO00—9825/4128.htm Abstract:To deal with the problem of premature convergence and low precision of the traditional particle swal'nl optimization algorithm,a particle swal'irl optimization(PSO)algorithm based on multi—scale cooperative mutation, is proposed,which is guaranteed to converge to the global optimal solution with probability one.The special multi—scale Gaussian mutation operators are introduced to make the particles explore the search space more efifciently.The large-scale mutation operators can be utilized to quickly locate the global optimal space during early evolution.The small-scale mutation operators,which are gradually reduced according to the change of the fitness value can implement the accuracy of the solution at the late evolution.The proposed method is applied to six typical complex function optimization problems,and the comparison of the performance of the proposed method with other PSO algorithms is experimented.The results show that the proposed method can effectively speed up the convergence and improve the stabiliyt. Key words:particle swarm optimization;premature convergence;multi-scale;cooperative mutation;ftness 摘要:为了改善粒子群算法易早熟收敛、精度低等缺点,提出一种多尺度协同变异的粒子群优化算法,并证明了 该算法以概率1收敛到全局最优解.算法采用多尺度高斯变异机制实现局部解逃逸.在算法初期阶段,利用大尺度变 异及均匀变异算子实现全局最优解空间的快速定位;随着适应值的提升,变异尺度随之降低;最终在算法后期阶段, 利用小尺度变异算子完成局部精确解空间的搜索.将算法应用6个典型复杂函数优化问题,并同其他带变异操作的 PSO算法比较,结果表明,该算法在收敛速度及稳定性上有显著提高. 关键词: 粒子群算法;早熟收敛;多尺度;协同变异:适应度 中图法分类号:TP18 文献标识 ̄iq-:A ・基金项目:国家自然科学基金(61074076);国家博士后科学基金(200904501l8);中国博士点新教IJ ̄(20092304120017);黑 龙江省博士后科学基金(LBH.Z082271 收稿时间:2009 1l一17;修改时间:2011-04—25,2011-06—24;定稿时间:201卜1O一08 1806 Journal of Software软件学报Vo1.23,No.7,July 2012 粒子群算法(particle swarm optimization,简称PSO)是由Eberhart博士提出的一种基于群体智能的优化算 法。其基本思想源于对鸟群捕食行为的研究.由于其简单、易实现、收敛快等优点,在目标函数优化、神经网 络训练等方面都有很好的表现,其应用涉及系统控制、模式识别、通信工程等各个领域.然而,早熟和收敛慢0-5] 一直是困扰粒子群算法的两个难题. 在避免粒子群算法早熟收敛的研究中,很多改进方案被提了出来,包括变更公式法 分群方法等.对PSO的 参数进行自适应选择策略,在改善算法的性能方面也取得了良好的效果,如在惯性权值中引入随机成分【6I7J、利 用模糊逻辑调节惯性权值[8I9】、采用一个的二级PSO优化一级PSO参数【 】、利用Q.学习调节参数【llJ、 采用自适应评论策略调节参数(挖】等.此外,Zhang等人[”】通过评价每个粒子的性能改善指标自适应调节惯性权 值、粒子数以及粒子邻域大小;Ratnaweera等人【】 】通过引入时变加速因子和时变惯性权因子,有效地增强了算 法的局部搜索能力;Zhan等人提出的自适应粒子群优化算法(adaptive particle swarm optimization,简称 APSO)[ 】采用数学统计的技术对算法运行过程中的种群位置分布信息和适应值信息进行分析,并以此定义了 一个称为“进化因子(evolutionary factor)”的变量f.APSO采用模糊逻辑的方法对厂的取值进行模糊划分,从而估 计算法运行的不同进化状态,并根据不同的进化状态设计有效的参数自适应控制策略以加快算法的求解速度, 取得了良好效果. 近年来,许多学者又将进化算法中的变异操作引入PSO.如文献【l6】通过对粒子引入一个小概率随机变异 操作来增加种群多样性(dissipative PSO,简称DPSO),这样虽然可以对解空间进行更好的搜索,但如果变异率控 制不当极易导致原始种群的混乱,达不到局部精确搜索的目的.在此基础上,文献[17]给出了一种变异操作随时 间变化的自适应层次PSO算法(self-organizing hierarchical PSO,简称HPSO),确定了自适应参数的选择方式.但 由于该算法没有考虑速度公式中惯性因素的影响,使得算法仍然未能迅速而有效地逃离局部极小值.文献[18】 为了提高种群多样性和搜索速度之间的平衡,对阈值设定进行了改进,并结合群体自动分家机制,提出一种自适 应逃逸的微粒群算法(self-adaptive escape PSO,简称AEPSO).然而,上述算法在变异时均采用单一的均匀变异机 制,逃逸能力大为减弱,使改进PSO算法在有限的迭代次数内无法实现全局最优解的探索.因此,如何增强算法 的逃逸能力,使其在快速定位到最优解区域的同时提高最优解的精度,值得我们进一步加以研究. 鉴于此,本文提出一种多尺度协同变异的自适应粒子群算法(multi.scale cooperative mutatingly self- adaptive escape PSO,简称MAEPSO).该算法利用不同大小方差的自适应高斯变异机制实现解空间的探索,这种 多个或大或小的变异机制能够促使整个种群以尽量分散的变异尺度来对解空间进行更加详尽的探索.高斯变 异的范围随着适应值的变小逐渐降低,在算法后期有利于提高最优解的精度.同时,利用均匀算子维护种群多样 性.通过对不同评测函数进行测试,均验证了新算法优良的优化性能. 1标准粒子群算法 一个由,,1个粒子组成的群体在n维搜索空间中以一定速度vF(vfl,vf2,…,v ) 飞行,粒子的好坏由一个事先 设定的适应值函数来确定,每个粒子在搜索时根据目前为止自身搜索到的历史最好点p尸 1 f2,… ) 也称为 pbest)和整个群体中所有粒子发现的最好点p (pg1,Pg2,... ) 也称为gbest)进行位置Xi ̄(Xi1,xf2,… f ) 的变化. 粒子迭代过程中速度与位置的更新公式为 Vid(f+1)=w×Vjd(t)+C1× ×(Pfd(f)一勘(f))+c2×r2×(Pgd(f)一 (f)) %O+1)= (f)+ +1) (1) (2) 其中,r1和 是均匀分布在[0,1】范围内的随机数,用来保持群体的多样性;。l和C2为学习因子,使粒子具有向群体 中优秀个体学习的能力: 为惯性权重,起着权衡局部和全局最优能力的作用.粒子的每维速度被在一个最 大速度为 的范围内. 2多尺度协同变异粒子群算法 粒子群算法迭代过程中,如果某个粒子发现了一个当前最优位置,其他粒子会迅速向其靠拢.如果该最优位 陶新民等:一种多尺度协同变异的粒子群优化算法 1807 置是局部最优点,粒子群就无法在解空间内重新搜索,算法就会陷入局部最优,从而出现早熟收敛的现象.为了 避免这种情况的发生,此时,如果我们对粒子的速度进行变异,就可以改变粒子的前进方向,使粒子进入解空间 的其他区域搜索,从而有可能发现新的个体最优位置和种群最优位置,增加算法找到全局最优解的几率. 然而,在上述提到的通过增加变异操作来帮助算法逃出局部最优的改进算法中,粒子的逃逸能力都取决于 均匀变异尺度,均匀变异虽然具有很强的逃离原点的能力,但是由于我们事先无法预知函数局部极值间的距离, 因此无法给出合适的变异尺度.如果初始尺度较大,则无法保证所逃离到的新位置的适应值一定优于现有的最 优解,尤其是在算法进化后期最优解可能就存在于现有最优解周边的区域,这样,通过单纯的均匀变异无法确定 更优的位置,最终因迭代次数的使其无法收敛到全局最优解.为此,本文提出一种多尺度协同变异粒子群优 化算法,算法的逃逸能力取决于不同尺度方差的高斯变异算子,不同尺度的变异有助于算法在搜索空间中进行 分散式搜索.同时,变异尺度随着适应度的提升逐渐减少.这样,在保证算法逃逸能力的同时,提高了最优解的 精度. 2.1多尺度高斯变异算子 设尺度个数为 首先初始化多尺度高斯变异算子的方差: ∞’=( ,cr;∞,..., ) (3) 初始时,方差一般设定为优化变量的取值范围;随着迭代次数的增加,多尺度高斯变异算子的方差会随之进 行调整,具体调整方式如下:首先,根据适应值函数厂的大小对种群中的粒子由小到大排序;然后对其进行组合,生 成 个子群,每个子群的粒子个数为P=N/M.K是当前迭代次数,计算每一个子群的适应度值: 旦f一1 | FitX ̄’=∑,( )/P,m=1,2,...,M , (4) 不同变异尺度之间相互竞争,根据适应能力的不同设置不同的变异能力.因此,第m个变异算子的标准差为 \M・, FiⅨ -EM FiⅨ xp {£ =max(FitX(K), 一 ,..., £ ) (6) 只£Y =min(FitX(x), ,...,FitX(MK ) (7) 根据每个子群适应度得到的 个不同尺度算子随迭代次数的变化如图1所示,由于变异算子的进化是一 个递归过程,排在后面的变异算子可能很大,因此,对变异算子的标准差作如下规范:如果 ”>W/4,则 ”:I W/4一 ”I (8) 其中,W为待优化变量空间的宽度.重复上式,直到满足 <W/4. 磺 迭代次数Ⅳ Fig.1 Changing of different scale—variations with iterations when 114--5 图i M=5时不同尺度方差随迭代次数的变化示意图 1808 Journal of Software软件学报Vo1.23,No.7,July 2012 从图1可以看出,随着迭代次数的变化,不同尺度算子的方差变化情况不同.本文提出的多尺度变异算子能 够实现整个解空间的覆盖性搜索,其中,大尺度( =5)变异算子具有振荡性质,完成对解空间的粗搜索,使粒子快 速定位到最优解周围;而小尺度( =1,2,3,4)变异算子呈递减趋势,在进化后期完成局部精确解的探索.为了最大 范围地实现空间勘探能力,进行完多尺度高斯变异后,按公式(9)进行一次均匀变异操作,比较变异后所有粒子的 适应值,取最好的位置作为新的逃逸点.阈值 用来保存种群中第d维的当前速度阈值且其值恒大于O;rand为 ~个均匀分布在[0,1】范围内的随机数. If(Vid< then Vid=randx 。。 (9) 2.2勘探和开采能力的自适应协同 我们知道,任何一种进化算法都存在勘探和开采两类不同的操作,PSO算法随着迭代次数的增加粒子会收 敛于某个最优个体,多样性逐渐丧失.为了防止粒子陷入局部最优,上述算法通过变异操作改善种群多样性来提 高算法的全局搜索能力.然而在算法后期,变异操作往往会使微粒群不能进行精确的局部搜索.因此,如何协调 勘探和开采能力是进化算法性能提高的关键.为此,本文算法采用两种方式实现勘探和开采能力间的均衡. 首先,本文算法采用HPSO中消除了速度惯性部分的公式进行更新,这样就使得PSO进化只负责整个算法 的开采能力,当速度小于一定阈值时,给予速度一个变异操作——逃逸运动,描述如下: If(V then rrfi)=。 n f(x,+m dn× , _厂( + dn× ) If f(xi+randn× Vid=randn ̄ Else )<f(xi+rand× ) v ̄d=randx _m“ (10) PSO算法进化公式消除了惯性部分,使粒子速度快速下降.这样,在有限迭代次数内能进行多次逃逸,提高了 种群多样性,增强了算法全局搜索性能.另外,本文算法的逃逸运动采用多尺度高斯变异方式,小尺度能够保证 精确解局部搜索能力,避免了HPSO算法进化后期因下降过快和均匀变异导致无法进行详细局部搜索的不足. 另外,公式(10)中阈值的大小将会对算法的执行效果产生一定影响:如果阈值过大,则会导致逃逸次数增加, 从而打乱PSO种群进化的原有结构,使算法无法进行局部深度搜索,开采能力下降;阈值过小,则会导致微粒速 度需较长时间达到逃逸条件,在有限的迭代次数内无法进行有效的全局搜索,勘探能力下降.为此,结合文献[1 8】’ 本文给出一种自适应的阈值设定方法.设微粒各维速度间相互,并对每维速度均给予一个不同的阈值,当该 维度中有多个微粒速度达到这个值时,闽值就自动下降,通过这种方式达到动态调整微粒速度的目的.具体描述 如下: Gd(f)=GdO一1)+∑cia(t) 其中, (f)=0,Via(t)>Ta. (11) If Ga(t)>kl then Gd(t)=O;Ta= 如 (12) 其中,kl,k2为常数,Size为种群大小,频率Gd(t)表示种群第d维速度曾经发生逃逸的总次数.k1标记调整阈值乃 和频率 (f)的条件值,如用来控制阈值速度下降的幅度.通过控制粒子飞行速度的方式,不仅能够保证算法的全 局解空间勘探性能,同时在算法后期还能使粒子群进行精确的局部搜索,保证算法的收敛速度. 2.3算法流程 多尺度协同变异的粒子群优化算法的流程如下: (1) 种群的初始化:随机初始化微粒的速度、位置、全局最优解,计算微粒的适应度,同时作为微粒的个体 陶新民等:一种多尺度协同变异的粒子群优化算法 1809 最优位置.反复进行Ⅳ次,共生成Ⅳ个初始微粒群; (2) 对每个微粒,比较其适应度和它经历过的最好位置适应度,如果更好,则更新该微粒最好位置; (3)对每个微粒,比较其适应度和群体所经历的最好位置的适应度,如果更好,则更新全局最好位置; (4) 根据公式(1)PSO进化公式调整微粒的速度; (5)利用公式(11)判断微粒是否需要逃逸; (6) 若满足逃逸条件,则利用公式(10)进行逃逸; (7)更新微粒的位置: (8) 根据公式(4)~公式(7)计算多尺度变异算子; (9) 根据公式(11)、公式(12)计算每一维速度的阈值; (10)判断终止条件,若满足则终止,否则转到步骤(2). 3多尺度协同变异粒子群算法分析 3.1算法的优化机理分析 为了说明方便,设优化函数, )只有一个自变量函数,如图2所示,多尺度变异算法中种群的某一个粒子经 过多次迭代后到达a点,经过小尺度逃逸后,向下“下山”找到个体口 ,经过PSO算法进化到口”,然后经过大尺度变 异后找到适应值更高的粒子6,则粒子b被选择进入下一世代,经过PSO若干代进化找到粒子b .粒子b 经过大 尺度逃逸操作找到了粒子c,则粒子c被选择进入下一个世代,经过PSO进化和小尺度逃逸最终找到最优解c . 由上可知,多尺度逃逸操作将整个解空间看作是一个山谷,经过大尺度变异逃逸操作进行“下山”以寻求适应值 更高的区域(日 6,b c).大尺度逃逸操作用于搜索全局解空间,是粗搜索.如果大尺度逃逸操作找到了适应值 更高的区域,则PSO进化操作和小尺度变异操作在该区域进行局部搜索,以寻求更高精度的解(Ⅱ 日 ,口 口”,6 6 ,c c ).因此,本文算法是一种勘探和开采能力相互交替进行的搜索算法,具有全局和局部两层邻域搜索机制, 从而保证了算法全局和精确的局部寻优性能. Fig.2 Mechanism of cooperative multi-scale escape 图2多尺度协同逃逸优化机理 3.2算法的收敛性分析 引理1.设Axfa=v , 1, —Ⅳ(0,1),则 Ⅳ( , . (13) 证明:由公式(2)可得: AXid:C1× ×(Pid—Xid)+C2×r2×(P ~Xid) 设 =C1×(p 一Xid), =C2×(p 一 ) 则 (14) 1810 Journal of Software软件学报Vo1.23,No.7,July 2012 Axid= + × (15) 由于rl,r2 ̄N(O,1),显然 Ⅳ( ,D .对于MAEPSO算法来说,在粒子运行过程中,公式(1O)定期给粒子一个 较大的高斯变异速度冲量,使得Axid在搜索过程中始终是非零高斯变量. 定义1.定义优化问题(p)的全局最优粒子集合为 f ’: ≠ ,f(x)>f(x )} (16) 对于微粒种群x,令 C 兰 ,n I表示微粒种群x中包含最优粒子的个数. 定义2.如果对于任意的初始状态 均有 1imP{l9( ( ))≥1l (0)= )=1 .,(17) 则称算法以概率1收敛于全局最优解. 定理1.多尺度协同变异的微粒群算法以概率1收敛. 由引理1可知, f Ⅳ( , ,由公式(10)n- ̄ll,MAEPSO算法是一种带有变异操作的进化策略算法.在 MAEPSO算法中,微粒种群序列{ 证明:记尸0( =P{ 9 , ≥O}是一个有限齐次可约马尔可夫链,对于任意初始状态 ,算法以概 率1收敛于全局最优粒子集合 .证明如下: )=O),由贝叶斯条件概率公式有 P{ ( ( +1))=0 Jl9( ( ))≠O)×P{l9( ( ))≠o)+ P{l9( ( +1))=0ll9( ( ))=0)×P{l9( ( ))=O} 由微粒群算法的保优性质可得尸{t 又由公式(10)可知, R( +1)=P{l9( ( +1))=O) =(18) 1))=01 飙 )≠0}=0,所以, (19) (20) Po( +1)=P{l9( ( +1))=01|9( ( ))=O}×Po( ) 尸{一9( +1))>0I 记 )=0}>0 :rrAnP{O(X(K+1))>0Il9( ( ))=O),K:0,l,2,… 则 (21) P{l9( ( +1))>0Il9( ( ))=0)≥ >0 所以, (22) P{l9( ( +1))=0Il9( ( ))=0}=1一P{l9( (K+1))≠0l ( ( ))=0} ≤1一P{ ( ( +1))>1Il9( ( )):0} ≤1一 <1 (23) 因此, 0≤Po(K+1)≤(1一 )×Po(K)≤(1一 ) xPo(K一1)≤…≤(1-4)n × (0) 因为lia(1一孝)r “=0,1≥Po(O)≥0,所以, 一(24) 0 ̄< lim p。( )≤ .+(1一 ) ‘Po(O)=0 (25) 故limP0(0)=0,因此, K ∞ limP{l9( ( ))≥1Ix(o)=Xo}=1一limP{l9( ( ))=0Ix(o)=Xo)≥1一lim昂( )=1 K_’∞ ∞ ))>1lx(o)=Xo)=1.定理1得证. (26) 口 所以1imP{ ( ..因此,MAEPSO算法以概率1收敛于全局最优粒子集合 . 3.3算法计算时间复杂度分析 对于传统PSO算法,一个粒子每维分量进行更新所需要的运算如下:5次乘法运算,5次加法运算.假设乘法 和加法运算所需要的时间分别为 和 .实验中,设置传统PSO算法中的粒子数量为m,维数为 所需迭代次 陶新民等:一种多尺度协同变异的粒子群优化算法 18l1 数为 1,则传统的PSO算法完成优化所需的平均时间为dxmxnl×(5 +5 ).对于本文算法,如果尺度个数M=5, 所需迭代次数为 2,则一个粒子进行更新、变异所需要的运算如下:11次乘法运算,10次加法运算.因此,算法完 成优化所需的平均时间为dxmxn2×(11Tm+lO ).由此得出,当nl 2 2时,本文算法的平均时间与传统PSO算法相 当.由于本文算法进化初期大尺度变异算子快速定位最优解附近区域的勘探能力和进化后期小尺度变异算子 的深度开采能力,使算法搜索到问题最优解所需的迭代次数远远小于传统PSO算法及其改进算法,n2<< 】/2,图 3~图8中,本文算法与其他算法收敛速度的对比结果可以证明这一点.因此,从某种意义上说,本文算法找到问题 最优解所需的平均时间与传统PSO算法不相上下,因此并没有提高传统PSO算法的时间复杂度. j型 闰 迭代次数Ⅳ Fig.3 Convergence performance comparison of 30.dimension『盘6let function 图3 30维Tablet函数收敛情况对比图 j四 卿 籁 闺 0 500 1000 l500 2000 迭代次数Ⅳ Fig.5 Convergence performance comparison of 30.dimension Rosenbrock function 图5 30维Rosenbrock函数收敛情况对比图 堪 蚓 圆 。 迭代次数Ⅳ Fig.7 Convergence performance comparison of 30-dimension Rastrigrin function 图7 30维Rastrigrin函数收敛情况对比图 j型 蜊 氟 闺 迭代次数Ⅳ Fig.4 Convergence performance comparison of 30-dimension Quadric ufnction 图4 30维Quadric函数收敛情况对比图 趔 蚓 闺 迭代次数Ⅳ Fig.6 Convergence performance comparison of 30.dimension Griewank function 图6 30维Griewank函数收敛情况对比图 蜊 闭 0 迭代次数Ⅳ Fig.8 Convergence performance comparison of 30.dimension Schaffer function 图8 30维Schaffer函数收敛情况对比图 1812 Journal of Software软件学报Vo1.23,No.7,July 2012 4对比实验及结果分析 为了验证本文算法的优化性能,选择文献[18】中的6个Benchmark函数:Tablet,Quadric,Rosenbrock, Griewank,Rastrigin,Schaffer F7进行数值实验.其中,前3个函数为单模态函数,后3个函数为多模态函数.6个函 数当自变量取合适值时,极值都为0.将本文算法与传统PSO算法及其改进的DPSO,HPSO,AEPSO算法进行对 比实验.5种算法参数设置如下:采用线性下降惯性权重,w在[O.95,0.4】之间随迭代数线性递减;c1,c2均为 1.4,DPSO中Cv=0.001,AEPSO和本文算法的 l=5,/<72=10,本文算法M=5,初始方差 为优化变量的范围,z 0.5, 种群规模均为2O,函数维度为3O,每次运行6 000代,每个函数运行50次. 4.I单模态Benchmark函数对比实验 图3~图5反映了5种算法处理单模态Benchmark函数的对比结果.如图3、图4所示,对于简单的Tablet 函数和Quadric函数,本文算法能够迅速定位到最优解0的附近区域.对于复杂的单模态Rosenbrock函数,由于 函数山谷提供的信息量很少,使传统的PSO算法很难在短时间内辨别搜索方向,易陷入局部最优.从图5可以看 出,本文算法能够在短时间内找到正确的搜索方向,下降速度较快,这是由于在进化初期采用大尺度变异算子对 解空间进行大范围搜索的结果;而其他算法单一的均匀变异机制具有一定的盲目性,因此下降得比较缓慢,减缓 了算法的收敛速度. 为了进一步证明本文算法的优越性,分别统计5种算法在处理6个Benchmark函数问题时运行50次所得 的最优值、最差值、中值、平均值和标准差,单模态问题的统计结果见表1.可以看出,本文算法在各项数值上 均优于其他算法,特别是对于Tablet函数,50次寻优实验能够100%地找到最优解.Tablet函数和Quadric函数的 统计数据显示,某些情况下,DPSO和HPSO的性能比传统的PSO算法更差.这是因为仅通过单一的均匀变异和 消除速度惯性部分的做法,使算法丧失了全局解空间的勘探能力.由于粒子群算法属于随机搜索算法,因此稳定 性是衡量算法好坏的重要标准.表1显示,PSO及其他改进算法在Quadric和Tablet函数优化问题上具有较好的 稳定性,但对于复杂的Rosenbrock函数。由于很难确定最优解搜索方向,因此各种算法单次结果差异很大.而本 文算法单次得到的解之间的差异性相对较小,50次实验中寻优率达到94%,因此算法具有更好的稳定性和健 壮性. .Table 1 Performance comparison of MAEPSO and other PSO algorithms in uni—model function 表1 MAEPSO和其他PSO算法在单模态Benchmark问题上的性能对比・ 函数 算法 PS0 DPSO 乃8let HPSO AEPSO 最小值 6.2e-22 1.4e—ll 21e一26 .中间值 l_1e-20 1.8e-10 2.5e一24 5.6e—l24 平均值 1.1e-19 1.6e-10 3.9e一24 2.6e—l22 方差 8.2e-19 l_3e-11 4.7e-24 8.1e-122 最大值 5.6e一18 2.8e-10 1.6e-23 6.9e-l2l 1.2e-128 MAEPSO PSo DPS0 0(100%1 0.722 7.8e-04 0 70.65 3.5e—O3 0 1.2e+2 3.8e-03 0 1.1e+2 2.0e-3 0 4.8e+02 1.Ie—O2 Quadric HPSO AEPS0 MAEPSO PSO 0.255 4.4e-11 1.6755e一2l5 4.873 1.198 6.5e-10 4.1340e一081 77.24 l_412 1.2e-09 3.1277e一010 93.71 0.8l1 1_4e-09 1.1703e一009 1.5e+02 3.837 7.5e-09 4.3788e一009 1.0e+03 DPSO Rosenbrock HPSO AEPSO 8.2e一02 5.3e-02 2.3e-03 20.64 72.57 8.322 32.08 1.9e+02 12.28 32.1 7 1.1e+02 1 7.1 9 1.7e+02 6.9e+02 79.69 MAEPSO 0(94%)0 2.9273e一007 1.6430e一006 1.1155e-005 4.2多模态Benchmark函数对比实验 从图6~图8可以看出,对于3个多模态函数,本文算法能够比其他算法在较少迭代次数内定位到全局最优 解附近的区域,全局搜索能力明显优于其他算法.从表2可知,MAEPSO算法的中值、平均值和标准差等各项数 据均显著优于其他算法,显示了新算法的稳定性和健壮性.在处理多模态Griewank函数和Rastrigrin函数优化问 陶新民等:一种多尺度协同变异的粒子群优化算法 1813 题时,在有限次代数内几乎全部找到了问题的最优解,寻优率分别达到95.5%和92%.由于Schaffer函数的特殊 性质 其他算法通过增加均匀变异操作未能找到问题的最优解0,而本文算法在50次的实验中有22%的机会找 到了全局最优解.虽然本文算法对于多模态问题没有在每次运行都能找到全局最优解,但是只要给予足够长的 迭代次数。MAEPSO算法总能逃出局部最优找到全局最优解.从表2中最优解和最差解实验结果之间的差异可 以看出,无论是PSO算法还是其他改进算法,对于处理多模态函数优化问题的稳定性都很差,而本文算法相对于 其他算法而言稳定性大为提高,这些都是由于本文算法采用了多尺度变异算子使得算法能够在搜索空间内进 行分散式搜索的结果. Table 2 Performance comparison of MAEPSO and other PSO algorithms in multi—model function 表2 MAEPSO和其他PSO算法在多模态Benchmark问题上的性能对比 函数 算法 PSO DPSO Griewank HPSO AEPSO 最小值 6.7e—l1 4.4e-12 1.1e—l6 0 中间值 1.96e-02 1.7e-02 9.9e—O3 8.6e-03 平均值 2.6e一02 2.5e-02 1.5e-02 1.2e-O2 方差 2.8e-02 3.3e-02 2.1e一02 1.6e一02 最大值 0.108 0.147 8.5e一02 6.6e-02 MAEPSO PSO DPSO Rastrigrin HPSo AEPSO 0(95.5%1 3O-87 7.2e一09 l2.93 0 0 56.71 7.0e一06 26_86 4.0e-12 1.0102e一010 55.18 0.201 29.O2 0.577 6.2184e一010 1.2-3l 0.498 8.963 1.087 4.3974e一009 81.59 2.058 55.81 3.980 MAEPSO PSO DPSo 0(92%)2.4e+02 82-35 0 2.9e+02 1.5e+02 2.0467e一008 2.9e+02 1.3e+02 7.0900e一008 30.91 31.17 2.4560e一007 3.5e+02 2.3e+02 Schaffer HPSO AEPSO 1.9e+02 44.57 2.4e+02 1.2e+02 1.9e+02 1.1e+02 22.42 39.19 2.1e+02 2.3e+02 MAEPSO 0(22%1 0.2974 1.4397 2.2676 9.0606 4.3不同初始参数 对算法性能的影响 为了验证初始阈值参数对本文算法性能的影响,利用不同取值范围的Schaffer,Griewank,Rosenbrock及 Rastrigrin函数进行实验,实验中取不同的初始值,实验结果如图9所示. 熠 乃初始化参数 Fig.9 Effect of initial parameters Ta on performance 图9不同 初始化参数对算法性能的影响 我们可以看出,阈值取【0.1,0.9】时获得的最优解最为理想.这是由于,在算法初始阶段充分利用了多尺度高 斯变异算子的大尺度实现快速的全局最优解区域定位,提高了算法全局搜索性能.在进化的中后期,由于本文算 法的阈值自适应调节,使得阈值随着迭代次数的增加而下降,最终利用小尺度变异实现局部最优解空间的搜索. 因此,在优化变量取值较宽且搜索空间复杂时,可以选取较大的初始阈值,这样可以在算法初期阶段有效地提高 算法的全局最优解的搜索能力. 1814 Journal of Software软件学报Vo1.23,No.7,July 2012 5结束语 本文提出一种新的多尺度变异粒子群算法,利用不同大小方差的高斯变异机制实现解空间的搜索,这种多 个或大或小的变异机制能够促使整个种群以尽量分散的变异尺度来对解空间进行更加详尽的探索.同时,高斯 变异的范围随着适应值的变小也逐渐缩小,有利于提高最优解的精度.同时,利用均匀变异算子维护种群多样 性.通过6个Benchmark函数进行测试,结果表明,新算法能够在算法初期快速定位到最优解附近区域,进而使得 微粒通过进化PSO及小尺度变异算子向着最优精确解空间逼近,使其在进化过程中保持局部最优解空间开采 的能力,加快了算法的收敛速度.其中,不同尺度个数对本文算法性能的影响将是本课题下一阶段研究的重点. References: [1】Kennedy J,Eberhart R.Particle swarm optimization.In:Proc.ofthe IEEE Int’1 Con ̄on Neural Networks.Piscataway:IEEE Press 1995.1942-1948. 【2]Shi Y,Eberhart R.A modiifed particle swarnl optimizer.In:Lee J K,Andrew B,Sehmid B,eds.Proc.of the IEEE Int’1 Conf.on Evolutionary Computation.Piscataway:IEEE Press,1998.67—73.[doi:10.1 109/ICEC.1998.699146】 opoulos KE,Vrahatis MN.On the computation of all global minimizers through particle SWalTII optimization.IEEE Trans.on 【3] ParsEvolutionary Computation,2004,8(3):21 1-224.【doi:10.1 109/TEVC.2004.826076】 ea IC.The particle swarlTl optimization algorithm:Convergence analysis and parameter selection.Information Processing 【4] TrelLetters,2003,85(9):317-325.【doi:10.1016/S0020・Ol90(O2)00447—7] J.The fully informed particle SWflXITI:Simpler,maybe better.IEEE Trans.on Evolutionary 【5] Mendes R,Kennedy J,NevesComputation,2004,8(3):204-210_【doi:10.1 109/TEVC.2004.8260741 S,Valle YD,Venayagamoorthy GK,Harley RG.A comparison of PSO and backl ̄Iropagation for training RBF neural [6] Mohagheghinetworks for identiicatfion of a power system with STATCOM.In:Sharkawi M,Lerman K,Galstyan A,eds.Proc.of the IEEE Swarmlntel1.Syrup.Piscataway:IEEEPress,2005.38卜384.【doi:10.1109/SIS.2005.1501646] hart RC,Shi Y.Particle swarm optimization:Developments,applications and resources.In:Pham T,ed.Proc.of the 2001 (7】 EberCongress on Evolutionary Computation.Piscataway:IEEE Press,2001.81—86.【doi:10.1109/CEC.2001.934374】 Y,Eberhart RC.Fuzzy adaptive particle swarln optimization.In:Pham T,ed.Proc.of the 2001 Congress on Evolutionary [8] ShiComputation.2001.101-106-【doi:10.1109/CEC.2001.934377】 or S,Venayagamoorthy GK,Gudise VG.Optimal pso for collective robotic search applications.In:Isasi P,Hemandez JC, 【9] DoctClrk aJA.eds.Proc.ofthe CEC 2004 Congress on Evolutionary Computation.Piscataway:IEEE Press,2004.1390—1395.【doi:10. 1 109/CEC.2004.1331059】 jenejad M,Afshinmanesh F,Marandi A,Araabi BN.Intelligent particle swarlTl optimization using Q—learning.In:Shi YH, [1O】 KhaArabshahi P.eds.Proc.of the IEEE Swarm Intel1.Symp.Piscataway:IEEE Press,2006.7-12. hy G.Improving the perform【11】 Doctor S,Venayagamoortance of particle swar/n optimization using adaptive critics designs.In: Sharkawi M,Lerman K,Galstyan A,eds.Proc.of the IEEE Swarm Intel1.Symp.Piscataway:IEEE Press,2005.393—396.【doi:10. 1 109/SIS.2005.1501649] [12】 Zhang W,Liu Y,Clerc M.An adaptive PSO algorithm for reactive power optimization.In:Wong KP,ed.Proc.of the 6th Int’I Confi on Advances in Power System Control,Operation and Management.Hong Kong:Institution of Electrical Engineers,2003. 302-307. Y,Chung HS.Adaptive particle SWalTU optimization.IEEE Trans.on System,Man,and Cybemetics,2009, 【13】 Zhan ZH,Zhang J,Li39(6):1362—1381_【doi:10.1109/TSMCB.2009.2015956】 e XF,Zhang WJ,Yang ZL.A dissipative particle swarm[14】 Xi optimization.In:Turner K,Wolpert D,eds.Proc.of the IEEE Int’1 Confi onEvolutionaryComputation.Piscataway:IEEE Press,2002.1456-1461.【doi:10.1109/CEC.2002.1004457】 naweera A。Halgamuge SK,Watson HC.Self-Organizing hierrchiacal particle swarln optimizer with time—varying acceleration 【l5】 Ratcoeffients.IEEE Trans.on Evolutionary Computaion,2004,8(3):240-255.【doi:10.1 109/TEVC.2004.826071】 陶新民等:一种多尺度协同变异的粒子群优化算法 1815 [16]He R,Wang YJ,Wang Q,Zhou JH,Hu CY.An improved particle swarm optimization based on self-adaptive escape velocity. Journal of Software,2005,16(12):2036—2044(in Chinese with English abstract).http:llwww.jos.org.on/1000.9825/16/2036.htm [doi:10.1360 ̄os162036] 【17]Tao XM,Xu J,Yang LB.Improved cluster algorithm based on k-means and particle swarm optimization.Journal ofElectronics& Information Technology,2010,32(1):92-97(in Chinese with English abstract). ●A [18]Peng Y,Peng XY,Liu ZQ.Statistic analysis on parameter efficiency ofparticle swarln optimization.Acta Electronica Sinica,2004, 32(2):209-213(in Chinese with English abstract). 附中文参考文献: [16]赫然,王永吉,王青,周津慧,胡陈勇.一种改进的自适应逃逸微粒群算法及实验分析.软件学报,2005,16(12):2036—2044 http://www.jos.org.cn/1000—9825/I6/2036.htm[doi:10.1360/jos162036] 【17】陶新民,徐晶,杨立标,刘玉.一种改进的粒子群和K均值混合聚类算法.电子与信息学报,2010,32(I):92—97. t18]彭宇,彭喜元,刘兆庆.微粒群算法参数效能的统计分析.电子学报,2004,32(2):209—213. 陶新Fi ̄(1973一),男,安徽蚌埠人,博士,副 刘玉(1985一),男,硕士,主要研究领域为智 能计算,信号处理. 教授,主要研究领域为进化计算,网络安 全,智能信号处理. 刘福荣(197O一),女,博士,副教授,主要研 究领域为故障诊断,群智能计算,人工 智能. ■一 信号处理,模式识别. 童智靖(1985一),男,硕士,主要研究领域为