- 相關(guān)推薦
利用遺傳模擬退火算法優(yōu)化神經(jīng)網(wǎng)絡(luò )結構
摘要：常用的神經(jīng)網(wǎng)絡(luò )是通過(guò)固定的網(wǎng)絡(luò )結構得到最優(yōu)權值，使網(wǎng)絡(luò )的實(shí)用性受到影響。引入了一種基于方向的交叉算子和變異算子，同時(shí)把模擬退火算法引入了遺傳算法，結合遺傳算法和模擬退火算法的優(yōu)點(diǎn)，提出了一種優(yōu)化神經(jīng)網(wǎng)絡(luò )結構的遺傳——模擬退火混合算法，實(shí)現了網(wǎng)絡(luò )結構和權值的同時(shí)優(yōu)化。仿真實(shí)驗表明，與遺傳算法和模擬退火算法相比，該算法優(yōu)化的神經(jīng)網(wǎng)絡(luò )收斂速度較快、預測精度較高，提高了網(wǎng)絡(luò )的處理能力。
關(guān)鍵詞：遺傳算法;模擬退火算法;神經(jīng)網(wǎng)絡(luò );優(yōu)化
l、引言
神經(jīng)網(wǎng)絡(luò )是由多個(gè)簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計算系統，該系統通過(guò)對連續或斷續式的輸入作狀態(tài)響應而進(jìn)行信息處理。雖然每個(gè)神經(jīng)元的結構和功能十分簡(jiǎn)單，但由大量神經(jīng)元構成的網(wǎng)絡(luò )系統的行為卻豐富多彩和十分復雜。神經(jīng)網(wǎng)絡(luò )在國民經(jīng)濟和國防科技現代化建設中具有廣闊的應用領(lǐng)域和應用前景。主要應用領(lǐng)域有：語(yǔ)音識別、圖像識別、計算機視覺(jué)、智能機器人、故障機器人、故障檢測、實(shí)施語(yǔ)言翻譯、企業(yè)管理、市場(chǎng)分析、決策優(yōu)化、物資調運自適應控制、專(zhuān)家系統、智能接口、神經(jīng)生理學(xué)、心理學(xué)和認知科學(xué)研究等等。
隨著(zhù)神經(jīng)網(wǎng)絡(luò )理論研究的深入以及網(wǎng)絡(luò )計算能力的不斷拓展，神經(jīng)網(wǎng)絡(luò )的應用領(lǐng)域將會(huì )不斷拓展，應用水平將會(huì )不斷提高，最終達到神經(jīng)網(wǎng)絡(luò )系統可用來(lái)幫人做事的目的，這也是神經(jīng)網(wǎng)絡(luò )研究的最終目標。
神經(jīng)網(wǎng)絡(luò )具有很強的自適應、自組織和自學(xué)習的能力，具有大規模并行運算的能力。常用的神經(jīng)網(wǎng)絡(luò )系統的行為主要由兩方面因素決定：其一為拓撲結構;其二是節點(diǎn)間連接權值。一般來(lái)講，在應用神經(jīng)網(wǎng)絡(luò )過(guò)程中只是得到最優(yōu)權值，結構在整個(gè)過(guò)程中是固定的，而且在確定結構時(shí)，經(jīng)常根據人為經(jīng)驗或經(jīng)驗公式先擬定一個(gè)結構，在此基礎上不斷地訓練網(wǎng)絡(luò )、調整結構，最后得到確定的網(wǎng)絡(luò )結構，進(jìn)而應用這個(gè)固定的網(wǎng)絡(luò )結構得到最優(yōu)的權值。因此，構造一個(gè)準確定量構效關(guān)系人工神經(jīng)網(wǎng)絡(luò )模型需要耗費大量的時(shí)間，有時(shí)利用該方法構造的模型結構還可能不是最佳的l_。近年來(lái)，用遺傳算法(Genetic Algo—rithms，GA)解決神經(jīng)網(wǎng)絡(luò )優(yōu)化設計問(wèn)題受到廣泛重視。GA在尋優(yōu)時(shí)搜索方向不停的發(fā)生變化，具有較強的全局搜索能力。
但是，在應用遺傳算法尋優(yōu)的過(guò)程中，仍存在著(zhù)困難翻：遺傳算法對好的個(gè)體易造成塊破壞、易出現早熟。因此，許多學(xué)者采取了遺傳算法和其它算法相結合 的措施，如先用遺傳算法進(jìn)行全局搜索，確定最優(yōu)解所在的區域后，再用BP算法(擬牛頓LM算法)進(jìn)行局部搜索，但仍然存在耗時(shí)較多、精度較低的不足。
Eh Kolmogarav定理可知在有合理的結構和恰當的權值條件下，三層前向網(wǎng)絡(luò )能以任意精度逼近有界非線(xiàn)性函數。對于三層神經(jīng)網(wǎng)絡(luò )來(lái)說(shuō)，輸入層、輸出層節點(diǎn)的個(gè)數由目標函數結構決定，故而在優(yōu)化網(wǎng)絡(luò )結構時(shí)，也優(yōu)化它的隱層節點(diǎn)的個(gè)數。
本文將對應用最為廣泛的三層前向網(wǎng)絡(luò )進(jìn)行優(yōu)化設計，把基于方向的遺傳交叉算子和變異算子引入了遺傳算法，并且與模擬退火算法(Simulated Annealing，SA)結合，提出了自適應遺傳一模擬退火混合算法，使在得到神經(jīng)網(wǎng)絡(luò )最優(yōu)權值的同時(shí)，也自動(dòng)得到最優(yōu)網(wǎng)絡(luò )結構。仿真研究表明，此算法在以負荷作為訓練樣本的神經(jīng)網(wǎng)絡(luò )中具有良好的實(shí)用性。不僅能確定出最佳隱層節點(diǎn)個(gè)數，同時(shí)能生成落在全局最優(yōu)區域的權值。
2、遺傳算法遺傳算法是近年來(lái)迅速發(fā)展起來(lái)的一種全新的隨機搜索與優(yōu)化算法，其基本思想是基于Darwin的進(jìn)化論和Mendel的遺傳學(xué)說(shuō)。該算法由密執安大學(xué)教授Hol 1and及其學(xué)生于1975年創(chuàng )建 。隨后經(jīng)過(guò)20多年的發(fā)展，取得了豐碩的應用成果和理論研究成果，特別是近年來(lái)世界范圍內形成的進(jìn)化汁算熱潮，汁算智能已作為人工智能研究的一個(gè)重要方向，以及后來(lái)的人工生命的興起，使GA受到廣泛的關(guān)注。遺傳算法主要通過(guò)選擇復制和遺傳算子的作用使種群不斷進(jìn)化，最終收斂到優(yōu)化解。遺傳算法是一種并行搜索過(guò)程，它具有較強的全局尋優(yōu)能力。
2.1 編碼方式圈為了計算簡(jiǎn)便，本文省略神經(jīng)網(wǎng)絡(luò )閾值。個(gè)體的長(cháng)度由最大隱層節點(diǎn)個(gè)數決定，即z=(r+c)·^一+/I。 其中：r為輸人節點(diǎn)數?h 為最大隱層節點(diǎn)數、c為輸出節點(diǎn)數。將同一個(gè)隱層節點(diǎn)所連接的權值排在一起，當刪除或增加隱層節點(diǎn)時(shí)，方便操作。將隱層節點(diǎn)個(gè)數及網(wǎng)絡(luò )權值進(jìn)行混合實(shí)數編碼，另外對隱含層節點(diǎn)增加了一個(gè)O-1組成的數串用作控制碼�？刂拼a主要是控制隱節點(diǎn)的個(gè)數，0—1數串中的一個(gè)數控制一個(gè)隱層節點(diǎn)。
圖1中，m，是表示第一個(gè)隱層節點(diǎn)有效性的O-1控制碼，h 是表示第 一個(gè)隱層節點(diǎn)有效性的O-1控制碼， 是與第一個(gè)隱層節點(diǎn)相關(guān)的權值， ：是與第二個(gè)隱層節點(diǎn)相關(guān)的權值， ^一是與第矗一個(gè)隱層節點(diǎn)相關(guān)的權值。
初始群體中不同隱層節點(diǎn)個(gè)數的個(gè)體按照一定的比例隨機產(chǎn)生。當O-1數串中的數為0時(shí)，其所對應的隱含層節點(diǎn)對輸出層沒(méi)有作用(即相當于不存在此神經(jīng)元)，當數串中的數為1時(shí)，就相當于此隱含層節點(diǎn)對輸出層有作用采用上述方法編碼，每個(gè)個(gè)體譯碼后的網(wǎng)絡(luò )結構都滿(mǎn)足前面所述的研究前提條件，因此不存在所對應的網(wǎng)絡(luò )結構無(wú)效的個(gè)體。
2.2 適應度函數的確定及選擇運算
2.3 交叉率和變異率的確定
2.4 交叉算子對控制基因和實(shí)數編碼的基因分別采用不同的交叉算子。
對于控制基因，采用兩點(diǎn)交叉;對于用實(shí)數編碼的代表各個(gè)節點(diǎn)權值的基因，采用下面所述交叉方法：
假設要參與交叉操作的兩個(gè)個(gè)體分別為 ，兩個(gè)個(gè)體上相對應位的權值分別為 ，并且 的適應度高于 的適應度，定義式(2)、(3)所示的△ 、△ 兩個(gè)中間變量：
2.5 變異算子隨機取出需要變異的一個(gè)個(gè)體，再從控制碼中隨機選出一個(gè)數，這個(gè)數的變異采用基本變異算子。若這個(gè)數變異后的控制基因是1，則從控制基因1對應的權值串中選一隨機位，設這一隨機位上的權值為Xc 的變異為：在區間 ，X21上隨機取一數 ：代替 區問(wèn) ]如式(6)、(7)確定。
3、模擬退火算法模擬退火算法的思想最早由Metropolis等于1 953年提出。SA又稱(chēng)為模擬冷卻法、統計冷卻法、Monte-Carlo退火法、隨機松弛法和概率爬山法等。1983年Kirkpatriekm等開(kāi)展了一些富有成效的工作，成功地將該思想引入組合優(yōu)化理論，解決了許多諸如VLSI等大規模優(yōu)化設計問(wèn)題。SA算法是基于Mente Carlo迭代求解策略的一種隨機尋優(yōu)方法，其出發(fā)點(diǎn)是基于物理中固體物質(zhì)的退火過(guò)程與一般組合優(yōu)化問(wèn)題之間的相似陛。SA算法在某一初溫下，伴隨溫度參數的不斷下降，結合概率突跳特性在解空間中隨機尋找目標函數的全局最優(yōu)解，即在局部?jì)?yōu)解能概率性的跳出并最終趨于全局最優(yōu)[81。SA算法具有質(zhì)量高、初始魯棒性強、通用易實(shí)現的優(yōu)點(diǎn)。但是為尋到最優(yōu)解，算法通常要求較高的初溫、較慢的降溫、較低的終止溫度以及各溫度下足夠多的抽樣，因而SA算法往往優(yōu)化過(guò)程較長(cháng)，這是SA算法的最大缺點(diǎn)。
4、訓練步驟步驟1設定三層前向神經(jīng)網(wǎng)絡(luò )的輸入節點(diǎn)r、隱含層節點(diǎn)、輸出節點(diǎn)c、初始溫度 、退火次數Num、退火個(gè)體數Ⅳ;步驟2在【0，l】范圍內隨機產(chǎn)生PP條染色體，得到初始種群，并設初始進(jìn)化代數L=0; 一步驟3由設定的選擇概率按選擇機制對個(gè)體選擇;步驟4由自適應交叉概率按交叉算子進(jìn)行交叉操作;步驟5由自適應變異概率按變異算子進(jìn)行變異操作;步驟6把由步驟3,4、5得到的個(gè)體放到—起作為中間種群;步驟7計算中間種群的適應度，將適應度大的個(gè)體分別進(jìn)行模擬退火Num次;步驟8將模擬退火次后得到的Ⅳ個(gè)最好的個(gè)體替代中間種群中取出的Ⅳ個(gè)個(gè)體，組成新的種群;步驟9如果進(jìn)化代數小于預先設定的最大遺傳代數，令= +1，轉步驟3，否則，終止網(wǎng)絡(luò )的訓練，選出最優(yōu)個(gè)體，轉步驟10;步驟10將最優(yōu)個(gè)體按順序拆分，作為BP網(wǎng)絡(luò )的最優(yōu)權值;步驟1 1輸入與訓練樣本集模式相一致的預測樣本，得到預測值，并計算出相對誤差。
5、仿真實(shí)驗及結果
本文在河北地區1999年7月1日至2003年l2月31日的歷史負荷中篩選了多組樣本數據，訓練神經(jīng)網(wǎng)絡(luò )。
6、結論
本文提出的遺傳模擬退火算法是一種同時(shí)優(yōu)化神經(jīng)網(wǎng)絡(luò )結構和權值的算法，它是在遺傳算法中對控制碼和權值域分別引進(jìn)算子。在交叉過(guò)程中，對權值應用自適應交叉和變異率，引入向適應度高的方向進(jìn)化的交叉算子，對控制基因用兩點(diǎn)交叉。在變異時(shí)，對控制基因采用基本變異算子，之后將中間種群中的適應度高的個(gè)體在其周?chē)M(jìn)行模擬退火，這樣充分發(fā)揮了遺傳算法和模擬退火算法的優(yōu)點(diǎn)，克服了遺傳算法在神經(jīng)網(wǎng)絡(luò )優(yōu)化過(guò)程中存在的不足。表2說(shuō)明，本文算法確實(shí)有效地使神經(jīng)網(wǎng)絡(luò )的結構和權值同時(shí)得到了優(yōu)化;表3說(shuō)明將本文算法優(yōu)化神經(jīng)網(wǎng)絡(luò )應用于預測，確實(shí)提高了收斂速度，得到了較高的預測精度。
【利用遺傳模擬退火算法優(yōu)化神經(jīng)網(wǎng)絡(luò )結構】相關(guān)文章：
模擬退火算法在匹配場(chǎng)定位優(yōu)化中的應用10-25
期望最大算法的優(yōu)化及其在神經(jīng)放電尖峰分類(lèi)中的應用08-25
基于遺傳算法的OD分布09-14
一種可用于數值優(yōu)化的一維智能體遺傳算法的研究07-10
淺析植物遺傳資源的保存與利用09-30
研究植物遺傳資源的保存與利用07-29
基于DSP的信道譯碼算法優(yōu)化10-13
遺傳算法及其在求解TSP中的應用09-22