本書是一本易學易懂的神經網絡教材，主要討論網絡結構、學習規(guī)則、訓練技巧和工程應用，緊緊圍繞“設計”這一視角組織材料和展開講解，強調基本原理和訓練方法，概念清晰，數(shù)學論述嚴謹，包含豐富的實例和練習，并配有課件和MATLAB演示程序。本書要求讀者具備線性代數(shù)、概率論和微分方程的基礎知識，可作為高年級本科生或一年級研究生的神經網絡導論課程教材，也可供有興趣的讀者自學或參考。
前言Neural Network Design，Second Edition本書介紹基本的神經網絡結構和學習規(guī)則，重點闡述網絡的數(shù)學分析、訓練方法，以及網絡在非線性回歸、模式識別、信號處理、數(shù)據挖掘和控制系統(tǒng)等領域實際工程問題中的應用。
我們盡最大努力以清晰和一致的方式安排本書內容，以期本書易懂易用。書中使用了許多例子來解釋每個討論的主題。在書的最后幾章，我們提供了一些學習實例，以展示神經網絡在實際應用中可能遇到的問題。
由于本書是關于神經網絡設計的，因此在內容的選擇上依據了兩個原則。首先，我們希望提供最有用且實際的神經網絡結構、學習規(guī)則和訓練技巧。其次，我們希望本書能夠自成體系，并且章節(jié)間的過渡自然流暢。為了實現(xiàn)這個目的，我們將有關應用數(shù)學的各種介紹材料和章節(jié)放在了需要用到這些材料的特定主題之前。簡言之，一些內容的選擇是因為它們對神經網絡的實際應用有重要作用，而另一些內容的選擇則是由于它們對解釋神經網絡的運行機制有重要意義。
我們省略了許多本可以包含的內容。例如，我們沒有把本書寫成一個涵蓋所有已知神經網絡結構和學習規(guī)則的目錄或綱要，而是集中精力介紹基礎概念。其次，我們沒有討論神經網絡的實現(xiàn)技術，如VLSI、光學器件和并行計算機等。再有，我們沒有提供神經網絡的生物學和心理學方面的基礎知識。雖然這些內容都是重要的，不過，我們希望重點討論那些我們認為對神經網絡設計最有用的內容，并進行深入闡釋。
本書可作為高年級本科生或一年級研究生一個學期的神經網絡導論課程教材（也適合短期課程、自學或參考）。讀者需要具有一定的線性代數(shù)、概率論和微分方程的基礎知識。
書中每章按如下方式分節(jié)：目標、理論與例子、小結、例題、結束語、擴展閱讀和習題。理論與例子是每章的主要部分，包含基本思想的發(fā)展以及例子解析。小結部分提供一個方便的列表，包含重要方程和概念，以易于工程參考。每章將大約1/3的篇幅用在例題部分，為所有關鍵的概念提供詳細的例題解析。
下頁的框圖說明了各章之間的依賴關系。
第1～6章涵蓋后面所有章節(jié)需要的基本概念。第1章是本書的引言，簡要介紹神經網絡的歷史背景和一些生物學基礎。第2章描述基本的神經網絡結構，這一章引入的記號體系將貫穿全書。第3章給出一個簡單的模式識別問題，并展示該問題可以分別由三類不同的神經網絡來解決。這三類網絡是本書后面的網絡類型的代表。此外，這里的模式識別問題也提供了本書解決問題的一般思路。
本書主要專注于訓練神經網絡完成各種任務的方法。在第4章中，我們介紹學習算法并給出第一個實際算法：感知機學習規(guī)則。感知機網絡雖然有其本質的局限性，但卻具有重要的歷史意義，并且可作為一個有用的工具來引入后面章節(jié)中強大神經網絡的關鍵概念。
本書的主要目的之一是闡述神經網絡的工作原理。為此，我們將神經網絡的內容和一些重要的輔助材料組織在一起。例如，在第5、6章中提供了線性代數(shù)的相關材料，這是理解神經網絡所需的核心數(shù)學知識。這兩章討論的概念將廣泛用于本書后面章節(jié)。
第7章和第15章闡述主要受生物學和心理學啟發(fā)的神經網絡及其學習規(guī)則。它們分為兩類：聯(lián)想網絡和競爭網絡。聯(lián)想網絡安排在第7章，而競爭網絡安排在第15章。
第8～14章以及第16章論述一類稱為性能學習的方法，該方法用于訓練網絡以優(yōu)化其性能。第8、9章介紹性能學習的基本概念。第10～13章中將這些概念用于逐步強大和復雜的前饋神經網絡。第14章將這些概念用于動態(tài)神經網絡。在第16章中，這些概念則被用于徑向基神經網絡，這類網絡也用到了來自競爭學習的概念。
第17～22章和前面的章節(jié)不同。前面的章節(jié)主要關注每種網絡的基礎理論和相應的學習規(guī)則，要點是理解核心概念。在第17～22章中，我們討論神經網絡在實際應用中的具體問題。第17章闡述許多實際的訓練技巧，第18～22章給出一系列實例研究，這些實例包括將神經網絡用于函數(shù)逼近、概率估計、模式識別、聚類和預測。
軟件MATLAB軟件并非是使用本書所必需的，上機練習可以用任何編程語言來完成。另外，本書提供的神經網絡設計演示（Neural Network Design Demonstrations）程序雖然有助于理解書中內容，但非關鍵所在。
不過，我們還是采用MATLAB軟件包來提供本書的輔助材料。該軟件使用廣泛，而且由于它的矩陣/向量表示法和圖形化顯示，為神經網絡實驗提供了方便的環(huán)境。我們用兩種不同的方法使用MATLAB。第一種，我們?yōu)樽x者準備了一些用MATLAB去完成的練習。神經網絡的一些重要特性僅在大型問題中才能體現(xiàn)出來，這需要大量計算，不適合手工演算。利用MATLAB可以快速實現(xiàn)神經網絡算法，也可以方便地測試大型問題。（如果沒有MATLAB軟件，可以使用任何其他編程語言來完成這些練習。）第二種使用MATLAB的方法是利用Neural Network Design Demonstrations軟件，你可以從網站hagan.okstate.edu/nnd.html下載它。這些交互式的演示程序解釋了每章中的重要概念。把這個軟件加載到你計算機的MATLAB目錄下之后（或者放在MATLAB路徑上），就可在MATLAB提示符下通過輸入nnd命令進
目 錄
Neural Network Design，Second Edition
出版者的話
譯者序
前言
第1章 引言1
1.1 目標1
1.2 歷史1
1.3 應用3
1.4 生物學啟示4
1.5 擴展閱讀5
第2章 神經元模型及網絡結構8
2.1 目標8
2.2 理論與例子8
2.2.1 記號8
2.2.2 神經元模型8
2.2.3 網絡結構11
2.3 小結15
2.4 例題17
2.5 結束語18
2.6 習題18
第3章 一個說明性的實例20
3.1 目標20
3.2 理論與例子20
3.2.1 問題描述20
3.2.2 感知機21
3.2.3 Hamming網絡23
3.2.4 Hopfield網絡26
3.3 結束語27
3.4 習題28
第4章 感知機學習規(guī)則31
4.1 目標31
4.2 理論與例子31
4.2.1 學習規(guī)則31
4.2.2 感知機結構32
4.2.3 感知機的學習規(guī)則35
4.2.4 收斂性證明39
4.3 小結41
4.4 例題42
4.5 結束語48
4.6 擴展閱讀49
4.7 習題49
第5章 信號與權值向量空間53
5.1 目標53
5.2 理論與例子53
5.2.1 線性向量空間53
5.2.2 線性無關54
5.2.3 生成空間55
5.2.4 內積56
5.2.5 范數(shù)56
5.2.6 正交性56
5.2.7 向量展開式58
5.3 小結60
5.4 例題61
5.5 結束語66
5.6 擴展閱讀67
5.7 習題67
第6章 神經網絡中的線性變換71
6.1 目標71
6.2 理論與例子71
6.2.1 線性變換71
6.2.2 矩陣表示72
6.2.3 基變換74
6.2.4 特征值與特征向量76
6.3 小結79
6.4 例題79
6.5 結束語85
6.6 擴展閱讀85
6.7 習題86
第7章 有監(jiān)督的Hebb學習90
7.1 目標90
7.2 理論與例子90
7.2.1 線性聯(lián)想器91
7.2.2 Hebb規(guī)則91
7.2.3 偽逆規(guī)則93
7.2.4 應用95
7.2.5 Hebb學習的變形96
7.3 小結97
7.4 例題98
7.5 結束語105
7.6 擴展閱讀105
7.7 習題106
第8章 性能曲面和最優(yōu)點108
8.1 目標108
8.2 理論與例子108
8.2.1 泰勒級數(shù)108
8.2.2 方向導數(shù)110
8.2.3 極小點111
8.2.4 優(yōu)化的必要條件113
8.2.5 二次函數(shù)114
8.3 小結119
8.4 例題120
8.5 結束語127
8.6 擴展閱讀127
8.7 習題128
第9章 性能優(yōu)化131
9.1 目標131
9.2 理論與例子131
9.2.1 最速下降法131
9.2.2 牛頓法136
9.2.3 共軛梯度法139
9.3 小結142
9.4 例題142
9.5 結束語150
9.6 擴展閱讀150
9.7 習題151
第10章 Widrow-Hoff學習153
10.1 目標153
10.2 理論與例子153
10.2.1 ADALINE網絡153
10.2.2 均方誤差154
10.2.3 LMS算法156
10.2.4 收斂性分析157
10.2.5 自適應濾波器159
10.3 小結164
10.4 例題165
10.5 結束語174
10.6 擴展閱讀174
10.7 習題175
第11章 反向傳播179
11.1 目標179
11.2 理論與例子179
11.2.1 多層感知機179
11.2.2 反向傳播算法182
11.2.3 例子186
11.2.4 批量訓練和增量訓練188
11.2.5 使用反向傳播188
11.3 小結192
11.4 例題193
11.5 結束語201
11.6 擴展閱讀201
11.7 習題202
第12章 反向傳播算法的變形210
12.1 目標210
12.2 理論與例子210
12.2.1 反向傳播算法的缺點210
12.2.2 反向傳播算法的啟發(fā)式改進215
12.2.3 數(shù)值優(yōu)化技術218
12.3 小結226
12.4 例題228
12.5 結束語235
12.6 擴展閱讀236
12.7 習題237
第13章 泛化241
13.1 目標241
13.2 理論與例子241
13.2.1 問題描述242
13.2.2 提升泛化能力的方法243
13.3 小結257
13.4 例題258
13.5 結束語265
13.6 擴展閱讀265
13.7 習題266
第14章 動態(tài)網絡270
14.1 目標270
14.2 理論與例子270
14.2.1 分層數(shù)字動態(tài)網絡271
14.2.2 動態(tài)學習的基本原則273
14.2.3 動態(tài)反向傳播276
14.3 小結288
14.4 例題290
14.5 結束語296
14.6 擴展閱讀296
14.7 習題297
第15章 競爭網絡302
15.1 目標302
15.2 理論與例子302
15.2.1 Hamming網絡303
15.2.2 競爭層304
15.2.3 生物學中的競爭層307
15.2.4 自組織特征圖308
15.2.5 學習向量量化310
15.3 小結314
15.4 例題315
15.5 結束語322
15.6 擴展閱讀322
15.7 習題323
第16章 徑向基網絡329
16.1 目標329
16.2 理論與例子329
16.2.1 徑向基網絡329
16.2.2 訓練RBF網絡333
16.3 小結343
16.4 例題344
16.5 結束語347
16.6 擴展閱讀347
16.7 習題348
第17章 實際訓練問題352
17.1 目標352
17.2 理論與例子352
17.2.1 訓練前的步驟353
17.2.2 網絡訓練359
17.2.3 訓練結果分析362
17.3 結束語368
17.4 擴展閱讀368
第18章 實例研究1:函數(shù)逼近370
18.1 目標370
18.2 理論與例子370
18.2.1 智能傳感系統(tǒng)描述370
18.2.2 數(shù)據收集與預處理371
18.2.3 網絡結構選擇372
18.2.4 網絡訓練372
18.2.5 驗證373
18.2.6 數(shù)據集374
18.3 結束語375
18.4 擴展閱讀375
第19章 實例研究2：概率估計376
19.1 目標376
19.2 理論與例子376
19.2.1 CVD過程描述376
19.2.2 數(shù)據收集與預處理377
19.2.3 網絡結構選擇378
19.2.4 網絡訓練379
19.2.5 驗證381
19.2.6 數(shù)據集382
19.3 結束語382
19.4 擴展閱讀383
第20章 實例研究3：模式識別384
20.1 目標384
20.2 理論與例子384
20.2.1 心肌梗死識別問題描述384
20.2.2 數(shù)據收集與預處理384
20.2.3 網絡結構選擇387
20.2.4 網絡訓練387
20.2.5 驗證388
20.2.6 數(shù)據集389
20.3 結束語390
20.4 擴展閱讀390
第21章 實例研究4：聚類391
21.1 目標391
21.2 理論與例子391
21.2.1 森林覆蓋問題描述391
21.2.2 數(shù)據收集與預處理392
21.2.3 網絡結構選擇392
21.2.4 網絡訓練393
21.2.5 驗證394
21.2.6 數(shù)據集396
21.3 結束語396
21.4 擴展閱讀396
第22章 實例研究5：預測398
22.1 目標398
22.2 理論與例子398
22.2.1 磁懸浮系統(tǒng)描述398
22.2.2 數(shù)據收集與預處理399
22.2.3 網絡結構選擇399
22.2.4 網絡訓練401
22.2.5 驗證402
22.2.6 數(shù)據集404
22.3 結束語404
22.4 擴展閱讀405
附錄A 參考文獻406
附錄B 記號413
附錄C 軟件417
索引420
書單推薦
