目錄
前言
第一章 緒論 1
1.1 模式和模式識(shí)別 1
1.2 模式識(shí)別系統(tǒng) 2
1.2.1 原始數(shù)據(jù)獲取 3
1.2.2 原始數(shù)據(jù)的預(yù)處理 3
1.2.3 特征提取和選擇 6
1.2.4 分類決策 6
1.3 數(shù)據(jù)矩陣與樣本空間 9
1.3.1 數(shù)據(jù)矩陣與樣本空間 9
1.3.2 模式的相似性度量 11
1.3.3 樣本點(diǎn)的權(quán)重和特征向量數(shù)據(jù)的預(yù)處理 12
1.4 主成分分析 15
1.4.1 主成分分析的基本思想 16
1.4.2 主成分分析算法 17
1.4.3 降維處理及信息損失 19
第二章 貝葉斯決策 21
2.1 基于最小錯(cuò)誤率的貝葉斯決策 21
2.1.1 決策規(guī)則 21
2.1.2 錯(cuò)誤率 23
2.1.3 分類器設(shè)計(jì) 25
2.2 Neyman-Pearson決策 26
2.3 正態(tài)分布時(shí)的貝葉斯決策 28
2.4 分類器的效率和錯(cuò)誤率 30
2.4.1 分類器的效率、錯(cuò)誤率和判選率矩陣 30
2.4.2 錯(cuò)誤率的上界 32
2.4.3 利用檢驗(yàn)樣本集估計(jì)判選率矩陣和錯(cuò)誤率 33
2.4.4 訓(xùn)練樣本集和檢驗(yàn)樣本集的劃分 35
2.4.5 利用判選率矩陣估計(jì)各類“真實(shí)”樣本數(shù) 37
2.4.6 分類器判定的“信號(hào)”樣本中錯(cuò)判事例的扣除 39
2.5 討論 41
第三章 線性判別方法 43
3.1 線性判別函數(shù) 43
3.1.1 線性判別函數(shù)的基本概念 43
3.1.2 廣義線性判別函數(shù) 46
3.1.3 線性分類器的設(shè)計(jì) 48
3.2 Fisher線性判別 48
3.3 感知準(zhǔn)則函數(shù) 54
3.3.1 幾個(gè)基本概念 54
3.3.2 感知準(zhǔn)則函數(shù) 56
3.4 最小錯(cuò)分樣本數(shù)準(zhǔn)則函數(shù) 58
3.5 最小平方誤差準(zhǔn)則函數(shù) 60
3.5.1 平方誤差準(zhǔn)則函數(shù)及其MSE解 60
3.5.2 MSE準(zhǔn)則函數(shù)的梯度下降算法 62
3.5.3 隨機(jī)MSE準(zhǔn)則函數(shù)及其隨機(jī)逼近算法 63
3.6 多類問題 65
第四章 決策樹判別 68
4.1 超長方體分割法 68
4.1.1 超長方體分割法的基本思想 68
4.1.2 超長方體分割法中閾值的確定 69
4.1.3 超長方體分割法的優(yōu)缺點(diǎn)及其改進(jìn) 71
4.1.4 超長方體分割法用于高能物理實(shí)驗(yàn)分析 73
4.2 決策樹法 79
4.2.1 決策樹法的基本思想 79
4.2.2 信號(hào)/本底二元決策樹的構(gòu)建 81
4.2.3 決策樹的修剪 83
4.3 決策樹林法 84
4.3.1 決策樹林的構(gòu)建 85
4.3.2 決策樹林對(duì)輸入事例的分類 86
4.3.3 重抽樣法構(gòu)建決策樹林 87
第五章人工神經(jīng)網(wǎng)絡(luò) 88
5.1 概述 88
5.1.1 生物神經(jīng)元和人工神經(jīng)元 88
5.1.2 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成和學(xué)習(xí)規(guī)則 90
5.2 感知器 93
5.2.1 單輸出單元感知器 93
5.2.2 多輸出單元感知器 94
5.3 多層前向神經(jīng)網(wǎng)絡(luò)和誤差逆?zhèn)鞑ニ惴?96
5.3.1 BP網(wǎng)絡(luò)學(xué)習(xí)算法 97
5.3.2 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 100
5.4 Hopfield神經(jīng)網(wǎng)絡(luò) 103
5.4.1 離散 Hopfield網(wǎng)絡(luò) 103
5.4.2 連續(xù) Hopfield網(wǎng)絡(luò) 109
5.4.3 Hopfield網(wǎng)絡(luò)在優(yōu)化計(jì)算中的應(yīng)用 111
5.5 隨機(jī)神經(jīng)網(wǎng)絡(luò) 115
5.5.1 隨機(jī)神經(jīng)網(wǎng)絡(luò)的基本思想 115
5.5.2 模擬退火算法 116
5.5.3 Boltzmann機(jī)及其工作規(guī)則 118
5.5.4 Boltzmann機(jī)學(xué)習(xí)規(guī)則 120
5.5.5 隨機(jī)神經(jīng)網(wǎng)絡(luò)小結(jié) 126
5.6 神經(jīng)網(wǎng)絡(luò)用于粒子鑒別 127
5.6.1 用于帶電粒子鑒別的特征變量 127
5.6.2 帶電粒子鑒別的神經(jīng)網(wǎng)絡(luò)的架構(gòu) 130
5.6.3 網(wǎng)絡(luò)的訓(xùn)練和粒子鑒別效果 132
第六章 近鄰法 135
6.1 最近鄰法 135
6.2 k近鄰法 136
6.3 剪輯近鄰法 138
6.3.1 兩分剪輯近鄰法 139
6.3.2 重復(fù)剪輯近鄰法 141
6.4 可作拒絕決策的近鄰法 143
6.4.1 具有拒絕決策的k近鄰法 143
6.4.2 具有拒絕決策的剪輯近鄰法 144
第七章 其他非線性判別方法 146
7.1 概率密度估計(jì)量方法 146
7.1.1 基本思想 146
7.1.2 總體概率密度的非參數(shù)估計(jì) 147
7.1.3 投影似然比估計(jì) 153
7.1.4 多維概率密度估計(jì) 155
7.1.5 近鄰體積中樣本數(shù)的確定 155
7.1.6 概率密度估計(jì)法與神經(jīng)網(wǎng)絡(luò)的性能對(duì)比 157
7.2 H矩陣判別 161
7.3 函數(shù)判別分析 162
7.4 支持向量機(jī) 165
7.4.1 最優(yōu)分類面 165
7.4.2 廣義最優(yōu)分類面 168
7.4.3 支持向量機(jī) 169
第八章 不同判別方法的比較 173
8.1 不同判別方法的特點(diǎn) 173
8.2 多元統(tǒng)計(jì)分析程序包TMVA簡(jiǎn)介 178
參考文獻(xiàn) 186