模式識別是指對表征事物或現(xiàn)象的各種形式的信息進行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程；機器學習是指機器通過統(tǒng)計學算法，對大量歷史數(shù)據(jù)進行學習，進而利用生成的經(jīng)驗模型指導業(yè)務的過程。本書介紹模式識別和機器學習技術(shù)的主要方面，包括貝葉斯統(tǒng)計決策、概率密度函數(shù)的估計、線性分類與回歸模型、其他分類方法、無監(jiān)督學習和聚類、核方法和支持向量機、神經(jīng)網(wǎng)絡和深度學習、特征選擇與提取等。本書既重視基礎(chǔ)理論和經(jīng)典方法的介紹，又兼顧前沿知識和最新模型的融入，力圖反映該領(lǐng)域的核心知識體系和新發(fā)展趨勢；每章的內(nèi)容盡可能做到豐富完整，并附有習題或上機實踐題，便于讀者鞏固所學的知識。本書可作為計算機科學領(lǐng)域機器學習和模式識別專業(yè)方向高年級本科生和研究生的教材，也可供相關(guān)技術(shù)人員參考。
李映，西北工業(yè)大學教授，工學博士，碩士生導師。研究方向為遙感圖像處理、數(shù)據(jù)挖掘、智能信息處理。主持包括國家自然科學基金、航空科學基金、陜西省自然科學基金、航天支撐基金項目等縱向項目和其它橫向項目十余項，在國內(nèi)外重要學術(shù)期刊上發(fā)表論文 100余篇，申請發(fā)明專利10余項，獲得授權(quán)發(fā)明專利6項。
第1章 緒論 1
1.1 引言 1
1.2 模式識別的基本概念 3
1.2.1 模式和模式識別 3
1.2.2 模式空間、特征空間和類空間 5
1.2.3 預處理 7
1.2.4 特征提取/選擇 7
1.2.5 分類 7
1.3 模式識別系統(tǒng) 8
1.4 機器學習的主要方法 9
1.4.1 監(jiān)督學習 9
1.4.2 無監(jiān)督學習 10
1.4.3 半監(jiān)督學習 11
1.4.4 集成學習 11
1.4.5 強化學習 12
1.5 概率分布 12
1.5.1 隨機變量及分布 13
1.5.2 隨機向量及分布 16
1.5.3 邊際分布 18
1.5.4 條件概率分布 18
1.6 習題 19
第2章 貝葉斯統(tǒng)計決策 20
2.1 引言 20
2.2 最小錯誤率判別規(guī)則 22
2.3 最小風險判別規(guī)則 24
2.4 最大似然比判別規(guī)則 27
2.5 Neyman-Pearson判別規(guī)則 30
2.6 最小最大判別規(guī)則 33
2.7 分類器設(shè)計 37
2.8 正態(tài)分布中的貝葉斯分類方法 41
2.9 小結(jié) 50
習題 50
第3章 概率密度函數(shù)的估計 52
3.1 引言 52
3.2 最大似然估計 52
3.2.1 最大似然估計基礎(chǔ) 52
3.2.2 正態(tài)分布下的最大似然估計 54
3.3 貝葉斯估計與貝葉斯學習 56
3.3.1 貝葉斯估計 56
3.3.2 正態(tài)分布下的貝葉斯估計 57
3.3.3 貝葉斯學習 59
3.4 EM估計方法 61
3.4.1 EM算法 61
3.4.2 混合正態(tài)分布的EM估計 63
3.5 非參數(shù)估計方法 65
3.5.1 非參數(shù)估計的基本方法與限制條件 65
3.5.2 Parzen窗法 67
3.5.3 kN近鄰估計方法 72
3.6 小結(jié) 74
習題 74
第4章 線性分類與回歸模型 75
4.1 引言 75
4.2 線性判別函數(shù)和決策面 75
4.2.1 兩類情況 76
4.2.2 多類問題中的線性判別函數(shù) 76
4.2.3 設(shè)計線性分類器的主要步驟 81
4.3 廣義線性判別函數(shù) 83
4.4 最小均方誤差判別 86
4.4.1 最小均方和準則 86
4.4.2 H-K算法 88
4.4.3 H-K算法的多類推廣 90
4.5 線性回歸模型 91
4.6 正則化線性回歸 92
4.7 小結(jié) 94
習題 94
第5章 其他分類方法 96
5.1 近鄰法 96
5.1.1 最近鄰法 96
5.1.2 k近鄰法 96
5.2 邏輯斯蒂回歸 99
5.3 決策樹與隨機森林 102
5.3.1 非數(shù)值特征 102
5.3.2 決策樹 102
5.3.3 屬性選擇方法 104
5.3.4 過學習與決策樹的剪枝 107
5.3.5 隨機森林 108
5.4 小結(jié) 109
習題 109
第6章 無監(jiān)督學習和聚類 110
6.1 引言 110
6.2 混合模型的估計 110
6.2.1 無監(jiān)督最大似然估計 111
6.2.2 正態(tài)分布下的無監(jiān)督參數(shù)估計 112
6.3 動態(tài)聚類算法 115
6.3.1 均值聚類算法 116
6.3.2 ISODATA聚類算法 121
6.4 層次聚類算法 127
6.4.1 凝聚的層次聚類算法 127
6.4.2 分裂的層次聚類算法 128
6.5 譜聚類 130
6.6 模糊聚類方法 134
6.6.1 模糊集基本知識 134
6.6.2 模糊c均值算法 135
6.7 相似性傳播聚類 136
6.8 小結(jié) 138
習題 138
第7章 核方法和支持向量機 139
7.1 引言 139
7.2 核學習機 139
7.3 支持向量機 140
7.3.1 線性可分支持向量機 141
7.3.2 軟間隔線性支持向量機 144
7.3.3 非線性支持向量機 146
7.4 支持向量回歸機 147
7.5 小結(jié) 151
習題 151
第8章 神經(jīng)網(wǎng)絡和深度學習 152
8.1 引言 152
8.2 感知器 153
8.2.1 感知器的概念 153
8.2.2 感知器訓練算法及其收斂性 154
8.2.3 感知器準則函數(shù)及梯度法 158
8.3 多層前向神經(jīng)網(wǎng)絡 162
8.3.1 多層前向神經(jīng)網(wǎng)絡 163
8.3.2 BP神經(jīng)網(wǎng)絡 165
8.3.3 RBF神經(jīng)網(wǎng)絡 170
8.4 自組織特征映射神經(jīng)網(wǎng)絡 176
8.4.1 SOM神經(jīng)網(wǎng)絡結(jié)構(gòu) 176
8.4.2 SOM神經(jīng)網(wǎng)絡算法 177
8.5 深度學習 179
8.5.1 堆棧式自編碼網(wǎng)絡（SAE） 179
8.5.2 深度置信網(wǎng)絡（DBN） 182
8.5.3 卷積神經(jīng)網(wǎng)絡（CNN） 185
8.5.4 循環(huán)神經(jīng)網(wǎng)絡（RNN） 191
8.5.5 生成對抗網(wǎng)絡（GAN） 194
8.5.6 擴散模型 196
8.5.7 Transformer模型 197
8.6 小結(jié) 201
習題 204
第9章 特征選擇與提取 205
9.1 引言 205
9.2 特征選擇的一般流程 205
9.2.1 生成特征子集 205
9.2.2 評價準則 207
9.2.3 停止條件和結(jié)果驗證 209
9.3 特征選擇方法 209
9.3.1 過濾式特征選擇方法 210
9.3.2 封裝式特征選擇方法 214
9.3.3 嵌入式特征選擇方法 215
9.3.4 集成式特征選擇方法 215
9.4 線性特征提取方法 216
9.4.1 線性判別分析 216
9.4.2 主成分分析方法 217
9.5 非線性特征提取方法 219
9.5.1 核線性判別分析 219
9.5.2 核主成分分析 221
9.5.3 流形學習 222
9.6 小結(jié) 224
習題 225
參考文獻 226
書單推薦
