本書介紹了機器學習的基本算法、歷史發(fā)展、應用前景及相關問題。內(nèi)容包括:機器學習所涉及的必要的數(shù)學知識,機器學習的基本模式和任務,神經(jīng)網(wǎng)絡的基本理論及算法結構,分類與聚類學習算法,數(shù)據(jù)維度歸約的基本方法,圖理論及方法以及當前比較流行的機器學習理論和算法。本書在加深學生對經(jīng)典機器學習方法理解的基礎上適當擴展其視野,以培養(yǎng)和提高其解決實際問題的能力。
本書可作為高等學校人工智能相關專業(yè)的教材,也適合該領域的工程技術人員參考使用。
近年來,人工智能(AI)的發(fā)展如火如荼,在很多領域都顯示了強大的生命力。機器學習算法作為人工智能的核心也受到了廣泛的重視。鑒于此,普及機器學習的基本知識,讓更多的人特別是青年學生深入了解機器學習,進而在工作中將機器學習的理論和方法進行有效應用,就成為一項很重要的工作。目前,對于機器學習進行介紹和研究的書籍已經(jīng)有不少,這些書籍大多出自國內(nèi)外業(yè)界翹楚之手,其學術水平自不待言。然而這些書籍更多地著眼于學術上的嚴謹性和結構上的完整性,數(shù)學分析及推導的內(nèi)容較多,而且基本都是“大部頭”著作,對于處于入門階段的讀者來講,可能閱讀和理解起來較為困難。為了幫助廣大讀者打開機器學習這個領域的大門,我們精心編寫了本書。在本書的編寫過程中,我們以邏輯清晰、突出重點、簡潔明了、方便接受、好學好懂為原則,盡量用較為平實的語言對機器學習的方法進行描述,以便于理解。在此基礎上再漸次加深難度,逐步引領讀者步入機器學習的殿堂。
本書以典型和常見的機器學習算法為例進行介紹,全書內(nèi)容共分八章。第一章緒論,主要介紹了機器學習的基本情況、該領域的重要人物、學術流派、發(fā)展歷程以及應用前景,同時對由機器學習發(fā)展所產(chǎn)生的社會影響也做了相應評述;第二章對機器學習所用到的數(shù)學知識進行了回顧和補充,主要集中在矩陣理論和統(tǒng)計學方面;第三章對機器學習的基本任務和學習模式進行了闡述,特別是對基于機器學習的擬合(回歸)方法進行了討論;第四章較為全面地介紹了神經(jīng)網(wǎng)絡這一機器學習的重要分支,對神經(jīng)網(wǎng)絡的工作機理進行了分析和評介;第五章對于作為機器學習基本任務之一的分類和聚類方法,從基本的基于統(tǒng)計的分類、聚類方法到現(xiàn)在較為先進的方法均進行了介紹;第六章對數(shù)據(jù)維度歸約方法進行了介紹,內(nèi)容涉及基于多元統(tǒng)計的方法及多類數(shù)據(jù)特征提取等;第七章對圖方法進行了介紹,特別是對于決策樹理論進行了較為詳細的分析;第八章介紹了當前主流的、較為典型的機器學習方法,在一定程度上屬于拓展視野的內(nèi)容。
本書第一至第四章、第六章、第八章由姚舜才編寫,第五章、第七章由孫傳猛編寫。全書由姚舜才統(tǒng)稿定稿。本書配有教學PPT演示文檔,讀者可從出版社網(wǎng)站下載。
本書的編寫得到了西安電子科技大學出版社李惠萍老師的幫助和鼓勵,在此表示衷心的感謝!
機器學習的發(fā)展日新月異,而本書作者的知識學養(yǎng)水平有限,書中難免存在不當之處,懇請廣大讀者及專家不吝指正。
第一章 緒論 1
1.1 機器學習發(fā)展簡史與概況 2
1.2 機器學習的研究與應用現(xiàn)狀 5
1.3 機器學習的相關問題 9
1.4 機器學習的發(fā)展前景 12
第二章 機器學習的數(shù)學基礎 14
2.1 線性代數(shù)與矩陣分析基礎 14
2.1.1 線性空間基礎 14
2.1.2 范數(shù) 16
2.1.3 矩陣運算及其分解 18
2.2 概率與統(tǒng)計基礎 21
2.2.1 概率分布 22
2.2.2 數(shù)字特征 31
2.2.3 估計理論基礎 35
2.2.4 貝葉斯理論基礎 39
2.3 優(yōu)化理論基礎 41
2.3.1 無約束最優(yōu)化 41
2.3.2 帶有約束條件的最優(yōu)化 42
復習思考題 43
第三章 機器學習基本知識 44
3.1 機器學習的建模問題 44
3.1.1 線性擬合(回歸)及建模問題 44
3.1.2 非線性擬合(回歸)及建模問題 50
3.2 機器學習模式概述 54
3.2.1 有監(jiān)督學習模式 55
3.2.2 無監(jiān)督學習模式 60
復習思考題 66
第四章 神經(jīng)網(wǎng)絡學習算法 67
4.1 神經(jīng)網(wǎng)絡概述 67
4.2 典型前饋型神經(jīng)網(wǎng)絡 73
4.2.1 前饋型(BP)神經(jīng)網(wǎng)絡基本運行模式 76
4.2.2 前饋型(BP)神經(jīng)網(wǎng)絡的相關問題 80
4.3 典型反饋型神經(jīng)網(wǎng)絡 83
4.3.1 反饋型神經(jīng)網(wǎng)絡基本運行模式 83
4.3.2 反饋型神經(jīng)網(wǎng)絡的相關問題 87
4.4 其他典型神經(jīng)網(wǎng)絡 91
4.4.1 徑向基神經(jīng)網(wǎng)絡 91
4.4.2 自組織競爭神經(jīng)網(wǎng)絡 96
4.4.3 小腦模型神經(jīng)網(wǎng)絡 102
4.4.4 卷積神經(jīng)網(wǎng)絡 105
復習思考題 109
第五章 分類與聚類學習算法 110
5.1 分類學習算法 110
5.1.1 線性分類算法 111
5.1.2 非線性分類算法 120
5.1.3 核方法與支持向量機 128
5.2 聚類學習算法 134
5.2.1 K均值聚類算法 135
5.2.2 其他聚類算法 138
復習思考題 139
第六章 數(shù)據(jù)維度歸約方法 140
6.1 單類數(shù)據(jù)降維 140
6.1.1 主成分分析 140
6.1.2 因子分析 148
6.1.3 相關分析 157
6.2 非線性降維算法簡介 161
6.2.1 等距映射 162
6.2.2 拉普拉斯特征映射 163
6.2.3 局部線性嵌入 166
6.3 多類數(shù)據(jù)特征選擇與提取 167
復習思考題 170
第七章 圖方法 171
7.1 貝葉斯網(wǎng)絡 171
7.1.1 貝葉斯網(wǎng)絡理論 171
7.1.2 貝葉斯網(wǎng)絡推理 173
7.2 決策樹理論 176
7.2.1 定義與結構 176
7.2.2 特征選擇準則 177
7.2.3 “過擬合”問題 179
7.2.4 連續(xù)值處理 180
7.2.5 決策樹生成 180
7.2.6 算法實例 181
7.3 馬爾可夫網(wǎng)絡 189
復習思考題 191
第八章 其他典型機器學習方法概述 192
8.1 隱含馬爾可夫模型 192
8.2 蒙特卡洛方法 196
8.3 組合多學習器 201
8.4 近似推斷 206
8.5 增強學習方法 210
8.6 深度學習方法概述 214
8.7 深度學習方法應用舉例 221
復習思考題 229
參考文獻 230