《機器學習及其應用》比較系統(tǒng)地介紹機器學習的基礎理論與應用技術。首先,介紹掌握機器學習理論和方法所必須具備的基礎知識,包括機器學習的基本概念與發(fā)展歷程、模型構造與優(yōu)化的基本方法;然后,介紹和討論監(jiān)督學習、無監(jiān)督學習、集成學習、強化學習等傳統(tǒng)機器學習理論與方法;在詳細探討神經(jīng)網(wǎng)絡與深度學習基本理論的基礎上,介紹深度卷積網(wǎng)絡、深度循環(huán)網(wǎng)絡、生成對抗網(wǎng)絡等若干典型深度學習模型的基本理論與訓練范式,分析討論深度強化學習的基本理論與方法!稒C器學習及其應用》站在高年級本科生和低年級碩士研究生的思維角度編寫,盡可能用樸實的語言深入淺出地準確表達知識內(nèi)容,著重突出機器學習方法的思想內(nèi)涵和本質(zhì),使得廣大讀者能夠掌握全書主要內(nèi)容。
《機器學習及其應用》每章均配有一定數(shù)量的習題,適合作為智能科學與技術、數(shù)據(jù)科學與大數(shù)據(jù)技術、計算機類相關專業(yè)的本科生或研究生的機器學習入門級教材,也可供工程技術人員和自學的讀者學習參考。
深度凝練機器學習的現(xiàn)有知識體系,注重突出對基本理論與關鍵技術的介紹和討論。
盡可能用樸實的語言深入淺出地介紹機器學習理論及相關算法設計技術。
在每個章節(jié)穿插相應的應用實例,使得廣大讀者能夠比較系統(tǒng)地掌握機器學習應用技術。
人類文明由早期農(nóng)耕時代經(jīng)歷漫長演化進入工業(yè)時代,再由工業(yè)時代進一步發(fā)展邁入當今的信息時代。數(shù)字化、網(wǎng)絡化和智能化是信息時代的基本特征,將給人類文明帶來科學技術水平上的巨大提升,令社會的方方面面產(chǎn)生深刻的變革,使得當代人們的生活和工作更加舒適、便捷。目前,作為引領信息社會發(fā)展動力的信息技術已經(jīng)歷了數(shù)字化和網(wǎng)絡化階段,正朝著智能化方向快速發(fā)展,人工智能技術在全社會得到前所未有的重視和廣泛應用,并以前所未有的速度向前飛躍發(fā)展。為順應時代發(fā)展潮流和把握發(fā)展機遇,我國及時制定并推出了新一代人工智能發(fā)展規(guī)劃,把人工智能發(fā)展放在國家戰(zhàn)略層面進行系統(tǒng)布局,使得人工智能成為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力。目前,人工智能的理論研究和應用開發(fā)是一個非常重要的優(yōu)先發(fā)展方向。
人工智能作為人腦器官的延伸,主要目標是通過計算機模擬人類大腦的某些思維方式或智能行為,如推理、證明、識別、感知、認知、理解、學習等思維方式或活動,使得計算機能夠像人類一樣進行思考。從外部環(huán)境中獲得知識和經(jīng)驗的學習能力是人類的一項基本思維能力,機器學習要解決的問題就是如何使得機器具有與人類類似的學習能力,使得機器系統(tǒng)能夠較好地了解外部環(huán)境并能夠適應外部環(huán)境的變化。機器學習為人工智能系統(tǒng)提供了基礎性的核心算法支撐,人工智能系統(tǒng)主要使用機器學習技術解析外部環(huán)境數(shù)據(jù),從數(shù)據(jù)中獲取知識和模型參數(shù),獲得可用于決策或預測的數(shù)學模型。要想學好人工智能,首先必須牢固掌握機器學習的基礎理論與應用技術。
機器學習的主要目標是通過計算手段從經(jīng)驗數(shù)據(jù)等先驗信息中獲得一個具有較好泛化性能的數(shù)學模型,并使用該模型完成預測、分類和聚類等機器學習任務。因此,機器學習的研究對象主要是從經(jīng)驗數(shù)據(jù)等先驗信息中產(chǎn)生或構造模型的訓練學習算法,或者說機器學習是一門關于訓練學習算法設計理論與應用技術的學問。我們知道,算法設計是一種思維的藝術,需要一定的抽象思維能力和數(shù)學知識。機器學習算法更是如此,不僅涉及微積分、數(shù)理邏輯、數(shù)理統(tǒng)計、矩陣計算、圖論等數(shù)學知識,而且涉及眾多zui優(yōu)化理論與方法,這些為廣大初學者掌握機器學習知識帶來一定困難。為較好地滿足廣大讀者系統(tǒng)地掌握機器學習入門性基礎理論與應用技術的需要,本書的編寫著重考慮如下兩個要點:
第一,注重知識體系的完備性。作為人工智能的核心技術,機器學習隨著人工智能的產(chǎn)生而產(chǎn)生并隨著人工智能理論的發(fā)展而發(fā)展,目前已形成一個非常龐大且正在快速延伸發(fā)展的知識體系,眾多學習算法精彩紛呈、目不暇接、不勝枚舉。本書通過深度凝練機器學習的現(xiàn)有知識體系,構造一套相對完備的入門級機器學習基礎理論與應用技術,在基本涵蓋連接學習、符號學習和統(tǒng)計學習這三種基本學習類型的基礎上,注重突出對基本理論與關鍵技術的介紹和討論。
第二,強調(diào)可讀性和可理解性。本書站在高年級本科生和低年級碩士研究生的思維角度編寫,在保證表達準確的前提下,盡可能用樸實的語言深入淺出地介紹機器學習理論及相關算法設計技術,盡可能細致地闡述理論與算法的思想內(nèi)涵和本質(zhì)。通過學習書中實際算例的具體演算過程,讀者能夠?qū)C器學習理論與算法有更加清晰、全面的理解。需要說明的是,本書并沒有為了增加可讀性而降低應有的內(nèi)容深度,只是通過比較恰當?shù)姆绞桨严嚓P知識表達得更加清楚明白,使得廣大讀者能夠通過自己的努力就可以比較輕松地掌握機器學習的基本理論與應用技術。
本書比較系統(tǒng)地介紹機器學習的入門性基礎理論與應用技術,內(nèi)容主要包括機器學習的基本知識、模型估計與優(yōu)化的基本方法、監(jiān)督學習和無監(jiān)督學習方法、集成學習、強化學習方法、神經(jīng)網(wǎng)絡與深度學習方法,將機器學習的經(jīng)典內(nèi)容與深度學習等前沿內(nèi)容有機地結合在一起,形成一套相對完整、統(tǒng)一的知識體系,并在每個章節(jié)穿插相應的應用實例,使得廣大讀者不但能夠較好地掌握機器學習的基本理論,而且能夠比較系統(tǒng)地掌握其應用技術,為今后的工作和進一步學習打下扎實的理論與應用基礎。全書共包含如下9章內(nèi)容:
第1章和第2章是全書zui基礎的知識內(nèi)容,主要為后續(xù)機器學習具體方法的介紹提供必備的理論和技術基礎。第1章主要介紹機器學習的基本知識,包括機器學習基本概念、誤差分析、發(fā)展歷程及需要解決的基本問題;第2章主要介紹模型估計與優(yōu)化的基本方法,包括模型的參數(shù)估計、模型優(yōu)化的基本概念與方法,以及若干模型正則化策略。
第3章至第6章比較系統(tǒng)地介紹傳統(tǒng)機器學習理論與方法。第3章主要介紹監(jiān)督學習模型與算法,包括線性模型、決策樹模型、貝葉斯模型和支持向量機模型;第4章主要介紹聚類分析、主分量分析、稀疏編碼等無監(jiān)督學習的基本理論和方法;第5章主要介紹集成學習方法,包括Bagging集成學習和Boosting集成學習方法;第6章主要介紹強化學習方法,包括基本強化學習和示范強化學習方法。
第7章至第9章比較系統(tǒng)地介紹神經(jīng)網(wǎng)絡與深度學習方法。第7章主要介紹神經(jīng)網(wǎng)絡與深度學習的基本知識,包括神經(jīng)網(wǎng)絡的基本概念、基本模型和常用模型,以及深度學習的基本理論和模型訓練方法;第8章主要介紹幾種常用的深度網(wǎng)絡模型與訓練范式,包括深度卷積網(wǎng)絡、深度循環(huán)網(wǎng)絡和生成對抗網(wǎng)絡;第9章主要介紹深度強化學習理論與方法,包括基于價值的學習和基于策略的學習。
限于篇幅,本書未將半監(jiān)督學習、多示例學習、流形學習、遷移學習、度量學習、元學習、分布式學習等相對比較專門的機器學習前沿研究內(nèi)容納入介紹范圍,讀者可以查閱相關專著、學術論文或技術報告。事實上,如果牢固掌握了本書所介紹的機器學習基本知識內(nèi)容,那么進一步學習和研究這些前沿知識就不是一件很難的事情。
本書由汪榮貴、楊娟、薛麗霞編著。感謝研究生葉萌、朱正發(fā)、湯明空、李文靜、俞鵬飛、姚旭晨、陳龍、江迪、鄭巖、韓夢雅、鄧韜、王靜、龔毓秀、李明熹、董博文、麻可可、李懂、劉兵,以及本科生孫旭等同學提供的幫助,感謝合肥工業(yè)大學計算機與信息學院、合肥工業(yè)大學人工智能學院、機械工業(yè)出版社的大力支持。
由于時間倉促,書中難免存在不妥之處,敬請讀者不吝指正。
前言
第1章機器學習概述
1.1機器學習基本概念
1.1.1人工智能與機器學習
1.1.2機器學習基本術語
1.1.3機器學習誤差分析
1.2機器學習發(fā)展歷程
1.2.1感知機與連接學習
1.2.2符號學習與統(tǒng)計學習
1.2.3連接學習的興起
1.3機器學習基本問題
1.3.1特征提取
1.3.2規(guī)則構造
1.3.3模型評估
1.4習題
第2章模型估計與優(yōu)化
2.1模型參數(shù)估計
2.1.1zui小二乘估計
2.1.2zui大似然估計
2.1.3zui大后驗估計
2.2模型優(yōu)化基本方法
2.2.1梯度下降法
2.2.2牛頓迭代法
2.3模型優(yōu)化概率方法
2.3.1隨機梯度法
2.3.2zui大期望法
2.3.3蒙特卡洛法
2.4模型正則化策略
2.4.1范數(shù)懲罰
2.4.2樣本增強
2.4.3對抗訓練
2.5習題
第3章監(jiān)督學習
3.1線性模型
3.1.1模型結構
3.1.2線性回歸
3.1.3線性分類
3.2決策樹模型
3.2.1模型結構
3.2.2判別標準
3.2.3模型構造
3.3貝葉斯模型
3.3.1貝葉斯方法
3.3.2貝葉斯分類
3.3.3貝葉斯回歸
3.4支持向量機
3.4.1線性可分性
3.4.2核函數(shù)技術
3.4.3結構風險分析
3.5監(jiān)督學習應用
3.5.1信用風險評估
3.5.2垃圾郵件檢測
3.5.3車牌定位與識別
3.6習題
第4章無監(jiān)督學習
4.1聚類分析
4.1.1劃分聚類法
4.1.2密度聚類法
4.2主分量分析
4.2.1基本PCA方法
4.2.2核PCA方法
4.3稀疏編碼與學習
4.3.1稀疏編碼概述
4.3.2稀疏表示學習
4.3.3數(shù)據(jù)字典學習
4.4無監(jiān)督學習應用
4.4.1熱點話題發(fā)現(xiàn)
4.4.2自動人臉識別
4.5習題
第5章集成學習
5.1集成學習基本知識
5.1.1集成學習基本概念
5.1.2集成學習基本范式
5.1.3集成學習泛化策略
5.2Bagging集成學習
5.2.1Bagging集成策略
5.2.2隨機森林模型結構
5.2.3隨機森林訓練算法
5.3Boosting集成學習
5.3.1Boosting集成策略
5.3.2AdaBoost集成學習算法
5.3.3GBDT集成學習算法
5.4集成學習應用
5.4.1房價預測分析
5.4.2自動人臉檢測
5.5習題
第6章強化學習
6.1強化學習概述
6.1.1強化學習基本知識
6.1.2馬爾可夫模型
6.1.3強化學習計算方式
6.2基本強化學習
6.2.1值迭代學習
6.2.2時序差分學習
6.2.3Q學習
6.3示范強化學習
6.3.1模仿強化學習
6.3.2逆向強化學習
6.4強化學習應用
6.4.1自動爬山小車
6.4.2五子棋自動對弈
6.5習題
第7章神經(jīng)網(wǎng)絡與深度學習
7.1神經(jīng)網(wǎng)絡概述
7.1.1神經(jīng)元與感知機
7.1.2前饋網(wǎng)絡模型
7.1.3模型訓練基本流程
7.2神經(jīng)網(wǎng)絡常用模型
7.2.1徑向基網(wǎng)絡
7.2.2自編碼器
7.2.3玻爾茲曼機
7.3深度學習基本知識
7.3.1淺層學習與深度學習
7.3.2深度堆棧網(wǎng)絡
7.3.3DBN模型及訓練策略
7.4神經(jīng)網(wǎng)絡應用
7.4.1光學字符識別
7.4.2自動以圖搜圖
7.5習題
第8章常用深度網(wǎng)絡模型
8.1深度卷積網(wǎng)絡
8.1.1卷積網(wǎng)絡概述
8.1.2基本網(wǎng)絡模型
8.1.3改進網(wǎng)絡模型
8.2深度循環(huán)網(wǎng)絡
8.2.1動態(tài)系統(tǒng)展開
8.2.2網(wǎng)絡結構與計算
8.2.3模型訓練策略
8.3生成對抗網(wǎng)絡
8.3.1生成器與判別器
8.3.2網(wǎng)絡結構與計算
8.3.3模型訓練策略
8.4常用深度網(wǎng)絡應用
8.4.1圖像目標檢測
8.4.2自動文本摘要
8.5習題
第9章深度強化學習
9.1深度強化學習概述
9.1.1基本學習思想
9.1.2基本計算方式
9.1.3蒙特卡洛樹搜索
9.2基于價值的學習
9.2.1深度Q網(wǎng)絡
9.2.2深度雙Q網(wǎng)絡
9.2.3DQN模型改進
9.3基于策略的學習
9.3.1策略梯度算法
9.3.2Actor-Critic算法
9.3.3DDPG學習算法
9.4深度強化學習應用
9.4.1智能巡航小車
9.4.2圍棋自動對弈
9.5習題
參考文獻