CONTENTS
目　　錄


譯者序
序
前言
作者簡(jiǎn)介
審校者簡(jiǎn)介

第1章　賦予計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)的能力1
　1.1　將數(shù)據(jù)轉(zhuǎn)化為知識(shí)的智能系統(tǒng)1
　1.2　三種機(jī)器學(xué)習(xí)類型2
1.2.1　用于預(yù)測(cè)未來的監(jiān)督學(xué)習(xí)2
1.2.2　解決交互問題的強(qiáng)化學(xué)習(xí)4
1.2.3　發(fā)現(xiàn)數(shù)據(jù)中隱藏規(guī)律的無監(jiān)督學(xué)習(xí) 5
　1.3　基本術(shù)語與符號(hào)6
1.3.1　本書中使用的符號(hào)和約定6
1.3.2　機(jī)器學(xué)習(xí)術(shù)語8
　1.4　構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的路線圖8
1.4.1　數(shù)據(jù)預(yù)處理讓數(shù)據(jù)可用8
1.4.2　訓(xùn)練和選擇預(yù)測(cè)模型9
1.4.3　使用未見過的數(shù)據(jù)對(duì)模型進(jìn)行評(píng)估10
　1.5　使用Python實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法10
1.5.1　從Python Package Index中安裝Python和其他軟件包10
1.5.2　使用Anaconda Python
軟件包管理器11
1.5.3　科學(xué)計(jì)算、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)軟件包12
　1.6　本章小結(jié)13
第2章　訓(xùn)練簡(jiǎn)單的機(jī)器學(xué)習(xí)分類算法14
　2.1　人工神經(jīng)元機(jī)器學(xué)習(xí)早期歷史一瞥14
2.1.1　人工神經(jīng)元的定義15
2.1.2　感知機(jī)學(xué)習(xí)規(guī)則16
　2.2　使用Python實(shí)現(xiàn)感知機(jī)學(xué)習(xí)算法19
2.2.1　面向?qū)ο蟮母兄獧C(jī)API19

2.2.2　使用鳶尾花數(shù)據(jù)集訓(xùn)練感知機(jī)22
　2.3　自適應(yīng)線性神經(jīng)元與算法收斂27
2.3.1　使用梯度下降法小化損失函數(shù)28
2.3.2　在Python中實(shí)現(xiàn)Adaline30
2.3.3　通過特征縮放改進(jìn)梯度下降34
2.3.4　大規(guī)模機(jī)器學(xué)習(xí)與隨機(jī)梯度下降36
　2.4　本章小結(jié)41

XIV
第3章　Scikit�睱earn機(jī)器學(xué)習(xí)分類算法之旅42
　3.1　分類算法的選擇42
　3.2　學(xué)習(xí)Scikit�睱earn的步訓(xùn)練感知機(jī)43
　3.3　用邏輯回歸算法建模分類概率48
3.3.1　邏輯回歸與條件概率48
3.3.2　用邏輯損失函數(shù)更新模型權(quán)重51
3.3.3　從Adaline的代碼實(shí)現(xiàn)到邏輯回歸的代碼實(shí)現(xiàn)53
3.3.4　用Scikit�睱earn訓(xùn)練邏輯回歸模型56
3.3.5　使用正則化避免模型過擬合59
　3.4　基于分類間隔的支持向量機(jī)62
3.4.1　理解分類間隔62
3.4.2　使用松弛變量解決非線性可分問題62
3.4.3　Scikit�睱earn中另外一種實(shí)現(xiàn)64
　3.5　使用核支持向量機(jī)求解非線性問題64
3.5.1　處理線性不可分?jǐn)?shù)據(jù)的核方法64
3.5.2　使用核方法在高維空間中尋找分離超平面66
　3.6　決策樹學(xué)習(xí)69
3.6.1　化信息增益70
3.6.2　構(gòu)建決策樹73
3.6.3　多棵決策樹組成隨機(jī)森林76
　3.7　基于惰性學(xué)習(xí)策略的k近鄰算法78
　3.8　本章小結(jié)81
第4章　構(gòu)建良好的訓(xùn)練數(shù)據(jù)集數(shù)據(jù)預(yù)處理83
　4.1　處理缺失值83
4.1.1　識(shí)別表格數(shù)據(jù)中的缺失值83
4.1.2　刪除含有缺失值的樣本或特征85
4.1.3　填補(bǔ)缺失值85
4.1.4　Scikit�睱earn的估計(jì)器86
　4.2　處理類別數(shù)據(jù)87
4.2.1　用pandas實(shí)現(xiàn)類別數(shù)據(jù)編碼88
4.2.2　映射有序特征88
4.2.3　類別標(biāo)簽編碼89
4.2.4　標(biāo)稱特征的獨(dú)熱編碼90
　4.3　將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集93
　4.4　使特征具有相同的尺度95
　4.5　選擇有意義的特征97
4.5.1　用L1和L2正則化對(duì)模型復(fù)雜度進(jìn)行懲罰98
4.5.2　L2正則化的幾何解釋98
4.5.3　L1正則化與稀疏解99
4.5.4　序貫特征選擇算法102
　4.6　用隨機(jī)森林評(píng)估特征重要性107
　4.7　本章小結(jié)109
第5章　通過降維方法壓縮數(shù)據(jù)110
　5.1　無監(jiān)督降維的主成分分析方法110
5.1.1　主成分分析的主要步驟110
5.1.2　提取主成分的步驟112
5.1.3　總方差和被解釋的方差114
5.1.4　特征變換115
5.1.5　用Scikit�睱earn實(shí)現(xiàn)主成分分析118
5.1.6　評(píng)估特征的貢獻(xiàn)120
　5.2　監(jiān)督數(shù)據(jù)壓縮的線性判別分析方法122
5.2.1　主成分分析與線性判別分析122
5.2.2　線性判別分析基本原理123
5.2.3　計(jì)算散布矩陣124
5.2.4　為新特征子空間選擇線性判別式126
5.2.5　將樣本投影到新的特征空間128
5.2.6　用Scikit�睱earn實(shí)現(xiàn)線性判別分析128
　5.3　非線性降維和可視化130
5.3.1　非線性降維的不足130
5.3.2　使用t�睸NE可視化數(shù)據(jù)131
　5.4　本章小結(jié)135
XV
第6章　模型評(píng)估和超參數(shù)調(diào)優(yōu)的實(shí)踐136
　6.1　使用pipeline方法簡(jiǎn)化工作流程136
6.1.1　加載威斯康星乳腺癌數(shù)據(jù)集136
6.1.2　在pipeline中集成轉(zhuǎn)換器和估計(jì)器138
　6.2　使用k折交叉驗(yàn)證評(píng)估模型性能140
6.2.1　holdout交叉驗(yàn)證140
6.2.2　k折交叉驗(yàn)證140
　6.3　用學(xué)習(xí)曲線和驗(yàn)證曲線調(diào)試算法144
6.3.1　使用學(xué)習(xí)曲線解決偏差和方差問題144
6.3.2　使用驗(yàn)證曲線解決過擬合和欠擬合問題146
　6.4　通過網(wǎng)格搜索微調(diào)機(jī)器學(xué)習(xí)模型148
6.4.1　通過網(wǎng)格搜索調(diào)整超參數(shù)148
6.4.2　通過隨機(jī)搜索更廣泛地探索超參數(shù)的配置149
6.4.3　連續(xù)減半超參數(shù)的搜索算法151
6.4.4　嵌套交叉驗(yàn)證153
　6.5　模型性能評(píng)估指標(biāo)154
6.5.1　混淆矩陣155
6.5.2　精確率和召回率156
6.5.3　繪制ROC曲線158
6.5.4　多分類器評(píng)價(jià)指標(biāo)160
6.5.5　處理類別不均衡問題161
　6.6　本章小結(jié)163
XVI
第7章　組合不同模型的集成學(xué)習(xí)164
　7.1　集成學(xué)習(xí)164
　7.2　通過多數(shù)投票組合分類器167
7.2.1　實(shí)現(xiàn)一個(gè)簡(jiǎn)單的基于多數(shù)投票的集成分類器167
7.2.2　使用多數(shù)投票原則進(jìn)行預(yù)測(cè)171
7.2.3　評(píng)估和調(diào)整集成分類器173
　7.3　bagging基于bootstrap樣本構(gòu)建集成分類器179
7.3.1　bagging簡(jiǎn)介179
7.3.2　使用bagging對(duì)葡萄酒數(shù)據(jù)集中的樣本進(jìn)行分類180
　7.4　通過自適應(yīng)boosting提高弱學(xué)習(xí)器的性能184
7.4.1　boosting的工作原理184
7.4.2　用Scikit�睱earn實(shí)現(xiàn)AdaBoost188
　7.5　梯度boosting基于損失梯度訓(xùn)練集成分類器191
7.5.1　比較AdaBoost與梯度boosting191
7.5.2　通用的梯度boosting算法概述191
7.5.3　解釋用于分類的梯度boosting算法193
7.5.4　用梯度boosting分類的例子194
7.5.5　使用XGBoost196
　7.6　本章小結(jié)197
第8章　用機(jī)器學(xué)習(xí)進(jìn)行情感分析198
　8.1　對(duì)IMDb影評(píng)數(shù)據(jù)進(jìn)行文本處理198
8.1.1　獲取影評(píng)數(shù)據(jù)集199
8.1.2　將影評(píng)數(shù)據(jù)集預(yù)處理成更易使用的格式199
　8.2　詞袋模型201
8.2.1　將單詞轉(zhuǎn)換為特征向量201
8.2.2　通過詞頻-逆文檔頻率評(píng)估單詞的相關(guān)性203
8.2.3　文本數(shù)據(jù)清洗204
8.2.4　將文檔處理成token206
　8.3　訓(xùn)練用于文檔分類的邏輯回歸模型208
　8.4　處理更大的數(shù)據(jù)在線算法
和核外學(xué)習(xí)方法210
　8.5　用潛在狄利克雷分配實(shí)現(xiàn)主題
建模213
8.5.1　使用LDA分解文本
文檔214
8.5.2　用Scikit�睱earn實(shí)現(xiàn)
LDA214
　8.6　本章小結(jié)217
第9章　預(yù)測(cè)連續(xù)目標(biāo)變量的
回歸分析218
　9.1　線性回歸簡(jiǎn)介218
9.1.1　簡(jiǎn)單線性回歸218
9.1.2　多元線性回歸219
　9.2　探索艾姆斯住房數(shù)據(jù)集220
9.2.1　將艾姆斯住房數(shù)據(jù)集加載
到DataFrame中220
9.2.2　可視化數(shù)據(jù)集的重要
特征222
9.2.3　使用相關(guān)矩陣查看
相關(guān)性223
　9.3　小二乘線性回歸模型的
實(shí)現(xiàn)225
9.3.1　用梯度下降法求解回歸
參數(shù)225
9.3.2　用Scikit�睱earn估計(jì)回歸
模型的系數(shù)229
　9.4　使用RANSAC擬合穩(wěn)健回歸
模型231
　9.5　評(píng)估線性回歸模型的性能233
　9.6　使用正則化方法進(jìn)行回歸237
　9.7　將線性回歸模型轉(zhuǎn)化為曲線
多項(xiàng)式回歸238
9.7.1　使用Scikit�睱earn添加
多項(xiàng)式項(xiàng)239
9.7.2　建模艾姆斯住房數(shù)據(jù)
集中的非線性關(guān)系240
　9.8　使用隨機(jī)森林處理非線性
關(guān)系243
9.8.1　決策樹回歸243
9.8.2　隨機(jī)森林回歸245
　9.9　本章小結(jié)247
XVII
第10章　處理無標(biāo)簽數(shù)據(jù)的
聚類分析248
　10.1　使用k均值算法對(duì)樣本分組248
10.1.1　用Scikit�睱earn實(shí)現(xiàn)
k均值聚類248
10.1.2　k均值 更聰明的
簇初始化方法252
10.1.3　硬聚類與軟聚類253
10.1.4　用肘方法求解簇的
數(shù)量255
10.1.5　通過輪廓圖量化聚類
質(zhì)量255
　10.2　把簇組織成層次樹260
10.2.1　自底向上的聚類260
10.2.2　在距離矩陣上進(jìn)行分層
聚類262
10.2.3　熱度圖與樹狀圖
結(jié)合265
10.2.4　通過Scikit�睱earn進(jìn)行
凝聚聚類266
　10.3　通過DBSCAN定位高密度
區(qū)域267
　10.4　本章小結(jié)272

XVIII
第11章　從零開始實(shí)現(xiàn)多層人工神經(jīng)網(wǎng)絡(luò)273
　11.1　用人工神經(jīng)網(wǎng)絡(luò)建立復(fù)雜函數(shù)
模型273
11.1.1　單層神經(jīng)網(wǎng)絡(luò)274
11.1.2　多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)275
11.1.3　利用前向傳播激活神經(jīng)
網(wǎng)絡(luò)277
　11.2　識(shí)別手寫數(shù)字279
11.2.1　獲取并準(zhǔn)備MNIST
數(shù)據(jù)集279
11.2.2　實(shí)現(xiàn)多層感知機(jī)282
11.2.3　神經(jīng)網(wǎng)絡(luò)訓(xùn)練代碼287
11.2.4　評(píng)估神經(jīng)網(wǎng)絡(luò)的
性能291
　11.3　訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)295
11.3.1　損失函數(shù)的計(jì)算295
11.3.2　理解反向傳播296
11.3.3　通過反向傳播訓(xùn)練
神經(jīng)網(wǎng)絡(luò)297
　11.4　關(guān)于神經(jīng)網(wǎng)絡(luò)的收斂性300
　11.5　關(guān)于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的后
幾句話300
　11.6　本章小結(jié)301
第12章　用PyTorch并行訓(xùn)練
神經(jīng)網(wǎng)絡(luò)302
　12.1　PyTorch和模型的訓(xùn)練性能302
12.1.1　性能挑戰(zhàn)302
12.1.2　什么是PyTorch303
12.1.3　如何學(xué)習(xí)PyTorch304
　12.2　學(xué)習(xí)PyTorch的步304
12.2.1　安裝PyTorch305
12.2.2　在PyTorch中創(chuàng)建