第一篇 傳統(tǒng)機(jī)器學(xué)習(xí)

第1章 機(jī)器學(xué)習(xí)概述 2
1.1 機(jī)器學(xué)習(xí)概念 2
1.1.1 什么是機(jī)器學(xué)習(xí) 2
1.1.2 機(jī)器學(xué)習(xí)有什么用 2
1.1.3 機(jī)器學(xué)習(xí)的分類 3
1.2 機(jī)器學(xué)習(xí)理論基礎(chǔ) 9
1.2.1 過擬合和欠擬合 9
1.2.2 損失函數(shù) 9
1.2.3 模型性能度量方法 11
1.2.4 學(xué)習(xí)曲線 14
1.2.5 算法模型性能優(yōu)化 17
1.3 scikit-learn簡介 21
1.3.1 關(guān)于scikit-learn 21
1.3.2 安裝scikit-learn 21
1.3.3 scikit-learn數(shù)據(jù)集 21
習(xí)題 27
參考文獻(xiàn) 30
第2章 回歸分析 31
2.1 一元線性回歸 31
2.1.1 一元線性回歸的實現(xiàn) 31
2.1.2 解一元線性回歸的
最小二乘法 34
2.1.3 模型評估 35
2.2 多元線性回歸 36
2.3 多項式回歸 36
習(xí)題 41
參考文獻(xiàn) 42
第3章 Logistic回歸 43
3.1 分類問題概述 43
3.2 Logistic回歸分類 44
3.2.1 Logistic回歸算法的原理 44
3.2.2 Logistic回歸算法實例 48
3.3 Softmax回歸——多元分類
問題 55
習(xí)題 58
參考文獻(xiàn) 59
第4章 k近鄰 60
4.1 k近鄰算法原理 60
4.1.1 KNN算法三要素 60
4.1.2 KNN算法之蠻力實現(xiàn)
原理 61
4.1.3 KNN算法之KD樹實現(xiàn)
原理 62
4.1.4 KNN算法之球樹實現(xiàn)
原理 64
4.1.5 KNN算法的擴(kuò)展 66
4.1.6 KNN算法小結(jié) 66
4.2 用scikit-learn實現(xiàn)KNN
算法 67
習(xí)題 72
參考文獻(xiàn) 72
第5章 決策樹 73
5.1 決策樹分類原理 74
5.2 決策樹的學(xué)習(xí)過程 74
5.3 ID3算法的數(shù)學(xué)原理 75
5.3.1 什么是信息增益 75
5.3.2 ID3樹中最優(yōu)劃分屬性計算
舉例 76
5.4 scikit-learn決策樹算法實現(xiàn) 78
5.5 決策樹可視化 80
習(xí)題 83
參考文獻(xiàn) 84
第6章 樸素貝葉斯 85
6.1 基本原理 85
6.1.1 貝葉斯定理 85
6.1.2 樸素貝葉斯分類器 86
6.2 樸素貝葉斯三種基本模型 88
6.3 樸素貝葉斯的應(yīng)用及特點(diǎn) 90
6.3.1 樸素貝葉斯常見的四種
應(yīng)用 90
6.3.2 樸素貝葉斯的優(yōu)缺點(diǎn) 90
6.3.3 提升樸素貝葉斯性能的
技巧 91
習(xí)題 93
參考文獻(xiàn) 94
第7章 支持向量機(jī) 95
7.1 支持向量機(jī)原理 95
7.1.1 支持向量機(jī)定義 95
7.1.2 線性可分性 95
7.1.3 損失函數(shù) 96
7.1.4 經(jīng)驗風(fēng)險與結(jié)構(gòu)風(fēng)險 97
7.2 標(biāo)準(zhǔn)算法 99
7.2.1 線性SVM 99
7.2.2 非線性SVM 100
7.3 scikit-learn SVM分類算法
實現(xiàn) 101
7.3.1 算法簡單實現(xiàn) 101
7.3.2 算法的優(yōu)化 102
習(xí)題 106
參考文獻(xiàn) 107
第8章 神經(jīng)網(wǎng)絡(luò) 108
8.1 神經(jīng)網(wǎng)絡(luò)概述 108
8.1.1 神經(jīng)元模型 108
8.1.2 感知機(jī) 109
8.1.3 神經(jīng)網(wǎng)絡(luò) 110
8.1.4 梯度下降法與反向傳播 112
8.2 scikit-learn神經(jīng)網(wǎng)絡(luò)分類算法
實現(xiàn) 118
習(xí)題 122
參考文獻(xiàn) 123
第9章 聚類 124
9.1 聚類概述 124
9.1.1 K-Means聚類算法 124
9.1.2 均值漂移聚類 127
9.1.3 基于密度的聚類方法
（DBSCAN） 130
9.1.4 基于高斯混合模型（GMM）的
期望最大化（EM）聚類 132
9.1.5 凝聚層次聚類 133
9.2 scikit-learn聚類算法的實現(xiàn) 136
習(xí)題 142
參考文獻(xiàn) 144
第10章 降維 145
10.1 降維方法概述 145
10.1.1 主成分分析（PCA） 145
10.1.2 線性判別分析（LDA） 148
10.1.3 局部線性嵌入（LLE） 150
10.1.4 拉普拉斯特征映射
?（LE） 151
10.2 scikit-learn降維算法實現(xiàn) 152
習(xí)題 157
參考文獻(xiàn) 158

第二篇 深度學(xué)習(xí)

第11章 深度學(xué)習(xí)概述 161
11.1 深度學(xué)習(xí)的概念 161
11.2 深度學(xué)習(xí)的分類及特點(diǎn) 163
11.2.1 深度學(xué)習(xí)的分類 163
11.2.2 深度學(xué)習(xí)的特點(diǎn) 164
11.3 深度學(xué)習(xí)的歷史及發(fā)展 164
11.4 深度學(xué)習(xí)的應(yīng)用 165
11.5 Keras簡介 166
11.5.1 Keras深度學(xué)習(xí)庫 166
11.5.2 Keras安裝 168
11.5.3 Keras舉例 168
習(xí)題 169
參考文獻(xiàn) 170
第12章 卷積神經(jīng)網(wǎng)絡(luò) 171
12.1 卷積與池化操作 172
12.1.1 卷積層 172
12.1.2 池化層 174
12.2 典型的CNN架構(gòu) 175
12.2.1 LeNet-5 176
12.2.2 AlexNet 176
12.2.3 GoogLeNet 178
12.2.4 ResNet 180
12.3 使用Keras搭建卷積神經(jīng)
網(wǎng)絡(luò) 182
習(xí)題 185
參考文獻(xiàn) 185
第13章 循環(huán)神經(jīng)網(wǎng)絡(luò) 186
13.1 RNN 186
13.2 LSTM 190
13.3 循環(huán)神經(jīng)網(wǎng)絡(luò)案例 191
習(xí)題 195
參考文獻(xiàn) 195
第14章 生成對抗網(wǎng)絡(luò) 196
14.1 生成對抗網(wǎng)絡(luò)結(jié)構(gòu) 196
14.1.1 生成對抗網(wǎng)絡(luò)模型原理 197
14.1.2 生成對抗網(wǎng)絡(luò)優(yōu)化原理 198
14.1.3 模型訓(xùn)練 199

14.1.4 對抗網(wǎng)絡(luò)的改進(jìn)模型 200
14.2 生成對抗網(wǎng)絡(luò)的構(gòu)建 201
14.2.1 生成模型的構(gòu)建 202
14.2.2 判別模型的構(gòu)建 202
14.2.3 條件生成對抗網(wǎng)絡(luò)的
構(gòu)建 204
14.3 生成對抗網(wǎng)絡(luò)案例 205
14.3.1 生成模型 205
14.3.2 判別模型 205
14.3.3 模型訓(xùn)練 206
習(xí)題 207
參考文獻(xiàn) 208
第15章 強(qiáng)化學(xué)習(xí) 209
15.1 問題概述 209
15.2 價值函數(shù) 211
15.3 動態(tài)規(guī)劃算法 212
15.3.1 策略迭代算法 212
15.3.2 價值迭代算法 213
15.4 蒙特卡洛算法 213
15.4.1 狀態(tài)價值函數(shù)估計 214
15.4.2 動作價值函數(shù)估計 214
15.4.3 蒙特卡洛控制 215
15.5 時序差分算法 215
15.5.1 Sarsa算法 216
15.5.2 Q學(xué)習(xí) 216
15.6 深度強(qiáng)化學(xué)習(xí) 216
15.6.1 DQN算法 216
15.6.2 策略梯度算法 217
15.7 代碼案例 219
習(xí)題 223
參考文獻(xiàn) 224