目 錄
第 1 部分 機(jī)器學(xué)習(xí)基礎(chǔ)算法
第 1 章 基于線性回歸的銷售量預(yù)測 2
1.1 機(jī)器學(xué)習(xí)概述 2
1.2 線性回歸 4
1.2.1 回歸的概念 4
1.2.2 線性回歸模型 4
1.3 梯度下降算法 7
1.4 線性回歸模型的構(gòu)建 8
1.4.1 線性回歸模型構(gòu)建的一般步驟 8
1.4.2 線性回歸模型的評估方法與度量指標(biāo) 9
1.5 案例實(shí)現(xiàn)——基于線性回歸的銷售量預(yù)測 9
本章總結(jié) 13
作業(yè)與練習(xí) 14
第 2 章 非線性數(shù)據(jù)的多項(xiàng)式回歸 15
2.1 多項(xiàng)式回歸 16
2.1.1 多項(xiàng)式回歸的概念 16
2.1.2 0-1 標(biāo)準(zhǔn)化 16
2.1.3 Z-Score 標(biāo)準(zhǔn)化 18
2.1.4 特征拓展 19
2.2 模型訓(xùn)練問題與解決方法 22
2.2.1 欠擬合與過擬合 22
2.2.2 正則化方法 23
2.3 案例實(shí)現(xiàn)——非線性數(shù)據(jù)的
多項(xiàng)式回歸 24
本章總結(jié) 31
作業(yè)與練習(xí) 31
第 3 章 基于邏輯回歸算法的 乳腺癌患病預(yù)測 33
3.1 邏輯回歸算法 33
3.1.1 邏輯回歸算法概述 33
3.1.2 概率估算 34
3.1.3 損失函數(shù) 35
3.2 分類數(shù)據(jù)的預(yù)處理 36
3.2.1 欠采樣與過采樣 36
3.2.2 數(shù)據(jù)的標(biāo)簽化 37
3.2.3 數(shù)據(jù)的獨(dú)熱編碼 38
3.3 模型的性能評估 40
3.3.1 數(shù)值型模型評估方法 40
3.3.2 幾何型模型評估方法 42
3.4 案例實(shí)現(xiàn)——基于邏輯回歸算法的乳腺癌患病預(yù)測 44
本章總結(jié) 48
作業(yè)與練習(xí) 49
第 4 章 基于 k-NN 算法的分類 50
4.1 k-NN 算法 51
4.1.1 k-NN 算法概述 51
4.1.2 樣本距離的度量 51
4.1.3 k-NN 算法的工作原理 51
4.1.4 k-NN 算法的三個要素 53
4.2 k-NN 算法加速思路 54
4.3 案例實(shí)現(xiàn) 55
4.3.1 案例 1——基于 k-NN 算法的電影分類 55
4.3.2 案例 2——基于 k-NN 算法的鳶尾花數(shù)據(jù)集分類 58
本章總結(jié) 61
作業(yè)與練習(xí) 61
第 5 章 基于決策樹算法的回歸預(yù)測與 分類 62
5.1 決策樹的介紹 62
5.2 決策樹的構(gòu)建 65
5.2.1 特征選擇 65
5.2.2 決策樹的構(gòu)建過程 67
5.2.3 決策樹剪枝 69
5.2.4 連續(xù)特征的處理方法 70
5.3 決策樹可視化 70
5.4 案例實(shí)現(xiàn) 71
5.4.1 案例 1——基于決策樹算法的商品銷售量回歸預(yù)測 71
5.4.2 案例 2——基于決策樹算法的鳶尾花數(shù)據(jù)集分類 73
本章總結(jié) 76
作業(yè)與練習(xí) 76
第 6 章 基于 k-Means 算法的聚類 78
6.1 k-Means 算法 79
6.1.1 k-Means 算法概述 79
6.1.2 k-Means 算法的工作原理 79
6.1.3 k-Means 算法的流程 80
6.2 最佳 k 值的確定方法 80
6.2.1 手肘法 81
6.2.2 輪廓系數(shù)法 81
6.3 k-Means 算法的改進(jìn) 82
6.3.1 k-Means++算法 83
6.3.2 k-MeansⅡ算法 83
6.3.3 Mini-Batch k-Means算法 83
6.4 案例實(shí)現(xiàn) 84
6.4.1 案例 1——基于手肘法使用 k-Means 算法的飲料聚類 84
6.4.2 案例 2——基于輪廓系數(shù)法使用 k-Means 算法的飲料聚類 87
本章總結(jié) 89
作業(yè)與練習(xí) 90
第 7 章 基于 SVM 算法的分類與 回歸預(yù)測 91
7.1 SVM 算法概述 91
7.2 SVM 算法的工作原理 92
7.2.1 硬間隔 SVM 算法 92
7.2.2 軟間隔 SVM 算法 95
7.3 核函數(shù) 95
7.4 SVM 回歸 97
7.5 案例實(shí)現(xiàn) 97
7.5.1 案例 1——基于 SVM 算法的鳶尾花數(shù)據(jù)集分類 97
7.5.2 案例 2——基于 SVM 算法的數(shù)據(jù)回歸分析 100
本章總結(jié) 104
作業(yè)與練習(xí) 104
第 8 章 隨機(jī)森林揭秘 105
8.1 集成學(xué)習(xí)概述 105
8.2 集成學(xué)習(xí)的實(shí)現(xiàn)方式 107
8.2.1 Bagging 算法 107
8.2.2 Boosting 算法 107
8.3 集成學(xué)習(xí)的組合策略 108
8.3.1 平均法 108
8.3.2 投票法 108
8.3.3 學(xué)習(xí)法 109
8.4 隨機(jī)森林 109
8.4.1 隨機(jī)森林概述 109
8.4.2 隨機(jī)森林特征選擇 110
8.4.3 OOB 處理方式 110
8.5 案例實(shí)現(xiàn) 111
8.5.1 案例 1——使用隨機(jī)森林進(jìn)行森林植被類型的預(yù)測 111
8.5.2 案例 2——使用隨機(jī)森林進(jìn)行共享單車每小時租用量的預(yù)測 113
本章總結(jié) 115
作業(yè)與練習(xí) 115
第 9 章 基于樸素貝葉斯算法的中文預(yù)測 116
9.1 貝葉斯算法 117
9.1.1 數(shù)學(xué)基礎(chǔ)回顧 117
9.1.2 貝葉斯公式 118
9.2 樸素貝葉斯算法 119
9.2.1 樸素貝葉斯算法的由來 119
9.2.2 拉普拉斯平滑 120
9.3 樸素貝葉斯算法家族 121
9.3.1 高斯樸素貝葉斯算法 121
9.3.2 多項(xiàng)式樸素貝葉斯算法 122
9.4 中文文本預(yù)測 123
9.4.1 詞頻處理 123
9.4.2 jieba 分詞器 125
9.5 案例實(shí)現(xiàn)——基于樸素貝葉斯算法的中文預(yù)測 126
本章總結(jié) 129
作業(yè)與練習(xí) 129
第 10 章 基于 PCA 降維的圖片重構(gòu) 131
10.1 降維 131
10.1.1 降維的作用 131
10.1.2 降維的理解 132
10.2 SVD 算法解析 133
10.2.1 特征值分解 133
10.2.2 奇異值分解 133
10.2.3 降維可視化效果 134
10.2.4 降維在圖片壓縮中的應(yīng)用 136
10.3 PCA 降維 138
10.3.1 PCA 降維的工作原理 138
10.3.2 使用 PCA 底層算法實(shí)現(xiàn)圖片重構(gòu)的流程 139
10.4 案例實(shí)現(xiàn)——基于 PCA 降維的圖片重構(gòu) 139
本章總結(jié) 143
作業(yè)與練習(xí) 143
第 2 部分 機(jī)器學(xué)習(xí)基礎(chǔ)算法綜合應(yīng)用
第 11 章 學(xué)生分?jǐn)?shù)預(yù)測 146
11.1 數(shù)據(jù)集分析 146
11.2 案例實(shí)現(xiàn)——學(xué)生分?jǐn)?shù)預(yù)測 147
本章總結(jié) 161
作業(yè)與練習(xí) 161
第 12 章 自閉癥患者預(yù)測 163
12.1 數(shù)據(jù)集分析 163
12.2 案例實(shí)現(xiàn)——自閉癥患者預(yù)測164
本章總結(jié) 175
作業(yè)與練習(xí) 175
第 13 章 淘寶用戶價值分析 176
13.1 數(shù)據(jù)集分析 176
13.2 RFM 模型 177
13.3 雷達(dá)圖 178
13.4 案例實(shí)現(xiàn)——淘寶用戶價值分析 178
本章總結(jié) 191
作業(yè)與練習(xí) 191
第 14 章 耳機(jī)評論情感預(yù)測 192
14.1 數(shù)據(jù)集分析 192
14.2 案例實(shí)現(xiàn)——耳機(jī)評論情感預(yù)測 193
本章總結(jié) 200
作業(yè)與練習(xí) 200
第 3 部分 機(jī)器學(xué)習(xí)進(jìn)階算法與應(yīng)用
第 15 章 聚類算法綜合 202
15.1 DBSCAN 算法 203
15.1.1 k-Means 算法的缺陷 203
15.1.2 DBSCAN 算法分析 203
15.1.3 案例實(shí)現(xiàn)——驗(yàn)證 k-Means 算法和 DBSCAN
算法的特點(diǎn)和區(qū)別 205
15.2 層次聚類算法 208
15.2.1 算法分析 208
15.2.2 案例實(shí)現(xiàn)——基于凝聚的層次聚類算法的數(shù)據(jù)
聚類 210
15.3 GMM 算法 213
15.3.1 算法分析 213
15.3.2 案例實(shí)現(xiàn)——基于 GMM算法的性別預(yù)測 214
本章總結(jié) 218
作業(yè)與練習(xí) 218
第 16 章 基于 HMM 算法的股票 行情預(yù)測 220
16.1 HMM 算法的工作原理 220
16.2 案例實(shí)現(xiàn)——基于 HMM 算法的股票行情預(yù)測 222
本章總結(jié) 226
作業(yè)與練習(xí) 226
第 17 章 Boosting 算法綜合 228
17.1 Boosting 算法的工作原理簡介 228
17.2 AdaBoost 算法 229
17.2.1 算法概述 229
17.2.2 分類算法分析 230
17.2.3 回歸算法分析 231
17.2.4 案例實(shí)現(xiàn)——基于 AdaBoost 算法的病馬治愈預(yù)測 232
17.3 GBDT 算法 235
17.3.1 算法概述 235
17.3.2 衰減 235
17.3.3 算法分析 236
17.3.4 案例實(shí)現(xiàn)——基于 GBDT算法的數(shù)字手寫體識別 237
17.4 XGBoost 算法 239
17.4.1 算法概述 239
17.4.2 XGBoost 算法庫的安裝 240
17.4.3 案例實(shí)現(xiàn)——基于 XGBoost 算法的數(shù)字手寫體識別 241
本章總結(jié) 244
作業(yè)與練習(xí) 244
第 18 章 飯店銷售量預(yù)測 245
18.1 數(shù)據(jù)集分析 245
18.2 異常值處理 246
18.3 多字段分析的含義與作用 247
18.4 案例實(shí)現(xiàn)——飯店銷售量預(yù)測 248
本章總結(jié) 259
作業(yè)與練習(xí) 260
第 19 章 信貸違約預(yù)測 261
19.1 數(shù)據(jù)集分析 261
19.2 案例實(shí)現(xiàn)——信貸違約預(yù)測 262
本章總結(jié) 270
作業(yè)與練習(xí) 270
第 20 章 胎兒健康分類預(yù)測 271
20.1 數(shù)據(jù)集分析 271
20.2 案例實(shí)現(xiàn)——胎兒健康分類預(yù)測 272
本章總結(jié) 286
作業(yè)與練習(xí) 287
第 21 章 淘寶用戶畫像處理 288
21.1 數(shù)據(jù)集分析 288
21.2 用戶畫像 289
21.2.1 用戶畫像概述 289
21.2.2 用戶畫像所需數(shù)據(jù) 290
21.3 案例實(shí)現(xiàn)——淘寶用戶畫像處理 290
本章總結(jié) 305
作業(yè)與練習(xí) 306