基礎篇
第 1章 數(shù)據(jù)挖掘基礎 1
1.1 數(shù)據(jù)挖掘發(fā)展史 1
1.2 數(shù)據(jù)挖掘的常用方法 2
1.3 數(shù)據(jù)挖掘的通用流程 2
1.3.1 目標分析 2
1.3.2 數(shù)據(jù)抽取 2
1.3.3 數(shù)據(jù)探索 3
1.3.4 數(shù)據(jù)預處理 3
1.3.5 分析與建模 4
1.3.6 模型評價 4
1.4 常用數(shù)據(jù)挖掘工具 4
1.5 Python數(shù)據(jù)挖掘環(huán)境配置 5
小結 7
課后習題 7
第 2章 Python數(shù)據(jù)挖掘編程基礎 9
2.1 Python使用入門 9
2.1.1 基本命令 9
2.1.2 判斷與循環(huán) 12
2.1.3 函數(shù) 13
2.1.4 庫的導入與添加 15
2.2 Python數(shù)據(jù)分析預處理的常用庫 17
2.2.1 NumPy 17
2.2.2 pandas 17
2.2.3 Matplotlib 18
2.3 Python數(shù)據(jù)挖掘建模的常用庫和框架 18
2.3.1 scikit-learn 18
2.3.2 深度學習框架 19
2.3.3 其他 21
小結 22
實訓 判斷、函數(shù)、類型轉換的使用 22
課后習題 23
第3章 數(shù)據(jù)探索 24
3.1 數(shù)據(jù)校驗 24
3.1.1 一致性校驗 24
3.1.2 缺失值校驗 27
3.1.3 異常值校驗 29
3.2 數(shù)據(jù)特征分析 33
3.2.1 描述性統(tǒng)計分析 33
3.2.2 分布分析 36
3.2.3 對比分析 40
3.2.4 周期性分析 43
3.2.5 貢獻度分析 44
3.2.6 相關性分析 45
小結 48
實訓 48
實訓1 分布分析、描述性統(tǒng)計分析和貢獻度分析 48
實訓2 對比分析、相關性分析和周期性分析 49
課后習題 50
第4章 數(shù)據(jù)預處理 52
4.1 數(shù)據(jù)清洗 52
4.1.1 重復值處理 52
4.1.2 缺失值處理 55
4.1.3 異常值處理 57
4.2 數(shù)據(jù)變換 58
4.2.1 簡單函數(shù)變換 58
4.2.2 數(shù)據(jù)標準化 58
4.2.3 數(shù)據(jù)離散化 61
4.2.4 獨熱編碼 63
4.3 數(shù)據(jù)合并 65
4.3.1 多表合并 65
4.3.2 分組聚合 72
小結 80
實訓 80
實訓1 數(shù)據(jù)清洗 80
實訓2 數(shù)據(jù)變換 82
實訓3 數(shù)據(jù)合并 82
課后習題 82
第5章 數(shù)據(jù)挖掘算法基礎 84
5.1 分類與回歸 84
5.1.1 常用的分類與回歸算法 84
5.1.2 分類與回歸模型評價 85
5.1.3 線性模型 89
5.1.4 決策樹 93
5.1.5 最近鄰分類 97
5.1.6 支持向量機 99
5.1.7 神經(jīng)網(wǎng)絡 101
5.1.8 集成算法 107
5.2 聚類 112
5.2.1 常用的聚類算法 112
5.2.2 聚類模型評價 114
5.2.3 K-Means算法 115
5.2.4 密度聚類 120
5.2.5 層次聚類 123
5.3 關聯(lián)規(guī)則 126
5.3.1 常用關聯(lián)規(guī)則算法 126
5.3.2 Apriori算法 127
5.4 智能推薦 131
5.4.1 常用智能推薦算法 131
5.4.2 智能推薦模型評價 132
5.4.3 協(xié)同過濾推薦算法 133
5.4.4 基于流行度的推薦算法 138
5.5 時間序列 139
5.5.1 時間序列算法 140
5.5.2 時間序列的預處理 140
5.5.3 平穩(wěn)序列分析 142
5.5.4 非平穩(wěn)序列分析 144
實訓 152
實訓1 使用分類算法實現(xiàn)客戶流失預測 152
實訓2 使用K-Means聚類算法實現(xiàn)超市顧客聚類分析 152
實訓3 使用Apriori算法挖掘網(wǎng)址間的相關關系 153
實訓4 使用協(xié)同過濾推薦算法實現(xiàn)對用戶進行品牌的個性化推薦 153
實訓5 使用ARIMA算法實現(xiàn)氣溫預測 154
課后習題 155
實戰(zhàn)篇
第6章 信用卡高風險客戶識別 158
6.1 背景與目標 158
6.1.1 背景 158
6.1.2 數(shù)據(jù)說明 159
6.1.3 目標 160
6.2 數(shù)據(jù)探索 161
6.2.1 描述性統(tǒng)計分析 161
6.2.2 客戶歷史信用記錄 162
6.2.3 客戶經(jīng)濟情況 164
6.2.4 客戶經(jīng)濟風險情況 166
6.3 數(shù)據(jù)預處理 169
6.3.1 數(shù)據(jù)清洗 169
6.3.2 屬性構造 171
6.4 分析與建模 174
6.4.1 參數(shù)尋優(yōu) 174
6.4.2 構建聚類模型 176
6.4.3 信用卡客戶風險分析 176
6.5 模型評價 179
小結 180
實訓 使用K-Means聚類算法實現(xiàn)運營商客戶價值分析 180
課后習題 181
第7章 餐飲企業(yè)菜品關聯(lián)分析 182
7.1 背景與目標 182
7.1.1 背景 182
7.1.2 數(shù)據(jù)說明 183
7.1.3 目標 185
7.2 數(shù)據(jù)探索 185
7.2.1 分析每日用餐人數(shù)和營業(yè)額 185
7.2.2 分析菜品熱銷度 187
7.3 數(shù)據(jù)預處理 189
7.3.1 數(shù)據(jù)清洗 189
7.3.2 屬性構造 190
7.4 分析與建模 191
7.4.1 構建Apriori模型 191
7.4.2 訓練模型 193
7.5 模型評價 194
小結 196
實訓 西餅屋訂單關聯(lián)分析 197
課后習題 197
第8章 金融服務機構資金流量預測 198
8.1 背景與目標 198
8.1.1 背景 198
8.1.2 數(shù)據(jù)說明 199
8.1.3 目標 200
8.2 數(shù)據(jù)預處理 201
8.2.1 屬性構造 201
8.2.2 截取平穩(wěn)部分數(shù)據(jù) 202
8.2.3 周期性差分 204
8.2.4 平穩(wěn)性檢驗和白噪聲檢驗 205
8.3 分析與建模 205
8.3.1 時間序列模型的定階 205
8.3.2 模型檢驗 206
8.4 模型評價 207
小結 209
實訓 構建ARIMA模型預測資金贖回數(shù)據(jù) 210
課后習題 210
第9章 O2O優(yōu)惠券使用預測 211
9.1 背景與目標 211
9.1.1 背景 211
9.1.2 數(shù)據(jù)說明 212
9.1.3 目標 212
9.2 數(shù)據(jù)探索 213
9.2.1 描述性統(tǒng)計分析 213
9.2.2 分析優(yōu)惠形式信息 215
9.2.3 分析用戶消費行為信息 216
9.2.4 分析商戶投放優(yōu)惠券信息 218
9.3 數(shù)據(jù)預處理 221
9.3.1 數(shù)據(jù)清洗 221
9.3.2 數(shù)據(jù)變換 222
9.4 分析與建模 225
9.4.1 決策樹分類模型 225
9.4.2 梯度提升分類模型 227
9.4.3 XGBoost分類模型 228
9.5 模型評價 229
小結 232
實訓 運營商客戶流失預測 232
課后習題 233
第 10章 電視產(chǎn)品個性化推薦 235
10.1 背景與目標 235
10.1.1 背景 235
10.1.2 數(shù)據(jù)說明 236
10.1.3 目標 237
10.2 數(shù)據(jù)預處理 238
10.2.1 數(shù)據(jù)清洗 238
10.2.2 數(shù)據(jù)探索 241
10.2.3 屬性構造 248
10.3 分析與建模 251
10.3.1 基于物品的協(xié)同過濾推薦模型 252
10.3.2 基于流行度的推薦模型 254
10.4 模型評價 255
小結 257
實訓 網(wǎng)頁瀏覽個性化推薦 257
課后習題 258
第 11章 基于TipDM大數(shù)據(jù)挖掘建模平臺實現(xiàn)金融服務機構資金流量預測 259
11.1 平臺簡介 259
11.1.1 實訓庫 261
11.1.2 數(shù)據(jù)連接 261
11.1.3 實訓數(shù)據(jù) 261
11.1.4 我的實訓 262
11.1.5 系統(tǒng)算法 262
11.1.6 個人算法 264
11.2 快速構建金融服務機構資金流量預測實訓 265
11.2.1 數(shù)據(jù)源配置 266
11.2.2 屬性構造 267
11.2.3 數(shù)據(jù)篩選 271
11.2.4 周期性差分 272
11.2.5 序列檢驗 274
11.2.6 分析與建模 276
小結 279
實訓 構建ARIMA模型預測航空公司乘客量數(shù)據(jù) 279
課后習題 279