第1章 構(gòu)建數(shù)據(jù)分析開發(fā)環(huán)境 1
1.1 數(shù)據(jù)分析概述 1
1.1.1 為什么要進(jìn)行數(shù)據(jù)分析 1
1.1.2 數(shù)據(jù)分析的流程與思維 2
1.2 開發(fā)環(huán)境的構(gòu)建 4
1.2.1 安裝Anaconda 5
1.2.2 安裝Jupyter庫(kù) 6
1.2.3 安裝PyCharm社區(qū)版 8
1.2.4 包管理工具 11
1.2.5 環(huán)境測(cè)試 12
1.3 必會(huì)的Python數(shù)據(jù)分析包 12
1.3.1 NumPy數(shù)組操作 13
1.3.2 Pandas數(shù)據(jù)清洗 13
1.3.3 Matplotlib數(shù)據(jù)可視化 14
1.3.4 Sklearn數(shù)據(jù)建模 16
1.4 一個(gè)簡(jiǎn)單的數(shù)據(jù)分析案例 17
1.5 小結(jié)與課后練習(xí) 19
第2章 Python核心基礎(chǔ) 20
2.1 Python數(shù)據(jù)類型 20
2.1.1 數(shù)值類型 20
2.1.2 字符串類型 21
2.1.3 列表類型 23
2.1.4 元組類型 24
2.1.5 集合類型 25
2.1.6 字典類型 27
2.2 Python基礎(chǔ)語(yǔ)法 28
2.2.1 代碼行與縮進(jìn) 28
2.2.2 條件if及if嵌套 29
2.2.3 循環(huán)：while與for 30
2.2.4 格式化：format()與% 32
2.3 Python高階函數(shù) 34
2.3.1 map()函數(shù) 34
2.3.2 reduce()函數(shù) 35
2.3.3 filter()函數(shù) 36
2.3.4 sorted()函數(shù) 36
2.4 Python編程技巧 37
2.4.1 自動(dòng)補(bǔ)全程序 37
2.4.2 變量值的互換 38
2.4.3 列表解析式 39
2.4.4 元素序列解包 40
2.5 小結(jié)與課后練習(xí) 41
第3章 Python數(shù)據(jù)分析基礎(chǔ) 42
3.1 數(shù)據(jù)的讀取 42
3.1.1 本地離線數(shù)據(jù) 42
3.1.2 Web在線數(shù)據(jù) 44
3.1.3 常用數(shù)據(jù)庫(kù)數(shù)據(jù) 45
3.2 數(shù)據(jù)的索引 46
3.2.1 創(chuàng)建與查看索引 46
3.2.2 索引重構(gòu)與恢復(fù) 48
3.2.3 索引調(diào)整與排序 49
3.3 數(shù)據(jù)的切片 49
3.3.1 提取多列數(shù)據(jù) 50
3.3.2 提取多行數(shù)據(jù) 51
3.3.3 提取區(qū)域數(shù)據(jù) 51
3.4 數(shù)據(jù)的聚合 52
3.4.1 指定列數(shù)據(jù)統(tǒng)計(jì) 52
3.4.2 多字段分組統(tǒng)計(jì) 53
3.4.3 自定義聚合指標(biāo) 54
3.5 小結(jié)與課后練習(xí) 55
第4章 NumPy數(shù)組操作 56
4.1 NumPy索引與切片 56
4.1.1 數(shù)組的索引 56
4.1.2 布爾型索引 57
4.1.3 花式索引 59
4.1.4 數(shù)組的切片 60
4.1.5 設(shè)置切片步長(zhǎng) 61
4.2 NumPy維數(shù)變換 62
4.2.1 reshape()函數(shù) 62
4.2.2 shape()函數(shù) 63
4.2.3 resize()函數(shù) 64
4.2.4 ravel()函數(shù) 65
4.2.5 flatten()函數(shù) 66
4.3 NumPy廣播機(jī)制 67
4.3.1 廣播 67
4.3.2 廣播機(jī)制 68
4.3.3 廣播機(jī)制變化過程 69
4.3.4 廣播不兼容 70
4.4 NumPy矩陣運(yùn)算 72
4.4.1 矩陣概述 72
4.4.2 矩陣的乘法 74
4.4.3 矩陣的內(nèi)積 74
4.4.4 矩陣的外積 75
4.5 小結(jié)與課后練習(xí) 77
第5章 Pandas數(shù)據(jù)清洗 78
5.1 重復(fù)值檢測(cè)與處理 78
5.1.1 重復(fù)值的檢測(cè) 78
5.1.2 重復(fù)值的處理 79
5.2 缺失值檢測(cè)與處理 80
5.2.1 缺失值的檢測(cè) 81
5.2.2 缺失值的處理 81
5.3 異常值檢測(cè)與處理 84
5.3.1 異常值的檢測(cè) 85
5.3.2 異常值的處理 86
5.4 金融數(shù)據(jù)的處理實(shí)戰(zhàn) 87
5.4.1 讀取上證指數(shù)數(shù)據(jù) 87
5.4.2 提取特定日期數(shù)據(jù) 88
5.4.3 填充非交易日數(shù)據(jù) 89
5.5 小結(jié)與課后練習(xí) 90
第6章 Matplotlib數(shù)據(jù)可視化 91
6.1 圖形參數(shù)設(shè)置 91
6.1.1 設(shè)置圖形線條 91
6.1.2 設(shè)置圖形坐標(biāo)軸 94
6.1.3 設(shè)置圖形圖例 97
6.2 繪圖參數(shù)文件及主要函數(shù) 99
6.2.1 修改繪圖參數(shù)文件 99
6.2.2 主要繪圖函數(shù)簡(jiǎn)介 100
6.2.3 繪圖函數(shù)應(yīng)用案例分析某企業(yè)2020年銷售額增長(zhǎng)情況 101
6.3 Matplotlib圖形整合 102
6.3.1 subplot()函數(shù) 103
6.3.2 subplots()函數(shù) 104
6.3.3 圖形整合實(shí)戰(zhàn)分析2020年某企業(yè)產(chǎn)品銷售的區(qū)域差異性 105
6.4 Matplotlib可視化案例 107
6.4.1 商品區(qū)域銷售額條形圖 107
6.4.2 商品每周利潤(rùn)率折線圖 110
6.4.3 商品利潤(rùn)貢獻(xiàn)率餅圖 112
6.5 小結(jié)與課后練習(xí) 114
第7章 Scikit-Learn機(jī)器學(xué)習(xí) 116
7.1 機(jī)器學(xué)習(xí)及其類型 116
7.1.1 機(jī)器學(xué)習(xí)的特點(diǎn) 116
7.1.2 機(jī)器學(xué)習(xí)的分類 117
7.1.3 機(jī)器學(xué)習(xí)的應(yīng)用 119
7.2 Sklearn機(jī)器學(xué)習(xí)概述 120
7.2.1 Sklearn的基本概念 120
7.2.2 Sklearn的主要算法 121
7.2.3 選擇合適的算法 124
7.3 Sklearn機(jī)器學(xué)習(xí)流程 125
7.3.1 獲取數(shù)據(jù) 126
7.3.2 預(yù)處理數(shù)據(jù) 126
7.3.3 訓(xùn)練模型 127
7.3.4 評(píng)估模型 128
7.3.5 優(yōu)化模型 128
7.3.6 應(yīng)用模型 129
7.4 Sklearn自帶的數(shù)據(jù)集 129
7.4.1 鳶尾花數(shù)據(jù)集簡(jiǎn)介 129
7.4.2 乳腺癌數(shù)據(jù)集簡(jiǎn)介 131
7.4.3 波士頓房?jī)r(jià)數(shù)據(jù)集簡(jiǎn)介 132
7.4.4 糖尿病數(shù)據(jù)集簡(jiǎn)介 133
7.4.5 手寫數(shù)字?jǐn)?shù)據(jù)集簡(jiǎn)介 134
7.4.6 紅酒數(shù)據(jù)集簡(jiǎn)介 135
7.5 小結(jié)與課后練習(xí) 136
第8章 監(jiān)督式機(jī)器學(xué)習(xí) 137
8.1 線性回歸及其案例 137
8.1.1 線性回歸簡(jiǎn)介 137
8.1.2 線性回歸的建模 138
8.1.3 汽車價(jià)格的預(yù)測(cè) 141
8.2 邏輯回歸及其案例 145
8.2.1 邏輯回歸簡(jiǎn)介 146
8.2.2 邏輯回歸的建模 146
8.2.3 客戶收入的預(yù)測(cè) 147
8.3 Lasso回歸與Ridge回歸 151
8.3.1 Lasso回歸及案例 151
8.3.2 Ridge回歸及案例 153
8.3.3 兩種回歸的比較 154
8.4 決策樹及其案例 155
8.4.1 決策樹簡(jiǎn)介 155
8.4.2 決策樹的建模 158
8.4.3 蘑菇類型的預(yù)測(cè) 159
8.5 K近鄰算法及其案例 166
8.5.1 K近鄰算法簡(jiǎn)介 166
8.5.2 K近鄰算法的建模 166
8.5.3 乳腺癌患者的分類 168
8.6 支持向量機(jī)及其案例 169
8.6.1 支持向量機(jī)簡(jiǎn)介 169
8.6.2 支持向量機(jī)的建模 170
8.6.3 乳腺癌患者的分類 172
8.7 小結(jié)與課后練習(xí) 174
第9章 無監(jiān)督式機(jī)器學(xué)習(xí) 175
9.1 聚類分析及其案例 175
9.1.1 K均值聚類算法及案例 175
9.1.2 使用手肘法判斷聚類數(shù) 180
9.1.3 輪廓系數(shù)法判斷聚類數(shù) 181
9.2 因子分析及其案例 185
9.2.1 因子分析概述 185
9.2.2 因子分析的建模 186
9.2.3 地區(qū)競(jìng)爭(zhēng)力的因子分析 187
9.3 主成分分析及其案例 193
9.3.1 主成分分析概述 193
9.3.2 主成分分析的建模 194
9.3.3 乳腺癌患者的主成分分析 195
9.4 關(guān)聯(lián)分析及其案例 198
9.4.1 關(guān)聯(lián)分析概述 198
9.4.2 關(guān)聯(lián)分析的建模 199
9.4.3 電商商品購(gòu)物籃分析 200
9.5 離群點(diǎn)檢測(cè)及其案例 203
9.5.1 離群點(diǎn)檢測(cè)概述 203
9.5.2 橢圓模型擬合及案例 204
9.5.3 局部離群因子及案例 207
9.6 雙聚類分析及其案例 211
9.6.1 雙聚類分析概述 211
9.6.2 聯(lián)合譜聚類及案例 211
9.6.3 譜雙聚類及案例 213
9.7 小結(jié)與課后練習(xí) 216
第10章 模型評(píng)估與調(diào)優(yōu) 217
10.1 機(jī)器學(xué)習(xí)的挑戰(zhàn) 217
10.1.1 訓(xùn)練樣本的大小 217
10.1.2 數(shù)據(jù)的不平衡 218
10.1.3 異常值的處理 218
10.1.4 模型的過擬合 219
10.1.5 特征的選擇 219
10.2 模型的評(píng)估方法 219
10.2.1 混淆矩陣及案例 220
10.2.2 模型評(píng)估指標(biāo)及案例 221
10.2.3 ROC曲線及案例 223
10.2.4 AUC及案例 225
10.2.5 R平方及案例 227
10.2.6 殘差及案例 229
10.3 模型的調(diào)優(yōu)方法 231
10.3.1 交叉驗(yàn)證及案例 231
10.3.2 網(wǎng)格搜索及案例 233
10.3.3 隨機(jī)搜索及案例 235
10.4 小結(jié)與課后練習(xí) 236
第11章 Python中文文本分析 237
11.1 中文結(jié)巴分詞 237
11.1.1 文本分詞模式 237
11.1.2 自定義停用詞 239
11.2 中文關(guān)鍵詞提取 240
11.2.1 TF-IDF算法 240
11.2.2 TextRank算法 241
11.3 中文詞向量生成 242
11.3.1 訓(xùn)練詞向量模型 242
11.3.2 計(jì)算文本詞向量 244
11.4 中文情感分析 245
11.4.1 文本情感建模 246
11.4.2 文本情感預(yù)測(cè) 247
11.5 小結(jié)與課后練習(xí) 249
附錄A Python 3.10.0及第三方庫(kù)安裝 250
附錄B Python常用第三方工具包簡(jiǎn)介 254
B.1 數(shù)據(jù)分析類包 254
B.2 數(shù)據(jù)可視化類包 255
B.3 機(jī)器學(xué)習(xí)類包 256