第 1章 數(shù)據(jù)科學(xué)概述 1
【知識(shí)目標(biāo)】 1
【本章導(dǎo)讀】 1
1.1 數(shù)據(jù) 1
1.1.1 數(shù)據(jù)的定義和分類(lèi) 1
1.1.2 數(shù)據(jù)產(chǎn)生方式的變革 2
1.2 數(shù)據(jù)科學(xué) 3
1.2.1 數(shù)據(jù)科學(xué)的發(fā)展歷程 4
1.2.2 數(shù)據(jù)科學(xué)基礎(chǔ) 5
1.2.3 數(shù)據(jù)科學(xué)的知識(shí)結(jié)構(gòu) 8
1.2.4 數(shù)據(jù)科學(xué)的工作流程 8
1.2.5 數(shù)據(jù)科學(xué)的成果 11
1.2.6 數(shù)據(jù)科學(xué)與大數(shù)據(jù) 11
1.3 數(shù)據(jù)科學(xué)管理與應(yīng)用 12
1.3.1 運(yùn)籌優(yōu)化 12
1.3.2 管理決策 12
1.3.3 質(zhì)量控制 13
1.3.4 商務(wù)智能 13
1.3.5 網(wǎng)絡(luò)管理 14
歸納與提高 14
知識(shí)鞏固與訓(xùn)練 15


第 2章 數(shù)據(jù)科學(xué)關(guān)鍵技術(shù)分析 17
【知識(shí)目標(biāo)】 17
【本章導(dǎo)讀】 17
2.1 數(shù)據(jù)采集技術(shù) 17
2.1.1 數(shù)據(jù)采集 17
2.1.2 數(shù)據(jù)采集相關(guān)技術(shù) 19
2.2 數(shù)據(jù)預(yù)處理技術(shù) 20
2.2.1 數(shù)據(jù)清洗 20
2.2.2 數(shù)據(jù)集成 22
2.3 數(shù)據(jù)分析技術(shù) 23
2.3.1 數(shù)據(jù)分析概述 23
2.3.2 數(shù)據(jù)分析的相關(guān)技術(shù) 24
2.4 數(shù)據(jù)可視化技術(shù) 25
2.4.1 數(shù)據(jù)可視化概述 26
2.4.2 數(shù)據(jù)可視化的相關(guān)技術(shù) 26
歸納與提高 27
知識(shí)鞏固與訓(xùn)練 27


第3章 Python基礎(chǔ) 29
【知識(shí)目標(biāo)】 29
【本章導(dǎo)讀】 29
3.1 Python簡(jiǎn)介 29
3.1.1 Python語(yǔ)言概述 29
3.1.2 Python語(yǔ)言的優(yōu)點(diǎn)和缺點(diǎn) 30
3.2 Python程序的開(kāi)發(fā)與基本語(yǔ)法 31
3.2.1 程序開(kāi)發(fā)的流程 31
3.2.2 程序編寫(xiě)的基本方法 32
3.2.3 Python的輸入與輸出 32
3.2.4 Python的基本語(yǔ)法 34
3.2.5 變量與常量 35
3.2.6 標(biāo)識(shí)符 37
3.3 Python的基本數(shù)據(jù)類(lèi)型 38
3.3.1 數(shù)字類(lèi)型 38
3.3.2 字符串類(lèi)型 39
3.3.3 布爾類(lèi)型 41
3.4 運(yùn)算符與表達(dá)式 42
3.4.1 運(yùn)算符 42
3.4.2 表達(dá)式 44
3.4.3 數(shù)據(jù)類(lèi)型轉(zhuǎn)換 45
3.5 程序的控制結(jié)構(gòu) 46
3.5.1 程序流程圖 46
3.5.2 程序的基本結(jié)構(gòu) 47
3.5.3 分支結(jié)構(gòu) 49
3.5.4 循環(huán)結(jié)構(gòu) 51
歸納與提高 54
知識(shí)鞏固與訓(xùn)練 54


第4章 函數(shù)、模塊與組合數(shù)據(jù)類(lèi)型 57
【知識(shí)目標(biāo)】 57
【本章導(dǎo)讀】 57
4.1 函數(shù)的定義和調(diào)用 57
4.1.1 函數(shù)的定義 57
4.1.2 函數(shù)的調(diào)用 58
4.1.3 函數(shù)的遞歸調(diào)用 59
4.1.4 lambda表達(dá)式 60
4.2 函數(shù)的參數(shù)傳遞 61
4.2.1 函數(shù)值傳遞和引用傳遞 61
4.2.2 參數(shù)的位置傳遞 62
4.2.3 參數(shù)的關(guān)鍵字傳遞 64
4.2.4 參數(shù)的默認(rèn)值傳遞 64
4.3 內(nèi)置函數(shù) 65
4.4 變量作用域 67
4.4.1 Python的局部變量 67
4.4.2 Python的全局變量 68
4.5 模塊 69
4.5.1 模塊的定義 69
4.5.2 導(dǎo)入模塊 69
4.5.3 自定義模塊 70
4.5.4 math模塊 71
4.6 組合數(shù)據(jù)類(lèi)型與字符串 72
4.6.1 列表 73
4.6.2 元組 76
4.6.3 字典 78
4.6.4 集合 82
4.6.5 字符串 84
歸納與提高 88
知識(shí)鞏固與訓(xùn)練 88


第5章 文件操作 92
【知識(shí)目標(biāo)】 92
【本章導(dǎo)讀】 92
5.1 錯(cuò)誤處理 92
5.1.1 錯(cuò)誤 92
5.1.2 異常處理 94
5.2 文件讀寫(xiě) 96
5.2.1 讀寫(xiě)文本文件 96
5.2.2 讀寫(xiě)csv文件 98
5.2.3 讀寫(xiě)JSON文件 100
歸納與提高 101
知識(shí)鞏固與訓(xùn)練 102


第6章 數(shù)據(jù)采集 104
【知識(shí)目標(biāo)】 104
【本章導(dǎo)讀】 104
6.1 HTTP請(qǐng)求概述 104
6.1.1 HTTP和HTTPS 104
6.1.2 HTTP的工作原理 105
6.1.3 HTTP的請(qǐng)求與響應(yīng) 105
6.2 HTML、DOM樹(shù)結(jié)構(gòu)和XPath 109
6.2.1 HTML簡(jiǎn)述 109
6.2.2 DOM樹(shù)結(jié)構(gòu) 110
6.2.3 用XPath選擇HTML元素 110
6.3 Scrapy數(shù)據(jù)采集入門(mén) 113
6.3.1 安裝Scrapy 113
6.3.2 Scrapy框架結(jié)構(gòu) 114
6.3.3 基礎(chǔ)Spider源碼解析 115
6.4 Scrapy實(shí)例 117
6.4.1 實(shí)例一 117
6.4.2 實(shí)例二 123
6.5 Scrapy應(yīng)對(duì)反爬蟲(chóng)程序 127
6.5.1 爬蟲(chóng)的檢測(cè)方法 127
6.5.2 應(yīng)對(duì)反爬蟲(chóng)的對(duì)策 128
6.5.3 反爬蟲(chóng)實(shí)例 128
歸納與提高 130
知識(shí)鞏固與訓(xùn)練 131


第7章 numpy數(shù)值計(jì)算 132
【知識(shí)目標(biāo)】 132
【本章導(dǎo)讀】 132
7.1 numpy數(shù)組概述 132
7.1.1 numpy數(shù)組的特點(diǎn)及屬性 132
7.1.2 創(chuàng)建numpy數(shù)組 134
7.1.3 numpy的數(shù)據(jù)類(lèi)型及其轉(zhuǎn)換 135
7.2 數(shù)組形狀操作 136
7.2.1 利用reshape()函數(shù)改變數(shù)組維度 136
7.2.2 利用ravel()函數(shù)數(shù)組 137
7.2.3 利用flatten()函數(shù)橫向或縱向數(shù)組 137
7.2.4 利用hstack()、vstack()、concatenate()函行數(shù)組組合 137
7.2.5 利用hsplit()、vsplit()和split()函行數(shù)組分割 138
7.3 數(shù)組數(shù)據(jù)獲�。核饕�、切片、及條件 139
7.3.1 一維數(shù)組的索引及切片 139
7.3.2 多維數(shù)組的索引及切片 140
7.3.3 數(shù)組數(shù)據(jù)的 140
7.3.4 利用條件獲取數(shù)組數(shù)據(jù) 140
7.4 數(shù)組運(yùn)算 141
7.4.1 常用的ufunc函數(shù)運(yùn)算 141
7.4.2 ufunc函數(shù)的廣播機(jī)制 143
7.5 數(shù)組排序及統(tǒng)計(jì)分析 144
7.5.1 排序 144
7.5.2 去重與重復(fù)數(shù)據(jù) 145
7.5.3 常用的統(tǒng)計(jì)函數(shù) 146
7.6 矩陣創(chuàng)建及運(yùn)算 147
7.6.1 創(chuàng)建矩陣 147
7.6.2 矩陣的基本運(yùn)算 148
7.6.3 矩陣的轉(zhuǎn)置、共軛及逆矩陣 149
7.6.4 查看矩陣特征 149
7.7 讀寫(xiě)文件 150
7.7.1 文本數(shù)據(jù)讀寫(xiě)函數(shù)savetxt()、loadtxt()、genfromtxt() 150
7.7.2 制文件讀寫(xiě)函數(shù)save()及l(fā)oad() 151
歸納與提高 152
知識(shí)鞏固與訓(xùn)練 152


第8章 數(shù)據(jù)處理：pandas統(tǒng)計(jì)分析 154
【知識(shí)目標(biāo)】 154
【本章導(dǎo)讀】 154
8.1 pandas的數(shù)據(jù)結(jié)構(gòu) 154
8.1.1 Series（數(shù)據(jù)序列） 155
8.1.2 DataFrame（數(shù)據(jù)框） 157
8.2 DataFrame的基礎(chǔ)操作 158
8.2.1 查看DataFrame的常用屬性 158
8.2.2 查看和修改DataFrame數(shù)據(jù) 159
8.3 讀/寫(xiě)外部數(shù)據(jù) 164
8.3.1 讀/寫(xiě)數(shù)據(jù)庫(kù)數(shù)據(jù) 164
8.3.2 讀/寫(xiě)文本文件 166
8.3.3 讀/寫(xiě)Excel文件 167
8.4 pandas的數(shù)據(jù)預(yù)處理 168
8.4.1 數(shù)據(jù)清洗 168
8.4.2 數(shù)據(jù)集成 173
8.4.3 數(shù)據(jù)排序 177
8.5 統(tǒng)計(jì)分析 178
8.5.1 描述性78
8.5.2 分組聚合80
8.6 時(shí)間類(lèi)型及時(shí)間序列數(shù)據(jù) 182
8.6.1 轉(zhuǎn)換字符串時(shí)間為標(biāo)準(zhǔn)時(shí)間 182
8.6.2 提取時(shí)間數(shù)據(jù)信息 183
8.6.3 加減時(shí)間數(shù)據(jù) 184
8.6.4 生成時(shí)間序列數(shù)據(jù) 184
8.7 創(chuàng)建透視表與交叉表 185
8.7.1 使用pivot()及pivot_table()函數(shù)創(chuàng)建透視表 185
8.7.2 使用cros()函數(shù)創(chuàng)建交叉表 187
歸納與提高 189
知識(shí)鞏固與訓(xùn)練 189


第9章 數(shù)據(jù)可視化與應(yīng)用 192
【知識(shí)目標(biāo)】 192
【本章導(dǎo)讀】 192
9.1 matplotlib簡(jiǎn)介 192
9.2 基本圖形繪制 194
9.2.1 繪制一個(gè)基本圖形 194
9.2.2 繪制線形圖 195
9.2.3 繪制散點(diǎn)圖 197
9.3 統(tǒng)計(jì)圖形繪制 198
9.3.1 繪制柱形圖 198
9.3.2 繪制條形圖 199
9.3.3 繪制餅圖 200
9.3.4 繪制氣泡圖 200
9.4 設(shè)置樣式 201
9.4.1 中文及負(fù)號(hào)設(shè)置 201
9.4.2 標(biāo)題及坐標(biāo)軸標(biāo)簽 201
9.4.3 plot樣式 202
9.4.4 子圖 203
9.5 3D圖形的繪制 204
歸納與提高 206
知識(shí)鞏固與訓(xùn)練 206


第 10章 網(wǎng)店商品數(shù)據(jù)分析 209
【知識(shí)目標(biāo)】 209
【本章導(dǎo)讀】 209
10.1 某網(wǎng)店的背景及數(shù)據(jù)分析的目的 209
10.1.1 某網(wǎng)店的背景介紹 209
10.1.2 數(shù)據(jù)分析目的及流程 210
10.2 數(shù)據(jù)預(yù)處理 210
10.2.1 數(shù)據(jù)特征分析 211
10.2.2 文字預(yù)處理 211
10.2.3 數(shù)字預(yù)處理 213
10.3 數(shù)據(jù)分析初步 214
10.3.1 商品分析 214
10.3.2 商品價(jià)格與銷(xiāo)量分析 215
10.4 聚類(lèi)分析 217
10.4.1 聚類(lèi)分析簡(jiǎn)介 217
10.4.2 KMeans聚類(lèi) 217
10.4.3 聚類(lèi)過(guò)程及可視化 218
10.5 撰寫(xiě)數(shù)據(jù)分析報(bào)告 221
歸納與提高 222
更新勘誤表和配套資料索取示意圖 223
參考文獻(xiàn) 224