第 1章 數(shù)據(jù)科學(xué)概述 1
【知識目標】 1
【本章導(dǎo)讀】 1
1.1 數(shù)據(jù) 1
1.1.1 數(shù)據(jù)的定義和分類 1
1.1.2 數(shù)據(jù)產(chǎn)生方式的變革 2
1.2 數(shù)據(jù)科學(xué) 3
1.2.1 數(shù)據(jù)科學(xué)的發(fā)展歷程 4
1.2.2 數(shù)據(jù)科學(xué)基礎(chǔ) 5
1.2.3 數(shù)據(jù)科學(xué)的知識結(jié)構(gòu) 8
1.2.4 數(shù)據(jù)科學(xué)的工作流程 8
1.2.5 數(shù)據(jù)科學(xué)的成果 11
1.2.6 數(shù)據(jù)科學(xué)與大數(shù)據(jù) 11
1.3 數(shù)據(jù)科學(xué)管理與應(yīng)用 12
1.3.1 運籌優(yōu)化 12
1.3.2 管理決策 12
1.3.3 質(zhì)量控制 13
1.3.4 商務(wù)智能 13
1.3.5 網(wǎng)絡(luò)管理 14
歸納與提高 14
知識鞏固與訓(xùn)練 15


第 2章 數(shù)據(jù)科學(xué)關(guān)鍵技術(shù)分析 17
【知識目標】 17
【本章導(dǎo)讀】 17
2.1 數(shù)據(jù)采集技術(shù) 17
2.1.1 數(shù)據(jù)采集 17
2.1.2 數(shù)據(jù)采集相關(guān)技術(shù) 19
2.2 數(shù)據(jù)預(yù)處理技術(shù) 20
2.2.1 數(shù)據(jù)清洗 20
2.2.2 數(shù)據(jù)集成 22
2.3 數(shù)據(jù)分析技術(shù) 23
2.3.1 數(shù)據(jù)分析概述 23
2.3.2 數(shù)據(jù)分析的相關(guān)技術(shù) 24
2.4 數(shù)據(jù)可視化技術(shù) 25
2.4.1 數(shù)據(jù)可視化概述 26
2.4.2 數(shù)據(jù)可視化的相關(guān)技術(shù) 26
歸納與提高 27
知識鞏固與訓(xùn)練 27


第3章 Python基礎(chǔ) 29
【知識目標】 29
【本章導(dǎo)讀】 29
3.1 Python簡介 29
3.1.1 Python語言概述 29
3.1.2 Python語言的優(yōu)點和缺點 30
3.2 Python程序的開發(fā)與基本語法 31
3.2.1 程序開發(fā)的流程 31
3.2.2 程序編寫的基本方法 32
3.2.3 Python的輸入與輸出 32
3.2.4 Python的基本語法 34
3.2.5 變量與常量 35
3.2.6 標識符 37
3.3 Python的基本數(shù)據(jù)類型 38
3.3.1 數(shù)字類型 38
3.3.2 字符串類型 39
3.3.3 布爾類型 41
3.4 運算符與表達式 42
3.4.1 運算符 42
3.4.2 表達式 44
3.4.3 數(shù)據(jù)類型轉(zhuǎn)換 45
3.5 程序的控制結(jié)構(gòu) 46
3.5.1 程序流程圖 46
3.5.2 程序的基本結(jié)構(gòu) 47
3.5.3 分支結(jié)構(gòu) 49
3.5.4 循環(huán)結(jié)構(gòu) 51
歸納與提高 54
知識鞏固與訓(xùn)練 54


第4章 函數(shù)、模塊與組合數(shù)據(jù)類型 57
【知識目標】 57
【本章導(dǎo)讀】 57
4.1 函數(shù)的定義和調(diào)用 57
4.1.1 函數(shù)的定義 57
4.1.2 函數(shù)的調(diào)用 58
4.1.3 函數(shù)的遞歸調(diào)用 59
4.1.4 lambda表達式 60
4.2 函數(shù)的參數(shù)傳遞 61
4.2.1 函數(shù)值傳遞和引用傳遞 61
4.2.2 參數(shù)的位置傳遞 62
4.2.3 參數(shù)的關(guān)鍵字傳遞 64
4.2.4 參數(shù)的默認值傳遞 64
4.3 內(nèi)置函數(shù) 65
4.4 變量作用域 67
4.4.1 Python的局部變量 67
4.4.2 Python的全局變量 68
4.5 模塊 69
4.5.1 模塊的定義 69
4.5.2 導(dǎo)入模塊 69
4.5.3 自定義模塊 70
4.5.4 math模塊 71
4.6 組合數(shù)據(jù)類型與字符串 72
4.6.1 列表 73
4.6.2 元組 76
4.6.3 字典 78
4.6.4 集合 82
4.6.5 字符串 84
歸納與提高 88
知識鞏固與訓(xùn)練 88


第5章 文件操作 92
【知識目標】 92
【本章導(dǎo)讀】 92
5.1 錯誤處理 92
5.1.1 錯誤 92
5.1.2 異常處理 94
5.2 文件讀寫 96
5.2.1 讀寫文本文件 96
5.2.2 讀寫csv文件 98
5.2.3 讀寫JSON文件 100
歸納與提高 101
知識鞏固與訓(xùn)練 102


第6章 數(shù)據(jù)采集 104
【知識目標】 104
【本章導(dǎo)讀】 104
6.1 HTTP請求概述 104
6.1.1 HTTP和HTTPS 104
6.1.2 HTTP的工作原理 105
6.1.3 HTTP的請求與響應(yīng) 105
6.2 HTML、DOM樹結(jié)構(gòu)和XPath 109
6.2.1 HTML簡述 109
6.2.2 DOM樹結(jié)構(gòu) 110
6.2.3 用XPath選擇HTML元素 110
6.3 Scrapy數(shù)據(jù)采集入門 113
6.3.1 安裝Scrapy 113
6.3.2 Scrapy框架結(jié)構(gòu) 114
6.3.3 基礎(chǔ)Spider源碼解析 115
6.4 Scrapy實例 117
6.4.1 實例一 117
6.4.2 實例二 123
6.5 Scrapy應(yīng)對反爬蟲程序 127
6.5.1 爬蟲的檢測方法 127
6.5.2 應(yīng)對反爬蟲的對策 128
6.5.3 反爬蟲實例 128
歸納與提高 130
知識鞏固與訓(xùn)練 131


第7章 numpy數(shù)值計算 132
【知識目標】 132
【本章導(dǎo)讀】 132
7.1 numpy數(shù)組概述 132
7.1.1 numpy數(shù)組的特點及屬性 132
7.1.2 創(chuàng)建numpy數(shù)組 134
7.1.3 numpy的數(shù)據(jù)類型及其轉(zhuǎn)換 135
7.2 數(shù)組形狀操作 136
7.2.1 利用reshape()函數(shù)改變數(shù)組維度 136
7.2.2 利用ravel()函數(shù)數(shù)組 137
7.2.3 利用flatten()函數(shù)橫向或縱向數(shù)組 137
7.2.4 利用hstack()、vstack()、concatenate()函行數(shù)組組合 137
7.2.5 利用hsplit()、vsplit()和split()函行數(shù)組分割 138
7.3 數(shù)組數(shù)據(jù)獲取：索引、切片、及條件 139
7.3.1 一維數(shù)組的索引及切片 139
7.3.2 多維數(shù)組的索引及切片 140
7.3.3 數(shù)組數(shù)據(jù)的 140
7.3.4 利用條件獲取數(shù)組數(shù)據(jù) 140
7.4 數(shù)組運算 141
7.4.1 常用的ufunc函數(shù)運算 141
7.4.2 ufunc函數(shù)的廣播機制 143
7.5 數(shù)組排序及統(tǒng)計分析 144
7.5.1 排序 144
7.5.2 去重與重復(fù)數(shù)據(jù) 145
7.5.3 常用的統(tǒng)計函數(shù) 146
7.6 矩陣創(chuàng)建及運算 147
7.6.1 創(chuàng)建矩陣 147
7.6.2 矩陣的基本運算 148
7.6.3 矩陣的轉(zhuǎn)置、共軛及逆矩陣 149
7.6.4 查看矩陣特征 149
7.7 讀寫文件 150
7.7.1 文本數(shù)據(jù)讀寫函數(shù)savetxt()、loadtxt()、genfromtxt() 150
7.7.2 制文件讀寫函數(shù)save()及l(fā)oad() 151
歸納與提高 152
知識鞏固與訓(xùn)練 152


第8章 數(shù)據(jù)處理：pandas統(tǒng)計分析 154
【知識目標】 154
【本章導(dǎo)讀】 154
8.1 pandas的數(shù)據(jù)結(jié)構(gòu) 154
8.1.1 Series（數(shù)據(jù)序列） 155
8.1.2 DataFrame（數(shù)據(jù)框） 157
8.2 DataFrame的基礎(chǔ)操作 158
8.2.1 查看DataFrame的常用屬性 158
8.2.2 查看和修改DataFrame數(shù)據(jù) 159
8.3 讀/寫外部數(shù)據(jù) 164
8.3.1 讀/寫數(shù)據(jù)庫數(shù)據(jù) 164
8.3.2 讀/寫文本文件 166
8.3.3 讀/寫Excel文件 167
8.4 pandas的數(shù)據(jù)預(yù)處理 168
8.4.1 數(shù)據(jù)清洗 168
8.4.2 數(shù)據(jù)集成 173
8.4.3 數(shù)據(jù)排序 177
8.5 統(tǒng)計分析 178
8.5.1 描述性78
8.5.2 分組聚合80
8.6 時間類型及時間序列數(shù)據(jù) 182
8.6.1 轉(zhuǎn)換字符串時間為標準時間 182
8.6.2 提取時間數(shù)據(jù)信息 183
8.6.3 加減時間數(shù)據(jù) 184
8.6.4 生成時間序列數(shù)據(jù) 184
8.7 創(chuàng)建透視表與交叉表 185
8.7.1 使用pivot()及pivot_table()函數(shù)創(chuàng)建透視表 185
8.7.2 使用cros()函數(shù)創(chuàng)建交叉表 187
歸納與提高 189
知識鞏固與訓(xùn)練 189


第9章 數(shù)據(jù)可視化與應(yīng)用 192
【知識目標】 192
【本章導(dǎo)讀】 192
9.1 matplotlib簡介 192
9.2 基本圖形繪制 194
9.2.1 繪制一個基本圖形 194
9.2.2 繪制線形圖 195
9.2.3 繪制散點圖 197
9.3 統(tǒng)計圖形繪制 198
9.3.1 繪制柱形圖 198
9.3.2 繪制條形圖 199
9.3.3 繪制餅圖 200
9.3.4 繪制氣泡圖 200
9.4 設(shè)置樣式 201
9.4.1 中文及負號設(shè)置 201
9.4.2 標題及坐標軸標簽 201
9.4.3 plot樣式 202
9.4.4 子圖 203
9.5 3D圖形的繪制 204
歸納與提高 206
知識鞏固與訓(xùn)練 206


第 10章 網(wǎng)店商品數(shù)據(jù)分析 209
【知識目標】 209
【本章導(dǎo)讀】 209
10.1 某網(wǎng)店的背景及數(shù)據(jù)分析的目的 209
10.1.1 某網(wǎng)店的背景介紹 209
10.1.2 數(shù)據(jù)分析目的及流程 210
10.2 數(shù)據(jù)預(yù)處理 210
10.2.1 數(shù)據(jù)特征分析 211
10.2.2 文字預(yù)處理 211
10.2.3 數(shù)字預(yù)處理 213
10.3 數(shù)據(jù)分析初步 214
10.3.1 商品分析 214
10.3.2 商品價格與銷量分析 215
10.4 聚類分析 217
10.4.1 聚類分析簡介 217
10.4.2 KMeans聚類 217
10.4.3 聚類過程及可視化 218
10.5 撰寫數(shù)據(jù)分析報告 221
歸納與提高 222
更新勘誤表和配套資料索取示意圖 223
參考文獻 224