Python數(shù)據(jù)分析基礎(chǔ)與案例實戰(zhàn)
定 價:59.8 元
叢書名:大數(shù)據(jù)技術(shù)精品系列教材
- 作者:楊果仁 張良均
- 出版時間:2023/8/1
- ISBN:9787115620101
- 出 版 社:人民郵電出版社
- 中圖法分類:TP311.561
- 頁碼:236
- 紙張:
- 版次:01
- 開本:16開
本書以Python數(shù)據(jù)分析的常用技術(shù)與交通行業(yè)真實案例相結(jié)合的方式,深入淺出地介紹了Python數(shù)據(jù)分析與挖掘技術(shù)的重要內(nèi)容。全書共10章,內(nèi)容包括緒論、Python 數(shù)據(jù)分析簡介、數(shù)據(jù)獲取、數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理、構(gòu)建模型、運輸車輛駕駛行為分析、公交車站點設(shè)置優(yōu)化分析、鐵路站點客流量預(yù)測,以及基于TipDM大數(shù)據(jù)挖掘建模平臺實現(xiàn)運輸車輛駕駛行為分析。本書大部分章節(jié)包含課后習(xí)題,通過練習(xí)和操作實踐,讀者可以鞏固所學(xué)的內(nèi)容。
本書可作為高校數(shù)據(jù)分析相關(guān)專業(yè)的教材,也可作為交通行業(yè)相關(guān)的教學(xué)、培訓(xùn)教材,還可作為數(shù)據(jù)分析愛好者的自學(xué)用書。
1.緊扣交通大數(shù)據(jù)分析全流程。本書的設(shè)計思路以數(shù)據(jù)分析的流程為導(dǎo)向,結(jié)合交通數(shù)據(jù)講解流程中的每個環(huán)節(jié),并通過課后習(xí)題鞏固所學(xué)知識。
2.注重項目實戰(zhàn)應(yīng)用。本書通過講解實際交通行業(yè)的相關(guān)項目,讓讀者明確如何利用所學(xué)知識來解決生產(chǎn)、生活中的問題,真正理解并能夠應(yīng)用所學(xué)知識。
3.注重啟發(fā)式教學(xué)。全書大部分章節(jié)緊扣具體應(yīng)用展開,不堆積知識點,著重于思路的啟發(fā)與解決方案的實施。
張良均,高級信息系統(tǒng)項目管理師,泰迪杯全國大學(xué)生數(shù)據(jù)挖掘競(www.tipdm.org)的發(fā)起人。華南師范大學(xué)、廣東工業(yè)大學(xué)兼職教授,廣東省工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會理事。兼有大型高科技企業(yè)和高校的工作經(jīng)歷,主要從事大數(shù)據(jù)挖掘及其應(yīng)用的策劃、研發(fā)及咨詢培訓(xùn)。全國計算機技術(shù)與軟件專業(yè)技術(shù)資格(水平)考試?yán)^續(xù)教育和CDA數(shù)據(jù)分析師培訓(xùn)講師。發(fā)表數(shù)據(jù)挖掘相關(guān)論文數(shù)二十余篇,已取得國家發(fā)明專利12項,主編圖書《神經(jīng)網(wǎng)絡(luò)實用教程》、《數(shù)據(jù)挖掘:實用案例分析》、《MATLAB數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》等9本熱銷圖書,主持并完成科技項目9項。獲得SAS、SPSS數(shù)據(jù)挖掘認證及Hadoop開發(fā)工程師證書,具有電力、電信、銀行、制造企業(yè)、電子商務(wù)和電子政務(wù)的項目經(jīng)驗和行業(yè)背景。
第 1章 緒論 1
1.1 了解交通大數(shù)據(jù) 1
1.1.1 交通大數(shù)據(jù)的背景 1
1.1.2 交通大數(shù)據(jù)的應(yīng)用 4
1.2 認識數(shù)據(jù)分析 5
1.2.1 掌握數(shù)據(jù)分析的基本任務(wù) 6
1.2.2 熟悉數(shù)據(jù)分析的基本流程 6
1.3 了解常用的數(shù)據(jù)分析工具 8
1.4 配置Python開發(fā)環(huán)境 9
1.4.1 安裝Anaconda 9
1.4.2 掌握Jupyter Notebook的使用方法 12
小結(jié) 14
課后習(xí)題 14
第 2章 Python數(shù)據(jù)分析簡介 16
2.1 入門Python數(shù)據(jù)分析 16
2.1.1 了解基本命令 16
2.1.2 掌握數(shù)據(jù)結(jié)構(gòu) 19
2.1.3 函數(shù)式編程 21
2.1.4 導(dǎo)入與添加庫 23
2.2 了解Python數(shù)據(jù)分析常用擴展庫 24
2.2.1 NumPy 25
2.2.2 SciPy 26
2.2.3 pandas 27
2.2.4 Matplotlib 28
2.2.5 scikit-learn 30
小結(jié) 31
課后習(xí)題 31
第3章 數(shù)據(jù)獲取 32
3.1 了解常見的數(shù)據(jù)來源 32
3.2 了解交通信息的采集 33
3.2.1 交通信息的分類與特點 33
3.2.2 常見的交通信息采集技術(shù) 34
3.3 了解常見的數(shù)據(jù)類型 35
3.4 掌握數(shù)據(jù)的讀取方式 37
3.4.1 讀取數(shù)據(jù)庫數(shù)據(jù) 37
3.4.2 讀取文件數(shù)據(jù) 38
小結(jié) 40
課后習(xí)題 40
第4章 數(shù)據(jù)探索 41
4.1 分析數(shù)據(jù)質(zhì)量 41
4.1.1 分析缺失值 41
4.1.2 分析異常值 42
4.2 分析數(shù)據(jù)特征 45
4.2.1 分析數(shù)據(jù)的統(tǒng)計量 45
4.2.2 分析數(shù)據(jù)的分布情況 48
4.2.3 對比分析數(shù)據(jù) 53
4.2.4 分析數(shù)據(jù)的周期性 56
4.2.5 分析數(shù)據(jù)的相關(guān)性 58
小結(jié) 61
課后習(xí)題 61
第5章 數(shù)據(jù)預(yù)處理 63
5.1 數(shù)據(jù)清洗 63
5.1.1 處理缺失值 63
5.1.2 處理異常值 66
5.2 數(shù)據(jù)變換 66
5.2.1 函數(shù)變換 66
5.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化 67
5.2.3 離散化連續(xù)型數(shù)據(jù) 69
5.3 屬性構(gòu)造 72
5.4 屬性規(guī)約 73
5.5 數(shù)據(jù)合并 76
5.5.1 多表合并 77
5.5.2 分組聚合數(shù)據(jù) 84
小結(jié) 92
課后習(xí)題 92
第6章 構(gòu)建模型 94
6.1 構(gòu)建分類與回歸模型 94
6.1.1 常用的分類與回歸算法 94
6.1.2 了解回歸分析 95
6.1.3 了解樸素貝葉斯 99
6.1.4 了解決策樹 101
6.1.5 了解人工神經(jīng)網(wǎng)絡(luò) 104
6.1.6 評價分類與回歸模型 109
6.2 構(gòu)建聚類模型 113
6.2.1 了解常用的聚類算法 113
6.2.2 了解K-Means聚類 114
6.2.3 了解密度聚類 120
6.2.4 聚類模型評價 124
6.3 構(gòu)建時間序列模型 126
6.3.1 了解常用的時間序列模型 126
6.3.2 預(yù)處理時間序列 127
6.3.3 分析平穩(wěn)時間序列 128
6.3.4 分析非平穩(wěn)時間序列 131
小結(jié) 140
課后習(xí)題 140
第7章 運輸車輛駕駛行為分析 142
7.1 分析背景與目標(biāo) 142
7.1.1 背景 142
7.1.2 數(shù)據(jù)說明 143
7.1.3 分析目標(biāo) 144
7.2 數(shù)據(jù)探索分析 145
7.2.1 分布分析 145
7.2.2 相關(guān)性分析 146
7.2.3 異常值檢測 147
7.3 駕駛行為聚類分析 149
7.3.1 K-Means聚類 149
7.3.2 層次聚類 152
7.3.3 高斯混合模型聚類 153
7.3.4 譜聚類 154
7.4 構(gòu)建駕駛行為預(yù)測模型 156
7.4.1 構(gòu)建線性判別分析模型 156
7.4.2 構(gòu)建樸素貝葉斯模型 157
7.4.3 構(gòu)建神經(jīng)網(wǎng)絡(luò)模型 159
7.5 駕駛行為分析總結(jié)與建議 160
小結(jié) 160
課后習(xí)題 160
第8章 公交車站點設(shè)置優(yōu)化分析 162
8.1 分析背景與目標(biāo) 162
8.1.1 背景 163
8.1.2 數(shù)據(jù)說明 163
8.1.3 分析目標(biāo) 164
8.2 探索公交刷卡數(shù)據(jù) 165
8.3 預(yù)處理公交車載GPS數(shù)據(jù)與刷卡數(shù)據(jù) 166
8.3.1 屬性規(guī)約 166
8.3.2 缺失值處理 166
8.3.3 數(shù)據(jù)去重 167
8.4 構(gòu)建DBSCAN模型 168
8.5 公交車站點設(shè)置優(yōu)化分析 170
8.5.1 計算上車人數(shù) 170
8.5.2 計算下車人數(shù) 172
8.5.3 結(jié)果分析 176
小結(jié) 177
課后習(xí)題 177
第9章 鐵路站點客流量預(yù)測 179
9.1 分析背景與目標(biāo) 179
9.1.1 背景 179
9.1.2 數(shù)據(jù)說明 180
9.1.3 分析目標(biāo) 180
9.2 預(yù)處理客流量數(shù)據(jù) 181
9.3 探索客流量數(shù)據(jù) 186
9.3.1 不同站點上下車客流量分布分析 186
9.3.2 不同時段上下車客流量分布分析 187
9.3.3 分析節(jié)假日客流量變化 189
9.4 構(gòu)建模型并預(yù)測客流量 192
9.4.1 構(gòu)建時間序列模型 192
9.4.2 預(yù)測非節(jié)假日客流量 195
9.4.3 預(yù)測節(jié)假日客流量 199
小結(jié) 206
課后習(xí)題 207
第 10章 基于TipDM大數(shù)據(jù)挖掘建模平臺實現(xiàn)運輸車輛駕駛行為分析 208
10.1 TipDM大數(shù)據(jù)挖掘建模平臺簡介 208
10.1.1 模型庫 210
10.1.2 數(shù)據(jù)連接 210
10.1.3 我的數(shù)據(jù) 210
10.1.4 我的工程 211
10.1.5 系統(tǒng)算法 211
10.1.6 個人算法 213
10.2 實現(xiàn)運輸車輛駕駛行為分析 214
10.2.1 數(shù)據(jù)源配置 214
10.2.2 數(shù)據(jù)探索分析 217
10.2.3 駕駛行為聚類分析 222
10.2.4 構(gòu)建駕駛行為預(yù)測模型 230
小結(jié) 236
第 1章 緒論 1
1.1 了解交通大數(shù)據(jù) 1
1.1.1 交通大數(shù)據(jù)的背景 1
1.1.2 交通大數(shù)據(jù)的應(yīng)用 4
1.2 認識數(shù)據(jù)分析 5
1.2.1 掌握數(shù)據(jù)分析的基本任務(wù) 6
1.2.2 熟悉數(shù)據(jù)分析的基本流程 6
1.3 了解常用的數(shù)據(jù)分析工具 8
1.4 配置Python開發(fā)環(huán)境 9
1.4.1 安裝Anaconda 9
1.4.2 掌握Jupyter Notebook的使用方法 12
小結(jié) 14
課后習(xí)題 14
第 2章 Python數(shù)據(jù)分析簡介 16
2.1 入門Python數(shù)據(jù)分析 16
2.1.1 了解基本命令 16
2.1.2 掌握數(shù)據(jù)結(jié)構(gòu) 19
2.1.3 函數(shù)式編程 21
2.1.4 導(dǎo)入與添加庫 23
2.2 了解Python數(shù)據(jù)分析常用擴展庫 24
2.2.1 NumPy 25
2.2.2 SciPy 26
2.2.3 pandas 27
2.2.4 Matplotlib 28
2.2.5 scikit-learn 30
小結(jié) 31
課后習(xí)題 31
第3章 數(shù)據(jù)獲取 32
3.1 了解常見的數(shù)據(jù)來源 32
3.2 了解交通信息的采集 33
3.2.1 交通信息的分類與特點 33
3.2.2 常見的交通信息采集技術(shù) 34
3.3 了解常見的數(shù)據(jù)類型 35
3.4 掌握數(shù)據(jù)的讀取方式 37
3.4.1 讀取數(shù)據(jù)庫數(shù)據(jù) 37
3.4.2 讀取文件數(shù)據(jù) 38
小結(jié) 40
課后習(xí)題 40
第4章 數(shù)據(jù)探索 41
4.1 分析數(shù)據(jù)質(zhì)量 41
4.1.1 分析缺失值 41
4.1.2 分析異常值 42
4.2 分析數(shù)據(jù)特征 45
4.2.1 分析數(shù)據(jù)的統(tǒng)計量 45
4.2.2 分析數(shù)據(jù)的分布情況 48
4.2.3 對比分析數(shù)據(jù) 53
4.2.4 分析數(shù)據(jù)的周期性 56
4.2.5 分析數(shù)據(jù)的相關(guān)性 57
小結(jié) 60
課后習(xí)題 61
第5章 數(shù)據(jù)預(yù)處理 63
5.1 數(shù)據(jù)清洗 63
5.1.1 處理缺失值 63
5.1.2 處理異常值 66
5.2 數(shù)據(jù)變換 66
5.2.1 函數(shù)變換 66
5.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化 67
5.2.3 離散化連續(xù)型數(shù)據(jù) 69
5.3 屬性構(gòu)造 72
5.4 屬性規(guī)約 73
5.5 數(shù)據(jù)合并 76
5.5.1 多表合并 77
5.5.2 分組聚合數(shù)據(jù) 84
小結(jié) 92
課后習(xí)題 92
第6章 構(gòu)建模型 94
6.1 構(gòu)建分類與回歸模型 94
6.1.1 常用的分類與回歸算法 94
6.1.2 了解回歸分析 95
6.1.3 了解樸素貝葉斯 99
6.1.4 了解決策樹 101
6.1.5 了解人工神經(jīng)網(wǎng)絡(luò) 104
6.1.6 評價分類與回歸模型 109
6.2 構(gòu)建聚類模型 113
6.2.1 了解常用的聚類算法 113
6.2.2 了解K-Means聚類 114
6.2.3 了解密度聚類 120
6.2.4 聚類模型評價 124
6.3 構(gòu)建時間序列模型 126
6.3.1 了解常用的時間序列模型 126
6.3.2 預(yù)處理時間序列 127
6.3.3 分析平穩(wěn)時間序列 128
6.3.4 分析非平穩(wěn)時間序列 131
小結(jié) 140
課后習(xí)題 140
第7章 運輸車輛駕駛行為分析 142
7.1 分析背景與目標(biāo) 142
7.1.1 背景 142
7.1.2 數(shù)據(jù)說明 143
7.1.3 分析目標(biāo) 144
7.2 數(shù)據(jù)探索分析 145
7.2.1 分布分析 145
7.2.2 相關(guān)性分析 146
7.2.3 異常值檢測 147
7.3 駕駛行為聚類分析 149
7.3.1 K-Means聚類 149
7.3.2 層次聚類 152
7.3.3 高斯混合模型聚類 153
7.3.4 譜聚類 154
7.4 構(gòu)建駕駛行為預(yù)測模型 156
7.4.1 構(gòu)建線性判別分析模型 156
7.4.2 構(gòu)建樸素貝葉斯模型 157
7.4.3 構(gòu)建神經(jīng)網(wǎng)絡(luò)模型 159
7.5 駕駛行為分析總結(jié)與建議 160
小結(jié) 160
課后習(xí)題 160
第8章 公交車站點設(shè)置優(yōu)化分析 162
8.1 分析背景與目標(biāo) 162
8.1.1 背景 163
8.1.2 數(shù)據(jù)說明 163
8.1.3 分析目標(biāo) 164
8.2 探索公交刷卡數(shù)據(jù) 165
8.3 預(yù)處理公交車載GPS數(shù)據(jù)與刷卡數(shù)據(jù) 166
8.3.1 屬性規(guī)約 166
8.3.2 缺失值處理 166
8.3.3 數(shù)據(jù)去重 167
8.4 構(gòu)建DBSCAN模型 168
8.5 公交車站點設(shè)置優(yōu)化分析 170
8.5.1 計算上車人數(shù) 170
8.5.2 計算下車人數(shù) 172
8.5.3 結(jié)果分析 176
小結(jié) 177
課后習(xí)題 177
第9章 鐵路站點客流量預(yù)測 179
9.1 分析背景與目標(biāo) 179
9.1.1 背景 179
9.1.2 數(shù)據(jù)說明 180
9.1.3 分析目標(biāo) 180
9.2 預(yù)處理客流量數(shù)據(jù) 181
9.3 探索客流量數(shù)據(jù) 186
9.3.1 不同站點上下車客流量分布分析 186
9.3.2 不同時段上下車客流量分布分析 187
9.3.3 分析節(jié)假日客流量變化 189
9.4 構(gòu)建模型并預(yù)測客流量 192
9.4.1 構(gòu)建時間序列模型 192
9.4.2 預(yù)測非節(jié)假日客流量 195
9.4.3 預(yù)測節(jié)假日客流量 199
小結(jié) 206
課后習(xí)題 207
第 10章 基于TipDM大數(shù)據(jù)挖掘建模平臺實現(xiàn)運輸車輛駕駛行為分析 208
10.1 Tip DM大數(shù)據(jù)挖掘建模平臺簡介 208
10.1.1 模型庫 210
10.1.2 數(shù)據(jù)連接 210
10.1.3 我的數(shù)據(jù) 210
10.1.4 我的工程 211
10.1.5 系統(tǒng)算法 211
10.1.6 個人算法 213
10.2 實現(xiàn)運輸車輛駕駛行為分析 214
10.2.1 數(shù)據(jù)源配置 214
10.2.2 數(shù)據(jù)探索分析 217
10.2.3 駕駛行為聚類分析 222
10.2.4 構(gòu)建駕駛行為預(yù)測模型 230
小結(jié) 236