數(shù)據(jù)科學家是目前熱門的職業(yè)之一。本書全面介紹了成為合格數(shù)據(jù)科學家所需的知識、技能和工作流程,是一本內(nèi)容全面的實用性技術(shù)圖書。
本書分為13章,其中第1~3章介紹數(shù)據(jù)科學;第4~8章介紹數(shù)學知識,包括統(tǒng)計學和概率論;第9章介紹數(shù)據(jù)可視化;第10~12章介紹機器學習;第13章介紹案例。各個章節(jié)內(nèi)容均由淺入深,同時通過案例和Python代碼,使讀者掌握實戰(zhàn)技能。
本書適合有志于成為數(shù)據(jù)科學家的師生或業(yè)界新手,同時也適合經(jīng)驗豐富的職場老手參考。
《深入淺出數(shù)據(jù)科學》的目的是幫助你掌握數(shù)學、編程和商業(yè)分析的綜合技能。通過本書,你將能夠自信地提出并解答復雜的數(shù)據(jù)問題,從抽象和原始的統(tǒng)計信息發(fā)掘并完善可執(zhí)行的想法。通過將數(shù)學和計算機編程技能相結(jié)合,你將踏上成為數(shù)據(jù)科學家的激動人心的旅程。
本書介紹了數(shù)據(jù)科學的全過程,包括數(shù)據(jù)準備、數(shù)據(jù)清洗,以及如何選擇有效的數(shù)據(jù)挖掘策略和技巧,從而深入理解數(shù)據(jù)科學的方方面面。你將學到數(shù)學和統(tǒng)計學的核心知識,以及數(shù)據(jù)科學家和分析師經(jīng)常使用的代碼。你將了解機器學習,學會用常見的統(tǒng)計學模型分析稠密數(shù)據(jù)集,創(chuàng)建有說服力的可視化圖表,并和他人交流分析結(jié)果。
從本書你將學習到:
·理解數(shù)據(jù)科學的五個核心步驟
·聰明地使用你的數(shù)據(jù),仔細地處理它
·填平數(shù)學和計算機編程之間的鴻溝
·學會概率論、微積分,以及使用統(tǒng)計模型處理數(shù)據(jù),得出切實有效的結(jié)果
·生成并評估簡單的機器學習模型
·通過分析模型有效性指標,決定機器學習模型的質(zhì)量
·通過數(shù)據(jù)可視化向他人分享見解
·理解機器學習模型,并使用機器學習模型進行預測,解決自己的問題
作者簡介
Sinan Ozdemir是一名數(shù)據(jù)科學家、創(chuàng)業(yè)者和教育工作者。Sinan的學術(shù)生涯在約翰?霍普金斯大學(The Johns Hopkins University)渡過,主修數(shù)學專業(yè)。隨后他從事教育事業(yè),曾經(jīng)在約翰?霍普金斯大學和General Assembly公司舉辦多次數(shù)據(jù)科學講座。在此之后,他創(chuàng)立了旨在通過人工智能技術(shù)和數(shù)據(jù)科學力量幫助企業(yè)銷售團隊的創(chuàng)業(yè)公司Legion Analytics。
譯者簡介
張星辰,北京榮之聯(lián)科技股份有限公司BI 技術(shù)顧問,畢業(yè)于重慶郵電大學,具有5年數(shù)據(jù)相關(guān)工作經(jīng)驗,熟悉商業(yè)智能和數(shù)據(jù)可視化,通過了微軟數(shù)據(jù)科學專業(yè)認證。
中文版審校人
鮮思東,重慶郵電大學教授,碩士生導師,復雜系統(tǒng)智能分析與決策重慶市高校重點實驗室副主任,中國商業(yè)統(tǒng)計學會理事。現(xiàn)任國際期刊《Advancements in Case Studies》編輯,擔任《Knowledge-Based Systems》和《IEEE Transactions on Systems、Man and Cybernetics: Systems》等多個國際期刊的審稿人。
洪賢斌,西交利物浦大學、英國利物浦大學機器學習方向博士生,蘇州谷歌開fa者社區(qū)組織者。
第 1章 如何聽起來像數(shù)據(jù)科學家1
1.1 什么是數(shù)據(jù)科學 3
1.1.1 基本的專業(yè)術(shù)語 3
1.1.2 為什么是數(shù)據(jù)科學 4
1.1.3 案例:西格瑪科技公司 4
1.2 數(shù)據(jù)科學韋恩圖 5
1.2.1 數(shù)學 7
1.2.2 計算機編程 8
1.2.3 為什么是Python 9
1.2.4 領(lǐng)域知識 13
1.3 更多的專業(yè)術(shù)語 14
1.4 數(shù)據(jù)科學案例 15
1.4.1 案例:自動審核政府文件 16
1.4.2 案例:市場營銷費用 17
1.4.3 案例:數(shù)據(jù)科學家的崗位描述 18
1.5 總結(jié) 21
第 2章 數(shù)據(jù)的類型 23
2.1 數(shù)據(jù)的味道 23
2.2 為什么要進行區(qū)分 24
2.3 結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 24
2.4 定量數(shù)據(jù)和定性數(shù)據(jù) 28
2.4.1 案例:咖啡店數(shù)據(jù) 28
2.4.2 案例:世界酒精消費量 30
2.4.3 更深入的研究 32
2.5 簡單小結(jié) 33
2.6 數(shù)據(jù)的4個尺度 33
2.6.1 定類尺度 34
2.6.2 定序尺度 35
2.6.3 定距尺度 37
2.6.4 定比尺度 41
2.7 數(shù)據(jù)是旁觀者的眼睛 42
2.8 總結(jié) 43
第3章 數(shù)據(jù)科學的5個步驟 44
3.1 數(shù)據(jù)科學簡介 44
3.2 5個步驟概覽 45
3.2.1 提出有意思的問題 45
3.2.2 獲取數(shù)據(jù) 45
3.2.3 探索數(shù)據(jù) 45
3.2.4 數(shù)據(jù)建!46
3.2.5 可視化和分享結(jié)果 46
3.3 探索數(shù)據(jù) 46
3.3.1 數(shù)據(jù)探索的基本問題 47
3.3.2 數(shù)據(jù)集1:Yelp點評數(shù)據(jù) 48
3.3.3 數(shù)據(jù)集2:泰坦尼克 56
3.4 總結(jié) 60
第4章 基本的數(shù)學知識 61
4.1 數(shù)學學科 61
4.2 基本的數(shù)學符號和術(shù)語 62
4.2.1 向量和矩陣 62
4.2.2 算術(shù)符號 65
4.2.3 圖表 68
4.2.4 指數(shù)/對數(shù) 69
4.2.5 集合論 71
4.3 線性代數(shù) 74
4.4 總結(jié) 78
第5章 概率論入門:不可能,還是不太可能 79
5.1 基本的定義 79
5.2 概率 80
5.3 貝葉斯VS頻率論 81
5.4 復合事件 84
5.5 條件概率 86
5.6 概率定理 87
5.6.1 加法定理 87
5.6.2 互斥性 88
5.6.3 乘法定理 88
5.6.4 獨立性 89
5.6.5 互補事件 89
5.7 再進一步 91
5.8 總結(jié) 92
第6章 高等概率論 93
6.1 互補事件 93
6.2 重溫貝葉斯思想 94
6.2.1 貝葉斯定理 94
6.2.2 貝葉斯定理的更多應用 97
6.3 隨機變量 100
6.3.1 離散型隨機變量 101
6.3.2 連續(xù)型隨機變量 110
6.4 總結(jié) 113
第7章 統(tǒng)計學入門 114
7.1 什么是統(tǒng)計學 114
7.2 如何獲取數(shù)據(jù) 115
7.3 數(shù)據(jù)抽樣 118
7.3.1 概率抽樣 118
7.3.2 隨機抽樣 119
7.3.3 不等概率抽樣 120
7.4 如何描述統(tǒng)計量 120
7.4.1 測度中心 120
7.4.2 變異測度 121
7.4.3 變異系數(shù) 125
7.4.4 相對位置測度 126
7.5 經(jīng)驗法則 132
7.6 總結(jié) 134
第8章 高等統(tǒng)計學 135
8.1 點估計 135
8.2 抽樣分布 139
8.3 置信區(qū)間 142
8.4 假設(shè)檢驗 145
8.4.1 實施假設(shè)檢驗 146
8.4.2 單樣本t檢驗 147
8.4.3 I型錯誤和II型錯誤 151
8.4.4 分類變量的假設(shè)檢驗 151
8.5 總結(jié) 155
第9章 交流數(shù)據(jù) 156
9.1 為什么交流數(shù)據(jù)很重要 156
9.2 識別有效和無效的可視化 157
9.2.1 散點圖 157
9.2.2 折線圖 159
9.2.3 條形圖 160
9.2.4 直方圖 162
9.2.5 箱形圖 163
9.3 當圖表和統(tǒng)計在說謊 166
9.3.1 相關(guān)性VS因果關(guān)系 166
9.3.2 辛普森悖論 168
9.3.3 如果相關(guān)性不等于因果關(guān)系,那什么導致了因果關(guān)系 169
9.4 語言交流 170
9.4.1 關(guān)鍵在于講故事 170
9.4.2 正式場合的注意事項 170
9.5 為什么演示、如何演示和演示策略 171
9.6 總結(jié) 172
第 10章 機器學習精要:你的烤箱在學習嗎 173
10.1 什么是機器學習 173
10.2 機器學習并不完美 175
10.3 機器學習如何工作 176
10.4 機器學習的分類 176
10.4.1 監(jiān)督學習 177
10.4.2 無監(jiān)督學習 182
10.4.3 強化學習 183
10.5 統(tǒng)計模型如何納入以上分類 186
10.6 線性回歸 186
10.6.1 增加更多預測因子 191
10.6.2 回歸指標 193
10.7 Logistic回歸 199
10.8 概率、幾率和對數(shù)幾率 201
10.9 啞變量 206
10.10 總結(jié) 210
第 11章 樹上無預言,真的嗎 212
11.1 樸素貝葉斯分類 212
11.2 決策樹 220
11.2.1 計算機如何生成回歸樹 221
11.2.2 計算機如何擬合分類樹 222
11.3 無監(jiān)督學習 226
11.3.1 無監(jiān)督學習的使用場景 226
11.3.2 K均值聚類 227
11.3.3 如何選擇最佳的K值,并對簇進行評價 233
11.4 特征提取和主成分分析 235
11.5 總結(jié) 246
第 12章 超越精要 247
12.1 偏差-方差權(quán)衡 247
12.1.1 偏差導致的誤差 248
12.1.2 方差導致的誤差 248
12.1.3 兩種極端的偏差-方差權(quán)衡情況 255
12.1.4 偏差-方差如何組成誤差函數(shù) 256
12.2 K層交叉驗證 257
12.3 網(wǎng)格搜索算法 261
12.4 集成技術(shù) 266
12.4.1 隨機森林 268
12.4.2 隨機森林VS決策樹 273
12.5 神經(jīng)網(wǎng)絡(luò) 274
12.6 總結(jié) 279
第 13章 案例 280
13.1 案例1:基于社交媒體預測股票價格 280
13.1.1 文本情感分析 280
13.1.2 探索性數(shù)據(jù)分析 281
13.1.3 超越案例 294
13.2 案例2:為什么有些人會對配偶撒謊 295
13.3 案例3:初試TensorFlow 301
13.4 總結(jié) 311