本書全面介紹與大數(shù)據(jù)和人工智能相關(guān)的數(shù)據(jù)采集、數(shù)據(jù)存儲、并行計算等技術(shù)體系，以及Python編程基礎(chǔ)、數(shù)據(jù)處理分析和可視化、機器學(xué)習(xí)算法和深度學(xué)習(xí)模型的原理與應(yīng)用。 全書共分4部分：第1部分（第1章）為大數(shù)據(jù)基礎(chǔ)，主要介紹與大數(shù)據(jù)應(yīng)用相關(guān)的數(shù)據(jù)采集、數(shù)據(jù)存儲、并行計算等技術(shù)體系；第2部分（第2章）為Python編程基礎(chǔ)，主要介紹Python的基本語法，為讀者學(xué)習(xí)后續(xù)的數(shù)據(jù)處理分析、可視化、機器學(xué)習(xí)算法和深度學(xué)習(xí)模型等內(nèi)容提供基礎(chǔ)知識；第3部分（第3、4章）為數(shù)據(jù)處理分析和可視化，主要介紹基于Pandas的數(shù)據(jù)處理分析方法和基于Matplotlib的數(shù)據(jù)可視化方法；第4部分（第5～9章）為機器學(xué)習(xí)和深度學(xué)習(xí)，其中，第5～8章主要介紹回歸、聚類、分類等機器學(xué)習(xí)算法及應(yīng)用，第9章主要介紹深度學(xué)習(xí)模型及建模應(yīng)用。各章都有配套的思考題、自測習(xí)題和教學(xué)視頻等資源。 本書適合作為高等學(xué)校數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、計算機科學(xué)與技術(shù)、網(wǎng)絡(luò)工程、軟件工程、物聯(lián)網(wǎng)工程等專業(yè)的大數(shù)據(jù)導(dǎo)論、Python編程技術(shù)、數(shù)據(jù)處理及可視化、Python數(shù)據(jù)科學(xué)導(dǎo)引以及機器學(xué)習(xí)等課程的教材，也可作為IT開發(fā)人員、非計算機專業(yè)師生和科研工作者的參考書。

本書詳細(xì)介紹大數(shù)據(jù)技術(shù)體系和Python編程基礎(chǔ)知識、數(shù)據(jù)處理分析、可視化方法和機器學(xué)習(xí)算法、深度學(xué)習(xí)模型等理論和應(yīng)用知識，可作為本科通識教材，也可作為計算機科學(xué)和大數(shù)據(jù)等專業(yè)的數(shù)據(jù)處理及可視化、機器學(xué)習(xí)教材。

大數(shù)據(jù)和人工智能已經(jīng)成為信息技術(shù)發(fā)展的新動能，圍繞大數(shù)據(jù)和人工智能的創(chuàng)新層出不窮。究其根本，所有新思路和新技術(shù)都離不開高質(zhì)量的數(shù)據(jù)，因此與數(shù)據(jù)相關(guān)的大數(shù)據(jù)技術(shù)體系，如數(shù)據(jù)采集、數(shù)據(jù)存儲、并行計算、數(shù)據(jù)處理分析、編程工具Python、數(shù)據(jù)處理分析工具Pandas、數(shù)據(jù)可視化工具M(jìn)atplotlib，以及與人工智能相關(guān)的機器學(xué)習(xí)算法和深度學(xué)習(xí)模型等，已成為學(xué)習(xí)大數(shù)據(jù)、人工智能的知識�；�于這種現(xiàn)狀，本書將上述知識按照逐層深入的思路進(jìn)行整合，使之成為一條有機的階梯式遞進(jìn)學(xué)習(xí)鏈，幫助讀者從基礎(chǔ)知識到應(yīng)用實踐一步步構(gòu)建大數(shù)據(jù)和人工智能應(yīng)用的知識體系。
本書以IT企業(yè)對從業(yè)人員技術(shù)能力要求為出發(fā)點，以工程實踐能力培養(yǎng)為目標(biāo)，按照工程需求組織內(nèi)容，便于讀者學(xué)習(xí)和掌握。本書既可以作為高校計算機類專業(yè)各層次的教材，還可以作為IT開發(fā)人員、非計算機專業(yè)師生和科研工作者的參考書。
本書具有以下特點：
（1） 知識覆蓋面廣，技術(shù)體系完整。本書涵蓋大數(shù)據(jù)技術(shù)體系、Python編程基礎(chǔ)知識、數(shù)據(jù)處理分析和可視化方法以及機器學(xué)習(xí)算法和深度學(xué)習(xí)模型等基礎(chǔ)理論和相關(guān)應(yīng)用知識。
（2） 理論和實踐相結(jié)合。本書運用豐富的實踐案例幫助讀者理解相關(guān)原理和理論，同時用詳細(xì)的操作步驟和直觀的運行結(jié)果展示其背后的規(guī)則和算法，避免單調(diào)的理論敘述，易教易學(xué)。
（3） 配套資源豐富。本書提供配套的課件、例題案例、自測習(xí)題和各知識點的教學(xué)視頻，適合線上線下混合式教學(xué)。
本書由高靜、申志軍、姜新華、陳俊杰、謝聰嬌、左東石、劉敏、白潔和劉振羽等共同編寫。其中，高靜和劉振羽共同編寫了第1章，白潔編寫了第2章，申志軍編寫了第3、4章，劉敏編寫了第5章，謝聰嬌編寫了第6章，姜新華編寫了第7章，左東石編寫了第8章，陳俊杰編寫了第9章，全書由高靜教授統(tǒng)稿。在編寫過程中，參閱了Python、Pandas、Matplotlib和PyTorch的官網(wǎng)及中文社區(qū)，也吸取了國內(nèi)外教材的精髓，在此對這些作者的貢獻(xiàn)表示由衷的感謝。本書在出版過程中還得到了清華大學(xué)出版社張玥編輯的大力支持，在此向她表示誠摯的感謝。限于作者水平，書中難免有不妥和疏漏之處，懇請各位專家、同仁和讀者不吝賜教，并與編者討論，編者的郵箱是shensljx@sina.com。

編者
2022年4月

高靜博士，院長、博士生導(dǎo)師，致力于大數(shù)據(jù)和人工智能在農(nóng)牧業(yè)等領(lǐng)域的應(yīng)用研究。自治區(qū)新世紀(jì)321人才工程層次，內(nèi)蒙古自治區(qū)農(nóng)牧業(yè)大數(shù)據(jù)研究與應(yīng)用重點實驗室主任，內(nèi)蒙古自治區(qū)數(shù)據(jù)科學(xué)與大數(shù)據(jù)學(xué)會副會長。主持完成國家自然科學(xué)基金、國家科技重大專項等國家、省部級項目7項；出版譯著5部，發(fā)表論文45篇，獲得授權(quán)發(fā)明專利5項，登記軟件著作權(quán)10項，科研成果獲內(nèi)蒙古自治區(qū)科技進(jìn)步一等獎和二等獎各1項。

第1章數(shù)據(jù)與大數(shù)據(jù)導(dǎo)論1
1.1大數(shù)據(jù)概述1
1.1.1大數(shù)據(jù)的來源1
1.1.2大數(shù)據(jù)的定義和特征3
1.1.3數(shù)據(jù)結(jié)構(gòu)類型4
1.1.4數(shù)據(jù)分析流程5
1.2大數(shù)據(jù)采集和預(yù)處理6
1.2.1大數(shù)據(jù)采集設(shè)備6
1.2.2大數(shù)據(jù)采集方法7
1.2.3大數(shù)據(jù)預(yù)處理技術(shù)7
1.3大數(shù)據(jù)的存儲20
1.3.1數(shù)據(jù)存儲設(shè)備20
1.3.2傳統(tǒng)大數(shù)據(jù)存儲22
1.3.3數(shù)據(jù)中心與云存儲23
1.3.4大數(shù)據(jù)存儲26
1.3.5數(shù)據(jù)倉庫31
1.4云計算與大數(shù)據(jù)并行計算32
1.4.1云計算與云計算平臺32
1.4.2MapReduce計算模型35
1.4.3Hadoop36
1.4.4Spark37
1.5大數(shù)據(jù)分析38
1.5.1大數(shù)據(jù)分析概念38
1.5.2大數(shù)據(jù)分析方法39
1.5.3機器學(xué)習(xí)與特征選擇42
1.5.4機器學(xué)習(xí)算法45
1.5.5深度學(xué)習(xí)算法47
1.6大數(shù)據(jù)可視化51
1.6.1數(shù)據(jù)可視化概述51
1.6.2數(shù)據(jù)可視化技術(shù)51
1.6.3數(shù)據(jù)可視化工具54
1.6.4數(shù)據(jù)可視化案例56
1.7大數(shù)據(jù)應(yīng)用及挑戰(zhàn)58
1.7.1大數(shù)據(jù)應(yīng)用58
1.7.2大數(shù)據(jù)帶來的挑戰(zhàn)60
思考題61第2章Python基礎(chǔ)62
2.1Python編程環(huán)境62
2.1.1Anaconda概述62
2.1.2Anaconda的安裝63
2.1.3Anaconda的包管理63
2.1.4運行Python代碼或程序64
2.2變量和內(nèi)置數(shù)據(jù)類型66
2.2.1變量和變量賦值66
2.2.2內(nèi)置數(shù)據(jù)類型68
2.2.3運算符69
2.2.4注釋和編碼規(guī)范70
2.3列表、元組和字典70
2.3.1列表70
2.3.2元組79
2.3.3字典81
2.4選擇和循環(huán)86
2.4.1選擇結(jié)構(gòu)86
2.4.2for循環(huán)89
2.4.3while循環(huán)90
2.5函數(shù)和模塊92
2.5.1函數(shù)的定義和使用92
2.5.2模塊導(dǎo)入101
2.6文件操作101
2.6.1文件操作基礎(chǔ)101
2.6.2CSV文件操作103
2.6.3JSON文件操作105第3章Pandas數(shù)據(jù)處理和分析107
3.1Pandas基礎(chǔ)107
3.1.1Pandas簡介107
3.1.2Series108
3.1.3DataFrame114
3.2文件讀寫122
3.2.1讀寫CSV文件123
3.2.2讀寫Excel文件125
3.3數(shù)據(jù)清洗126
3.3.1缺失值處理126
3.3.2重復(fù)值處理131
3.3.3異常值處理133
3.4數(shù)據(jù)操作135
3.4.1常規(guī)運算135
3.4.2統(tǒng)計139
3.4.3排序142
3.5索引操作143
3.5.1索引重命名143
3.5.2索引設(shè)置144
3.5.3重新索引147
3.5.4索引排序149
3.6合并150
3.6.1concat()150
3.6.2merge()152
3.6.3join()155
3.7分組156
3.7.1groupby()156
3.7.2聚合操作159
3.7.3過濾與變換160
3.7.4apply()161
3.8變形162
3.8.1透視162
3.8.2啞變量與因子化164
3.8.3其他變形方法168
思考題171第4章Matplotlib數(shù)據(jù)可視化173
4.1Matplotlib的安裝和導(dǎo)入173
4.2繪制折線圖174
4.2.1導(dǎo)入數(shù)據(jù)174
4.2.2繪制圖表174
4.2.3增加基本修飾175
4.3圖表修飾176
4.3.1標(biāo)題176
4.3.2坐標(biāo)軸標(biāo)簽177
4.3.3坐標(biāo)軸刻度177
4.3.4圖例178
4.3.5線條和標(biāo)記178
4.3.6網(wǎng)格線180
4.3.7注釋180
4.4繪制條形圖183
4.4.1垂直條形圖183
4.4.2水平條形圖184
4.4.3組合條形圖表186
4.5繪制餅圖和環(huán)圖187
4.5.1餅圖187
4.5.2環(huán)圖189
4.6繪制散點圖和泡圖190
4.6.1散點圖190
4.6.2氣泡圖191
4.7繪制雷達(dá)圖、組合雷達(dá)圖、極坐標(biāo)散點圖和極坐標(biāo)條形圖191
4.7.1雷達(dá)圖191
4.7.2組合雷達(dá)圖195
4.7.3極坐標(biāo)散點圖196
4.7.4極坐標(biāo)條形圖197
4.8繪制箱線圖198
4.9多子圖布局200
4.10樣式選擇202
思考題204第5章回歸模型原理與應(yīng)用205
5.1線性回歸模型205
5.1.1回歸分析的含義205
5.1.2線性回歸模型的形式206
5.1.3線性回歸方程參數(shù)求解207
5.1.4線性回歸方程選擇209
5.1.5線性回歸方程預(yù)測214
5.2非線性回歸模型215
5.2.1可轉(zhuǎn)換為線性回歸模型的非線性回歸模型215
5.2.2非線性回歸模型216
5.3線性回歸模型實踐案例216
思考題228第6章聚類分析231
6.1聚類分析概述231
6.2聚類分析中的相似度計算方法232
6.2.1歐幾里得距離232
6.2.2曼哈頓距離232
6.2.3余弦相似度232
6.2.4切比雪夫距離232
6.2.5閔可夫斯基距離233
6.3劃分聚類算法233
6.3.1k�瞞eans聚類算法233
6.3.2k�瞞eans 算法235
6.3.3k�瞞edoids算法237
6.3.4肘法237
6.3.5輪廓系數(shù)238
6.4層次聚類算法242
6.5基于密度的聚類算法246
6.5.1DBSCAN算法246
6.5.2均值漂移聚類算法248
6.6聚類算法的評價指標(biāo)249
6.6.1內(nèi)部質(zhì)量評價標(biāo)準(zhǔn)250
6.6.2外部質(zhì)量評價標(biāo)準(zhǔn)252
6.7聚類分析應(yīng)用案例254
6.7.1非球形數(shù)據(jù)分布聚類分析254
6.7.2手寫體數(shù)字聚類分析257
6.7.3鳶尾花數(shù)據(jù)集聚類分析259
思考題263第7章分類模型264
7.1邏輯斯諦回歸分類模型264
7.1.1邏輯斯諦回歸模型簡介264
7.1.2損失函數(shù)265
7.1.3損失函數(shù)求解方法266
7.1.4邏輯斯諦回歸分類應(yīng)用實例267
7.2決策樹分類模型268
7.2.1特征選擇268
7.2.2決策樹構(gòu)建269
7.2.3決策樹剪枝270
7.2.4決策樹分類應(yīng)用實例270
7.3樸素貝葉斯分類模型272
7.3.1樸素貝葉斯分類模型原理272
7.3.2樸素貝葉斯分類模型參數(shù)估計273
7.3.3貝葉斯分類應(yīng)用實例274
7.4支持向量機分類模型275
7.4.1SVM分類模型原理275
7.4.2損失函數(shù)275
7.4.3經(jīng)驗風(fēng)險與結(jié)構(gòu)風(fēng)險276
7.4.4標(biāo)準(zhǔn)算法277
7.4.5算法求解278
7.4.6支持向量機分類應(yīng)用實例279
7.5綜合案例應(yīng)用280
7.5.1讀取數(shù)據(jù)文件281
7.5.2數(shù)據(jù)清洗282
7.5.3數(shù)據(jù)分析284
思考題291第8章集成學(xué)習(xí)293
8.1概述293
8.2序列集成方法294
8.2.1Boosting集成方法294
8.2.2AdaBoost集成方法295
8.3并行集成方法297
8.3.1Bagging集成方法297
8.3.2隨機森林集成方法298
8.4組合策略299
8.4.1平均法299
8.4.2投票法300
8.4.3學(xué)習(xí)法300
8.5集成學(xué)習(xí)應(yīng)用案例301
8.5.1集成學(xué)習(xí)用于分類任務(wù)301
8.5.2集成學(xué)習(xí)用于回歸任務(wù)302
思考題304第9章深度學(xué)習(xí)305
9.1神經(jīng)網(wǎng)絡(luò)與多層感知機305
9.1.1神經(jīng)元306
9.1.2激活函數(shù)306
9.1.3多層感知機307
9.1.4神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)309
9.2卷積神經(jīng)網(wǎng)絡(luò)309
9.2.1卷積層309
9.2.2池化層312
9.2.3全連接層313
9.3循環(huán)神經(jīng)網(wǎng)絡(luò)313
9.3.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)313
9.3.2雙向循環(huán)神經(jīng)網(wǎng)絡(luò)314
9.3.3其他類型的循環(huán)神經(jīng)網(wǎng)絡(luò)314
9.4深度學(xué)習(xí)模型的優(yōu)化316
9.4.1初始化參數(shù)優(yōu)化316
9.4.2逐層歸一化316
9.4.3超參數(shù)優(yōu)化317
9.4.4優(yōu)化算法317
9.5深度學(xué)習(xí)應(yīng)用案例318
9.5.1PyTorch的基本用法318
9.5.2PyTorch中的神經(jīng)網(wǎng)絡(luò)層321
9.5.3PyTorch神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程325
9.5.4深度學(xué)習(xí)模型實例325
思考題331參考文獻(xiàn)332