目　　錄
前　言
第1章　認(rèn)識(shí)大數(shù)據(jù) 1
1.1 信息爆炸 1
1.1.1 大數(shù)據(jù)時(shí)代 1
1.1.2 數(shù)據(jù)、信息與知識(shí) 2
1.1.3 數(shù)據(jù)的來源 3
1.2 大數(shù)據(jù)的概念與特征 4
1.2.1 大數(shù)據(jù)的概念 4
1.2.2 大數(shù)據(jù)的特征 4
1.2.3 大數(shù)據(jù)的類型 5
1.3 大數(shù)據(jù)的技術(shù)架構(gòu)及處理技術(shù) 6
1.3.1 大數(shù)據(jù)的技術(shù)架構(gòu) 6
1.3.2 大數(shù)據(jù)的處理技術(shù) 7
1.4 大數(shù)據(jù)處理的集成平臺(tái) 7
1.5 工業(yè)大數(shù)據(jù) 8
1.5.1 工業(yè)大數(shù)據(jù)及其特征 8
1.5.2 工業(yè)大數(shù)據(jù)技術(shù)及應(yīng)用 9
1.5.3 工業(yè)大數(shù)據(jù)面臨的挑戰(zhàn) 10
本章小結(jié) 12
閱讀材料：啤酒與尿布 12
習(xí)題 12
第2章　大數(shù)據(jù)學(xué)科與職業(yè) 13
2.1 大數(shù)據(jù)學(xué)科 13
2.2 大數(shù)據(jù)專業(yè)人才培養(yǎng)方案 14
2.3 大數(shù)據(jù)職業(yè)道德 16
本章小結(jié) 18
閱讀材料：道格 切特 18
習(xí)題 19
第3章　大數(shù)據(jù)生態(tài)系統(tǒng) 20
3.1 大數(shù)據(jù)生態(tài)系統(tǒng)概述 20
3.2 并行與分布式處理 21
3.2.1 并行處理 21
3.2.2 分布式處理 22
3.3 Hadoop 22
3.3.1 Hadoop概述 22
3.3.2 Hadoop生態(tài)圈 25
3.4 Spark 25
3.4.1 Spark概述 25
3.4.2 Spark生態(tài)圈 26
3.5 Storm 26
3.5.1 Storm概述 27
3.5.2 Storm集群架構(gòu)與工作流程 27
本章小結(jié) 28
閱讀材料：南森 馬茨 28
習(xí)題 29
第4章　大數(shù)據(jù)采集與預(yù)處理 30
4.1 大數(shù)據(jù)采集與預(yù)處理概述 30
4.1.1 大數(shù)據(jù)采集技術(shù) 30
4.1.2 大數(shù)據(jù)預(yù)處理技術(shù) 32
4.2 大數(shù)據(jù)采集方法及工具 33
4.2.1 網(wǎng)絡(luò)數(shù)據(jù)采集方法 33
4.2.2 系統(tǒng)日志采集方法 36
4.2.3 科研數(shù)據(jù)采集方法 40
4.2.4 關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)采集方法 42
4.3 大數(shù)據(jù)預(yù)處理方法及工具 43
4.3.1 數(shù)據(jù)清洗 43
4.3.2 數(shù)據(jù)集成 45
4.3.3 數(shù)據(jù)歸約 46
4.3.4 數(shù)據(jù)變換 49
本章小結(jié) 53
閱讀材料：園中有金 53
習(xí)題 53
第5章　大數(shù)據(jù)存儲(chǔ) 54
5.1 集中式存儲(chǔ)與分布式存儲(chǔ) 54
5.2 非結(jié)構(gòu)化數(shù)據(jù)庫(kù) 55
5.2.1 NewSQL 56
5.2.2 云數(shù)據(jù)庫(kù) 56
5.2.3 HBase 57
5.2.4 MongoDB 58
5.3 數(shù)據(jù)倉(cāng)庫(kù)與OLAP 59
5.3.1 概述 59
5.3.2 基本架構(gòu) 60
5.3.3 典型應(yīng)用 62
本章小結(jié) 62
閱讀材料：盤古系統(tǒng) 63
習(xí)題 63
第6章　大數(shù)據(jù)分析 64
6.1 大數(shù)據(jù)分析與商業(yè)智能 64
6.1.1 大數(shù)據(jù)與大數(shù)據(jù)分析 65
6.1.2 大數(shù)據(jù)分析的種類 66
6.2 大數(shù)據(jù)統(tǒng)計(jì)分析 67
6.2.1 分類問題 68
6.2.2 回歸問題 72
6.2.3 聚類問題 74
6.2.4 人工神經(jīng)網(wǎng)絡(luò) 75
6.2.5 數(shù)據(jù)建模 80
6.3 大數(shù)據(jù)分析的應(yīng)用與挑戰(zhàn) 80
6.3.1 Web挖掘 81
6.3.2 文本挖掘 84
6.3.3 社會(huì)網(wǎng)絡(luò)分析 87
6.3.4 智能制造中的數(shù)據(jù)分析 89
本章小結(jié) 89
閱讀材料：貝葉斯 89
習(xí)題 90
第7章　大數(shù)據(jù)可視化 91
7.1 數(shù)據(jù)可視化概述 91
7.1.1 數(shù)據(jù)可視化的特點(diǎn) 91
7.1.2 數(shù)據(jù)可視化的典型應(yīng)用 92
7.2 數(shù)據(jù)可視化的常用工具 92
7.2.1 Tableau 92
7.2.2 Matplotlib 93
7.2.3 ECharts 94
本章小結(jié) 95
閱讀材料：馬克 扎克伯格 95
習(xí)題 96
第8章　大數(shù)據(jù)技術(shù)的典型應(yīng)用 97
8.1 案例一：大型工業(yè)設(shè)備實(shí)時(shí)監(jiān)
測(cè)系統(tǒng) 97
8.1.1 集群部署與配置 97
8.1.2 數(shù)據(jù)表結(jié)構(gòu) 101
8.2 案例二：基于MapReduce的
薪資核算 102
參考文獻(xiàn) 107