項(xiàng)目1　廣告流量檢測(cè)違規(guī)識(shí)別流程分析　1

【教學(xué)目標(biāo)】　1

【思維導(dǎo)圖】　1

【項(xiàng)目背景】　2

【項(xiàng)目目標(biāo)】　2

【目標(biāo)分析】　2

【知識(shí)準(zhǔn)備】　2

一、認(rèn)識(shí)大數(shù)據(jù)　2

（一）大數(shù)據(jù)的概念　3

（二）大數(shù)據(jù)的特征　3

二、認(rèn)識(shí)大數(shù)據(jù)分析　4

（一）大數(shù)據(jù)分析的概念　4

（二）大數(shù)據(jù)分析的流程　5

（三）大數(shù)據(jù)分析的工具　6

【項(xiàng)目實(shí)施】　7

任務(wù)一　了解正常的廣告投放流程　7

任務(wù)二　了解廣告流量違規(guī)現(xiàn)狀　8

任務(wù)三　了解廣告流量常見(jiàn)違規(guī)方式　9

任務(wù)四　了解識(shí)別虛假流量的常見(jiàn)維度　9

（一）基本屬性　9

（二）產(chǎn)品參與度　10

任務(wù)五　廣告流量檢測(cè)違規(guī)識(shí)別流程分析　11

【項(xiàng)目總結(jié)】　12

項(xiàng)目2　Spark大數(shù)據(jù)環(huán)境安裝搭建　13

【教學(xué)目標(biāo)】　13

【思維導(dǎo)圖】　13

【項(xiàng)目背景】　14

【項(xiàng)目目標(biāo)】　14

【目標(biāo)分析】　14

【知識(shí)準(zhǔn)備】　14

一、Hadoop大數(shù)據(jù)框架　14

（一）Hadoop簡(jiǎn)介　14

（二）Hadoop的發(fā)展歷程　15

（三）Hadoop的特點(diǎn)　16

（四）Hadoop生態(tài)系統(tǒng)　16

（五）Hadoop的應(yīng)用場(chǎng)景　17

二、Hive數(shù)據(jù)倉(cāng)庫(kù)工具　18

（一）Hive簡(jiǎn)介　18

（二）Hive的特點(diǎn)　18

（三）Hive的應(yīng)用場(chǎng)景　19

（四）Hive與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別　19

三、Spark分布式計(jì)算框架　20

（一）Spark簡(jiǎn)介　20

（二）Spark的發(fā)展歷程　21

（三）Spark的特點(diǎn)　21

（四）Spark生態(tài)系統(tǒng)　23

（五）Spark的應(yīng)用場(chǎng)景　24

【項(xiàng)目實(shí)施】　24

任務(wù)一　安裝搭建Hadoop集群　24

（一）創(chuàng)建Linux虛擬機(jī)　26

（二）設(shè)置固定IP地址　31

（三）遠(yuǎn)程連接虛擬機(jī)　33

（四）配置本地yum源及安裝常用軟件　36

（五）在Linux系統(tǒng)下安裝Java　40

（六）修改配置文件　41

（七）克隆虛擬機(jī)　45

（八）配置SSH免密登錄　48

（九）配置時(shí)間同步服務(wù)　49

（十）添加地址映射　52

（十一）啟動(dòng)關(guān)閉集群　52

任務(wù)二　安裝搭建Hive　54

（一）安裝MySQL　54

（二）下載和安裝Hive　59

（三）修改Hive配置文件　59

（四）設(shè)置環(huán)境變量　60

（五）初始化元數(shù)據(jù)庫(kù)與啟動(dòng)Hive　61

任務(wù)三　安裝搭建Spark集群　62

（一）解壓并配置Spark集群　62

（二）啟動(dòng)Spark集群　63

（三）查看Spark監(jiān)控服務(wù)　64

【項(xiàng)目總結(jié)】　65

【技能拓展】　65

【知識(shí)測(cè)試】　66

【技能測(cè)試】　67

測(cè)試　修改master虛擬機(jī)的IP地址　67

項(xiàng)目3　基于Hive實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)存儲(chǔ)　69

【教學(xué)目標(biāo)】　69

【思維導(dǎo)圖】　70

【項(xiàng)目背景】　70

【項(xiàng)目目標(biāo)】　71

【目標(biāo)分析】　71

【知識(shí)準(zhǔn)備】　71

一、了解Hive中的數(shù)據(jù)類(lèi)型　71

二、創(chuàng)建與管理數(shù)據(jù)庫(kù)　72

（一）創(chuàng)建數(shù)據(jù)庫(kù)語(yǔ)法格式　72

（二）刪除數(shù)據(jù)庫(kù)語(yǔ)法格式　73

（三）更改數(shù)據(jù)庫(kù)語(yǔ)法格式　74

（四）使用數(shù)據(jù)庫(kù)語(yǔ)法格式　74

三、創(chuàng)建表　74

（一）創(chuàng)建內(nèi)部表　76

（二）創(chuàng)建外部表　77

（三）創(chuàng)建分區(qū)表　79

（四）創(chuàng)建桶表　79

四、修改表　80

五、導(dǎo)入數(shù)據(jù)至Hive表　83

（一）將文件系統(tǒng)中的數(shù)據(jù)導(dǎo)入Hive表　83

（二）通過(guò)查詢(xún)語(yǔ)句向表中插入數(shù)據(jù)　84

六、導(dǎo)出Hive表中的數(shù)據(jù)　87

（一）將Hive表中的數(shù)據(jù)導(dǎo)出至本地文件系統(tǒng)　87

（二）將Hive表中的數(shù)據(jù)導(dǎo)出至HDFS　87

【項(xiàng)目實(shí)施】　88

任務(wù)一　創(chuàng)建數(shù)據(jù)表　88

（一）數(shù)據(jù)字段說(shuō)明　88

（二）創(chuàng)建Hive表　89

任務(wù)二　導(dǎo)入數(shù)據(jù)至Hive表　92

【項(xiàng)目總結(jié)】　93

【技能拓展】　93

【知識(shí)測(cè)試】　95

【技能測(cè)試】　96

測(cè)試　某連鎖咖啡店經(jīng)營(yíng)情況數(shù)據(jù)存儲(chǔ)　96

項(xiàng)目4　基于Spark SQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)探索分析　98

【教學(xué)目標(biāo)】　98

【思維導(dǎo)圖】　99

【項(xiàng)目背景】　99

【項(xiàng)目目標(biāo)】　99

【目標(biāo)分析】　100

【知識(shí)準(zhǔn)備】　100

一、認(rèn)識(shí)Spark　SQL框架　100

（一）Spark　SQL簡(jiǎn)介　100

（二）配置Spark　SQL CLI　102

（三）Spark　SQL與Shell交互　103

二、創(chuàng)建DataFrame對(duì)象　103

（一）通過(guò)結(jié)構(gòu)化數(shù)據(jù)文件創(chuàng)建DataFrame　104

（二）通過(guò)外部數(shù)據(jù)庫(kù)創(chuàng)建DataFrame　105

（三）通過(guò)RDD創(chuàng)建DataFrame　105

（四）通過(guò)Hive表創(chuàng)建DataFrame　106

三、查看DataFrame數(shù)據(jù)　107

（一）printSchema()：輸出數(shù)據(jù)模式　108

（二）show()：查看數(shù)據(jù)　108

（三）first()、head()、take()、takeAsList()：獲取若干行記錄　109

四、掌握DataFrame行列表查詢(xún)操作　110

（一）條件查詢(xún)　111

（二）查詢(xún)指定字段的數(shù)據(jù)信息　111

（三）查詢(xún)指定行數(shù)的數(shù)據(jù)　113

（四）排序查詢(xún)　114

（五）分組查詢(xún)　115

【項(xiàng)目實(shí)施】　116

任務(wù)一　讀取數(shù)據(jù)創(chuàng)建DataFrame對(duì)象　116

任務(wù)二　簡(jiǎn)單查詢(xún)DataFrame數(shù)據(jù)　116

（一）查詢(xún)數(shù)據(jù)記錄數(shù)　116

（二）查詢(xún)數(shù)據(jù)缺失值　117

任務(wù)三　探索分析日流量特征　119

任務(wù)四　探索分析IP地址的訪問(wèn)次數(shù)特征　120

任務(wù)五　探索分析虛假流量數(shù)據(jù)特征　120

【項(xiàng)目總結(jié)】　124

【技能拓展】　124

【知識(shí)測(cè)試】　125

【技能測(cè)試】　126

測(cè)試1　使用DataFrame查詢(xún)操作分析員工基本信息　126

測(cè)試2　使用DataFrame查詢(xún)操作分析圖書(shū)信息　127

項(xiàng)目5　基于Spark SQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)預(yù)處理　129

【教學(xué)目標(biāo)】　129

【思維導(dǎo)圖】　130

【項(xiàng)目背景】　130

【項(xiàng)目目標(biāo)】　130

【目標(biāo)分析】　130

【知識(shí)準(zhǔn)備】　131

一、掌握DataFrame行列表增、刪操作　131

（一）新增數(shù)據(jù)列　131

（二）刪除數(shù)據(jù)列　132

二、創(chuàng)建與使用用戶自定義函數(shù)　133

三、掌握DataFrame表聯(lián)合操作　135

（一）5種join()方法　135

（二）根據(jù)特定字段進(jìn)行表聯(lián)合操作　136

（三）指定類(lèi)型進(jìn)行表聯(lián)合操作　137

（四）使用Column類(lèi)型進(jìn)行表聯(lián)合操作　137

四、掌握DataFrame行列表輸出操作　138

（一）保存為文件　138

（二）保存為持久化的表　139

【項(xiàng)目實(shí)施】　140

任務(wù)一　使用drop語(yǔ)句刪除數(shù)據(jù)　140

任務(wù)二　自定義函數(shù)構(gòu)建關(guān)鍵特征　140

（一）劃分時(shí)間區(qū)間　141

（二）構(gòu)建關(guān)鍵特征并保存至Hive表中　142

任務(wù)三　保存DataFrame數(shù)據(jù)至Hive表中　143

【項(xiàng)目總結(jié)】　144

【技能拓展】　144

【知識(shí)測(cè)試】　145

【技能測(cè)試】　146

測(cè)試　基于Hive的人力資源系統(tǒng)數(shù)據(jù)處理　146

項(xiàng)目6　基于Spark MLlib實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別模型構(gòu)建與評(píng)估　149

【教學(xué)目標(biāo)】　149

【思維導(dǎo)圖】　150

【項(xiàng)目背景】　150

【項(xiàng)目目標(biāo)】　151

【目標(biāo)分析】　151

【知識(shí)準(zhǔn)備】　151

一、認(rèn)識(shí)Spark　MLlib算法庫(kù)　151

（一）了解機(jī)器學(xué)習(xí)算法　152

（二）Spark　MLlib簡(jiǎn)介　154

二、掌握Spark　MLlib中的算法與算法包　155

（一）數(shù)據(jù)類(lèi)型　155

（二）基本統(tǒng)計(jì)　155

（三）管道　157

（四）特征提取　158

（五）特征處理　160

（六）回歸　163

（七）分類(lèi)　165

（八）聚類(lèi)　169

（九）關(guān)聯(lián)規(guī)則　170

（十）智能推薦　171

三、掌握Spark　MLlib的評(píng)估器與模型評(píng)估　173

【項(xiàng)目實(shí)施】　175

任務(wù)一　數(shù)據(jù)歸一化　175

任務(wù)二　構(gòu)建建模樣本　176

任務(wù)三　使用spark.ml.classification模塊構(gòu)建分類(lèi)模型　176

（一）使用邏輯回歸算法實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別　176

（二）使用隨機(jī)森林算法實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別　177

任務(wù)四　使用評(píng)估器實(shí)現(xiàn)模型評(píng)估　178

（一）模型評(píng)估　178

（二）模型評(píng)估結(jié)果對(duì)比　179

【項(xiàng)目總結(jié)】　179

【技能拓展】　179

【知識(shí)測(cè)試】　181

【技能測(cè)試】　182

測(cè)試　基于Spark MLlib實(shí)現(xiàn)新聞分類(lèi)　182

項(xiàng)目7　基于Spark開(kāi)發(fā)環(huán)境實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別　184

【教學(xué)目標(biāo)】　184

【思維導(dǎo)圖】　184

【項(xiàng)目背景】　185

【項(xiàng)目目標(biāo)】　185

【目標(biāo)分析】　185

【知識(shí)準(zhǔn)備】　185

一、搭建Java開(kāi)發(fā)環(huán)境　185

（一）安裝JDK　8　185

（二）設(shè)置環(huán)境變量　187

二、搭建Spark開(kāi)發(fā)環(huán)境　189

（一）下載與安裝IntelliJ　IDEA　189

（二）Scala插件安裝與使用　192

（三）在IntelliJ　IDEA中配置Spark運(yùn)行環(huán)境　196

（四）運(yùn)行Spark程序　198

【項(xiàng)目實(shí)施】　206

任務(wù)一　開(kāi)發(fā)環(huán)境下實(shí)現(xiàn)流量數(shù)據(jù)違規(guī)識(shí)別　206

（一）集群連接參數(shù)設(shè)置　206

（二）封裝代碼　207

（三）運(yùn)行Spark程序　210

任務(wù)二　模型應(yīng)用　210

【項(xiàng)目總結(jié)】　211

【技能拓展】　212

【知識(shí)測(cè)試】　214

【技能測(cè)試】　215

測(cè)試　農(nóng)產(chǎn)品銷(xiāo)售分析　215

項(xiàng)目8　基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)廣告流量檢測(cè)違規(guī)識(shí)別　217

【教學(xué)目標(biāo)】　217

【思維導(dǎo)圖】　217

【項(xiàng)目背景】　218

【項(xiàng)目目標(biāo)】　218

【目標(biāo)分析】　218

【知識(shí)準(zhǔn)備】　218

平臺(tái)簡(jiǎn)介　218

（一）共享庫(kù)　219

（二）數(shù)據(jù)連接　219

（三）數(shù)據(jù)集　220

（四）我的工程　220

（五）個(gè)人組件　223

【項(xiàng)目實(shí)施】　224

任務(wù)　快速構(gòu)建廣告流量檢測(cè)違規(guī)識(shí)別工程　224

（一）數(shù)據(jù)源配置　225

（二）數(shù)據(jù)處理　227

（三）模型構(gòu)建與評(píng)估　232

【項(xiàng)目總結(jié)】　235

參考文獻(xiàn)　236