目錄 CONTENTS

項目1

初識動態(tài)網(wǎng)頁數(shù)據(jù)采集與

預(yù)處理　1

項目導(dǎo)言　1

思維導(dǎo)圖　1

知識目標(biāo)　1

技能目標(biāo)　1

素養(yǎng)目標(biāo)　2

任務(wù)1-1　認(rèn)識數(shù)據(jù)采集與預(yù)處理　2

任務(wù)描述　2

素質(zhì)拓展　2

任務(wù)技能　2

技能點1　認(rèn)識大數(shù)據(jù)來源　2

技能點2　認(rèn)識數(shù)據(jù)采集　5

技能點3　認(rèn)識數(shù)據(jù)預(yù)處理　10

任務(wù)1-2　搭建數(shù)據(jù)采集與預(yù)處理開發(fā)

環(huán)境　14

任務(wù)描述　14

素質(zhì)拓展　14

任務(wù)技能　14

技能點1　認(rèn)識PyCharm　14

技能點2　下載及安裝PyCharm　15

技能點3　使用PyCharm　18

任務(wù)實施　20

項目小結(jié)　24

課后習(xí)題　24

自我評價　25



項目2

動態(tài)網(wǎng)頁數(shù)據(jù)采集　26

項目導(dǎo)言　26

思維導(dǎo)圖　26

知識目標(biāo)　26

技能目標(biāo)　26

素養(yǎng)目標(biāo)　27

任務(wù)2-1　使用Urllib庫完成新聞

動態(tài)網(wǎng)頁數(shù)據(jù)采集　27

任務(wù)描述　27

素質(zhì)拓展　27

任務(wù)技能　27

技能點1　request模塊　27

技能點2　error模塊　30

技能點3　parse模塊　31

任務(wù)實施　32

任務(wù)2-2　使用Requests庫完成

浪潮云說網(wǎng)頁數(shù)據(jù)

采集　36

任務(wù)描述　36

素質(zhì)拓展　37

任務(wù)技能　37

技能點1　Requests庫的簡介及

安裝　37

技能點2　Requests庫的基本使用

方法　38

技能點3　Requests庫的高級使用

方法　42

任務(wù)實施　45

項目小結(jié)　48

課后習(xí)題　48

自我評價　49



項目3

動態(tài)網(wǎng)頁數(shù)據(jù)解析　50

項目導(dǎo)言　50

思維導(dǎo)圖　50

知識目標(biāo)　50

技能目標(biāo)　50

素養(yǎng)目標(biāo)　51

任務(wù)3-1　使用XPath解析新聞

動態(tài)網(wǎng)頁數(shù)據(jù)　51

任務(wù)描述　51

素質(zhì)拓展　51

任務(wù)技能　51

技能點1　XPath的簡介　51

技能點2　定位　55

技能點3　數(shù)據(jù)提取　57

任務(wù)實施　58

任務(wù)3-2　使用Beautiful Soup

解析浪潮云說網(wǎng)頁

數(shù)據(jù)　63

任務(wù)描述　63

素質(zhì)拓展　63

任務(wù)技能　63

技能點1　Beautiful Soup的安裝　64

技能點2　Beautiful Soup的使用　65

任務(wù)實施　68

項目小結(jié)　75

課后習(xí)題　75

自我評價　76



項目4

基于Scrapy實現(xiàn)動態(tài)網(wǎng)頁

數(shù)據(jù)采集與存儲　77

項目導(dǎo)言　77

思維導(dǎo)圖　77

知識目標(biāo)　77

技能目標(biāo)　77

素養(yǎng)目標(biāo)　78

任務(wù)4-1　使用Scrapy框架完成

新聞公告頁面數(shù)據(jù)采集

與存儲　78

任務(wù)描述　78

素質(zhì)拓展　78

任務(wù)技能　78

技能點1　Scrapy的簡介及安裝　78

技能點2　Scrapy的操作指令　82

技能點3　段定義及Scrapy設(shè)置　83

技能點4　文本解析　89

技能點5　內(nèi)容存儲　93

任務(wù)實施　95

項目小結(jié)　104

課后習(xí)題　104

自我評價　105



項目5

動態(tài)網(wǎng)頁訪問日志數(shù)據(jù)

采集　106

項目導(dǎo)言　106

思維導(dǎo)圖　106

知識目標(biāo)　106

技能目標(biāo)　106

素養(yǎng)目標(biāo)　107

任務(wù)5-1　使用Flume采集某官網(wǎng)

訪問日志數(shù)據(jù)　107

任務(wù)描述　107

素質(zhì)拓展　107

任務(wù)技能　107

技能點1　Flume的簡介　107

技能點2　Flume數(shù)據(jù)采集配置　110

技能點3　Flume的啟動方法　119

技能點4　Flume攔截器配置　122

任務(wù)實施　125

任務(wù)5-2　使用Kafka消費Flume中

某官網(wǎng)訪問日志數(shù)據(jù)　129

任務(wù)描述　129

素質(zhì)拓展　130

任務(wù)技能　130

技能點1　Kafka的簡介　130

技能點2　Kafka的配置　131

技能點3　Kafka腳本操作　134

技能點4　Kafka Python API　137

任務(wù)實施　140

項目小結(jié)　144

課后習(xí)題　144

自我評價　145



項目6

動態(tài)網(wǎng)頁數(shù)據(jù)預(yù)處理　146

項目導(dǎo)言　146

思維導(dǎo)圖　146

知識目標(biāo)　147

技能目標(biāo)　147

素養(yǎng)目標(biāo)　147

任務(wù)6-1　使用Pandas實現(xiàn)新聞動態(tài)

網(wǎng)頁數(shù)據(jù)預(yù)處理　147

任務(wù)描述　147

素質(zhì)拓展　147

任務(wù)技能　148

技能點1　Pandas的簡介　148

技能點2　Pandas的數(shù)據(jù)結(jié)構(gòu)　148

技能點3　Pandas的基本功能　149

技能點4　匯總和描述統(tǒng)計　155

技能點5　處理缺失數(shù)據(jù)　157

任務(wù)實施　158

任務(wù)6-2　使用Pig實現(xiàn)浪潮云說

網(wǎng)頁數(shù)據(jù)預(yù)處理　161

任務(wù)描述　161

素質(zhì)拓展　161

任務(wù)技能　162

技能點1　Pig的簡介　162

技能點2　Pig配置運行　162

技能點3　Pig Latin執(zhí)行　165

技能點4　運算符　166

技能點5　內(nèi)置函數(shù)　171

任務(wù)實施　177

任務(wù)6-3　使用ELK實現(xiàn)某官網(wǎng)日志

數(shù)據(jù)預(yù)處理　182

任務(wù)描述　182

素質(zhì)拓展　182

任務(wù)技能　182

技能點1　Elasticsearch　182

技能點2　Logstash　184

技能點3　Kibana　195

任務(wù)實施　200

項目小結(jié)　207

課后習(xí)題　207

自我評價　208