目錄 CONTENTS

項(xiàng)目1

初識(shí)動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集與

預(yù)處理　1

項(xiàng)目導(dǎo)言　1

思維導(dǎo)圖　1

知識(shí)目標(biāo)　1

技能目標(biāo)　1

素養(yǎng)目標(biāo)　2

任務(wù)1-1　認(rèn)識(shí)數(shù)據(jù)采集與預(yù)處理　2

任務(wù)描述　2

素質(zhì)拓展　2

任務(wù)技能　2

技能點(diǎn)1　認(rèn)識(shí)大數(shù)據(jù)來源　2

技能點(diǎn)2　認(rèn)識(shí)數(shù)據(jù)采集　5

技能點(diǎn)3　認(rèn)識(shí)數(shù)據(jù)預(yù)處理　10

任務(wù)1-2　搭建數(shù)據(jù)采集與預(yù)處理開發(fā)

環(huán)境　14

任務(wù)描述　14

素質(zhì)拓展　14

任務(wù)技能　14

技能點(diǎn)1　認(rèn)識(shí)PyCharm　14

技能點(diǎn)2　下載及安裝PyCharm　15

技能點(diǎn)3　使用PyCharm　18

任務(wù)實(shí)施　20

項(xiàng)目小結(jié)　24

課后習(xí)題　24

自我評(píng)價(jià)　25



項(xiàng)目2

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集　26

項(xiàng)目導(dǎo)言　26

思維導(dǎo)圖　26

知識(shí)目標(biāo)　26

技能目標(biāo)　26

素養(yǎng)目標(biāo)　27

任務(wù)2-1　使用Urllib庫(kù)完成新聞

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集　27

任務(wù)描述　27

素質(zhì)拓展　27

任務(wù)技能　27

技能點(diǎn)1　request模塊　27

技能點(diǎn)2　error模塊　30

技能點(diǎn)3　parse模塊　31

任務(wù)實(shí)施　32

任務(wù)2-2　使用Requests庫(kù)完成

浪潮云說網(wǎng)頁(yè)數(shù)據(jù)

采集　36

任務(wù)描述　36

素質(zhì)拓展　37

任務(wù)技能　37

技能點(diǎn)1　Requests庫(kù)的簡(jiǎn)介及

安裝　37

技能點(diǎn)2　Requests庫(kù)的基本使用

方法　38

技能點(diǎn)3　Requests庫(kù)的高級(jí)使用

方法　42

任務(wù)實(shí)施　45

項(xiàng)目小結(jié)　48

課后習(xí)題　48

自我評(píng)價(jià)　49



項(xiàng)目3

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)解析　50

項(xiàng)目導(dǎo)言　50

思維導(dǎo)圖　50

知識(shí)目標(biāo)　50

技能目標(biāo)　50

素養(yǎng)目標(biāo)　51

任務(wù)3-1　使用XPath解析新聞

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)　51

任務(wù)描述　51

素質(zhì)拓展　51

任務(wù)技能　51

技能點(diǎn)1　XPath的簡(jiǎn)介　51

技能點(diǎn)2　定位　55

技能點(diǎn)3　數(shù)據(jù)提取　57

任務(wù)實(shí)施　58

任務(wù)3-2　使用Beautiful Soup

解析浪潮云說網(wǎng)頁(yè)

數(shù)據(jù)　63

任務(wù)描述　63

素質(zhì)拓展　63

任務(wù)技能　63

技能點(diǎn)1　Beautiful Soup的安裝　64

技能點(diǎn)2　Beautiful Soup的使用　65

任務(wù)實(shí)施　68

項(xiàng)目小結(jié)　75

課后習(xí)題　75

自我評(píng)價(jià)　76



項(xiàng)目4

基于Scrapy實(shí)現(xiàn)動(dòng)態(tài)網(wǎng)頁(yè)

數(shù)據(jù)采集與存儲(chǔ)　77

項(xiàng)目導(dǎo)言　77

思維導(dǎo)圖　77

知識(shí)目標(biāo)　77

技能目標(biāo)　77

素養(yǎng)目標(biāo)　78

任務(wù)4-1　使用Scrapy框架完成

新聞公告頁(yè)面數(shù)據(jù)采集

與存儲(chǔ)　78

任務(wù)描述　78

素質(zhì)拓展　78

任務(wù)技能　78

技能點(diǎn)1　Scrapy的簡(jiǎn)介及安裝　78

技能點(diǎn)2　Scrapy的操作指令　82

技能點(diǎn)3　段定義及Scrapy設(shè)置　83

技能點(diǎn)4　文本解析　89

技能點(diǎn)5　內(nèi)容存儲(chǔ)　93

任務(wù)實(shí)施　95

項(xiàng)目小結(jié)　104

課后習(xí)題　104

自我評(píng)價(jià)　105



項(xiàng)目5

動(dòng)態(tài)網(wǎng)頁(yè)訪問日志數(shù)據(jù)

采集　106

項(xiàng)目導(dǎo)言　106

思維導(dǎo)圖　106

知識(shí)目標(biāo)　106

技能目標(biāo)　106

素養(yǎng)目標(biāo)　107

任務(wù)5-1　使用Flume采集某官網(wǎng)

訪問日志數(shù)據(jù)　107

任務(wù)描述　107

素質(zhì)拓展　107

任務(wù)技能　107

技能點(diǎn)1　Flume的簡(jiǎn)介　107

技能點(diǎn)2　Flume數(shù)據(jù)采集配置　110

技能點(diǎn)3　Flume的啟動(dòng)方法　119

技能點(diǎn)4　Flume攔截器配置　122

任務(wù)實(shí)施　125

任務(wù)5-2　使用Kafka消費(fèi)Flume中

某官網(wǎng)訪問日志數(shù)據(jù)　129

任務(wù)描述　129

素質(zhì)拓展　130

任務(wù)技能　130

技能點(diǎn)1　Kafka的簡(jiǎn)介　130

技能點(diǎn)2　Kafka的配置　131

技能點(diǎn)3　Kafka腳本操作　134

技能點(diǎn)4　Kafka Python API　137

任務(wù)實(shí)施　140

項(xiàng)目小結(jié)　144

課后習(xí)題　144

自我評(píng)價(jià)　145



項(xiàng)目6

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　146

項(xiàng)目導(dǎo)言　146

思維導(dǎo)圖　146

知識(shí)目標(biāo)　147

技能目標(biāo)　147

素養(yǎng)目標(biāo)　147

任務(wù)6-1　使用Pandas實(shí)現(xiàn)新聞動(dòng)態(tài)

網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　147

任務(wù)描述　147

素質(zhì)拓展　147

任務(wù)技能　148

技能點(diǎn)1　Pandas的簡(jiǎn)介　148

技能點(diǎn)2　Pandas的數(shù)據(jù)結(jié)構(gòu)　148

技能點(diǎn)3　Pandas的基本功能　149

技能點(diǎn)4　匯總和描述統(tǒng)計(jì)　155

技能點(diǎn)5　處理缺失數(shù)據(jù)　157

任務(wù)實(shí)施　158

任務(wù)6-2　使用Pig實(shí)現(xiàn)浪潮云說

網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　161

任務(wù)描述　161

素質(zhì)拓展　161

任務(wù)技能　162

技能點(diǎn)1　Pig的簡(jiǎn)介　162

技能點(diǎn)2　Pig配置運(yùn)行　162

技能點(diǎn)3　Pig Latin執(zhí)行　165

技能點(diǎn)4　運(yùn)算符　166

技能點(diǎn)5　內(nèi)置函數(shù)　171

任務(wù)實(shí)施　177

任務(wù)6-3　使用ELK實(shí)現(xiàn)某官網(wǎng)日志

數(shù)據(jù)預(yù)處理　182

任務(wù)描述　182

素質(zhì)拓展　182

任務(wù)技能　182

技能點(diǎn)1　Elasticsearch　182

技能點(diǎn)2　Logstash　184

技能點(diǎn)3　Kibana　195

任務(wù)實(shí)施　200

項(xiàng)目小結(jié)　207

課后習(xí)題　207

自我評(píng)價(jià)　208