本書以任務(wù)驅(qū)動(dòng)為主線,圍繞企業(yè)級(jí)應(yīng)用進(jìn)行項(xiàng)目任務(wù)設(shè)計(jì),介紹了平臺(tái)的本地模式安裝、偽分布式模式安裝及完全分布式模式安裝,并基于Hadoop 2.X生態(tài)系統(tǒng),全面講解了Hive環(huán)境搭建與基本操作、ZooKeeper環(huán)境搭建與基本操作、HBase環(huán)境搭建與基本操作、Hadoop常用工具組件的安裝與應(yīng)用、集群搭建與管理,以及Hadoop平臺(tái)應(yīng)用綜合案例等相關(guān)知識(shí)及操作技能。
本書具有實(shí)用性和可操作性強(qiáng)、語(yǔ)言精練、通俗易懂等特點(diǎn),可作為高等院校大數(shù)據(jù)應(yīng)用專業(yè)、軟件技術(shù)專業(yè)、云計(jì)算技術(shù)與應(yīng)用專業(yè)的教材,也可作為從事大數(shù)據(jù)分析、云計(jì)算應(yīng)用等工作的技術(shù)人員的參考用書。
1.基于企業(yè)級(jí)項(xiàng)目,以任務(wù)驅(qū)動(dòng)為主線,便于教師教學(xué),學(xué)生理解。
2.配套資源齊全,配有PPT課件等多種教學(xué)資源。
3.企業(yè)配套資源,院校完善體系結(jié)構(gòu)。
米洪,主持省級(jí)項(xiàng)目3項(xiàng);發(fā)表北大核心論文5篇;學(xué)院交通物聯(lián)網(wǎng)技術(shù)科技創(chuàng)新團(tuán)隊(duì)骨干成員;江蘇省高等職業(yè)院校教師專業(yè)帶頭人訪問(wèn)學(xué)者(東南大學(xué));江蘇省高!扒嗨{(lán)工程”優(yōu)秀中青年骨干教師。
項(xiàng)目1 認(rèn)識(shí)大數(shù)據(jù) 1
學(xué)習(xí)目標(biāo) 1
項(xiàng)目描述 1
任務(wù)1.1 認(rèn)知大數(shù)據(jù),完成系統(tǒng)環(huán)境搭建 2
任務(wù)描述 2
任務(wù)目標(biāo) 2
知識(shí)準(zhǔn)備 2
任務(wù)實(shí)施 17
任務(wù)1.2 Hadoop環(huán)境搭建 23
任務(wù)描述 23
任務(wù)目標(biāo) 23
知識(shí)準(zhǔn)備 23
任務(wù)實(shí)施 24
項(xiàng)目2 Hive環(huán)境搭建與基本操作 40
學(xué)習(xí)目標(biāo) 40
項(xiàng)目描述 40
任務(wù)2.1 Hive的安裝與配置 40
任務(wù)描述 40
任務(wù)目標(biāo) 41
知識(shí)準(zhǔn)備 41
任務(wù)實(shí)施 45
任務(wù)2.2 Hive操作 52
任務(wù)描述 52
任務(wù)目標(biāo) 52
知識(shí)準(zhǔn)備 52
任務(wù)實(shí)施 63
項(xiàng)目3 ZooKeeper環(huán)境搭建與基本操作 70
學(xué)習(xí)目標(biāo) 70
項(xiàng)目描述 70
任務(wù)3.1 ZooKeeper的安裝與配置 70
任務(wù)描述 70
任務(wù)目標(biāo) 71
知識(shí)準(zhǔn)備 71
任務(wù)實(shí)施 79
任務(wù)3.2 ZooKeeper CLI操作 87
任務(wù)描述 87
任務(wù)目標(biāo) 88
知識(shí)準(zhǔn)備 88
任務(wù)實(shí)施 90
項(xiàng)目4 HBase環(huán)境搭建與基本操作 96
學(xué)習(xí)目標(biāo) 96
項(xiàng)目描述 96
任務(wù)4.1 HBase的安裝與配置 96
任務(wù)描述 96
任務(wù)目標(biāo) 96
知識(shí)準(zhǔn)備 97
任務(wù)實(shí)施 104
任務(wù)4.2 HBase Shell操作 113
任務(wù)描述 113
任務(wù)目標(biāo) 114
知識(shí)準(zhǔn)備 114
任務(wù)實(shí)施 115
項(xiàng)目5 Hadoop常用工具組件的安裝與應(yīng)用 122
學(xué)習(xí)目標(biāo) 122
項(xiàng)目描述 122
任務(wù)5.1 Sqoop的安裝與應(yīng)用 122
任務(wù)描述 122
任務(wù)目標(biāo) 123
知識(shí)準(zhǔn)備 123
任務(wù)實(shí)施 127
任務(wù)5.2 Pig的安裝與應(yīng)用 132
任務(wù)描述 132
任務(wù)目標(biāo) 132
知識(shí)準(zhǔn)備 132
任務(wù)實(shí)施 139
任務(wù)5.3 Flume的安裝與應(yīng)用 149
任務(wù)描述 149
任務(wù)目標(biāo) 149
知識(shí)準(zhǔn)備 149
任務(wù)實(shí)施 150
項(xiàng)目6 集群搭建與管理 155
學(xué)習(xí)目標(biāo) 155
項(xiàng)目描述 155
任務(wù)6.1 搭建Ambari Hadoop系統(tǒng) 155
任務(wù)描述 155
任務(wù)目標(biāo) 155
知識(shí)準(zhǔn)備 156
任務(wù)實(shí)施 160
任務(wù)6.2 使用Ambari管理Hadoop集群 169
任務(wù)描述 169
任務(wù)目標(biāo) 169
知識(shí)準(zhǔn)備 169
任務(wù)實(shí)施 169
項(xiàng)目7 Hadoop平臺(tái)應(yīng)用綜合案例 176
學(xué)習(xí)目標(biāo) 176
項(xiàng)目描述 176
任務(wù)7.1 本地?cái)?shù)據(jù)集上傳到數(shù)據(jù)倉(cāng)庫(kù)Hive 176
任務(wù)描述 176
任務(wù)目標(biāo) 176
任務(wù)實(shí)施 177
任務(wù)7.2 使用Hive進(jìn)行簡(jiǎn)單的數(shù)據(jù)分析 180
任務(wù)描述 180
任務(wù)目標(biāo) 180
任務(wù)實(shí)施 180
任務(wù)7.3 Hive、MySQL、HBase數(shù)據(jù)的互導(dǎo) 181
任務(wù)描述 181
任務(wù)目標(biāo) 182
任務(wù)實(shí)施 182