大數(shù)據(jù)平臺運(yùn)維基礎(chǔ)
定 價(jià):46 元
- 作者:龔大豐
- 出版時(shí)間:2022/6/1
- ISBN:9787121434204
- 出 版 社:電子工業(yè)出版社
- 中圖法分類:TP274
- 頁碼:216
- 紙張:
- 版次:01
- 開本:16開
本書是高等職業(yè)教育大數(shù)據(jù)技術(shù)與應(yīng)用系列教材中的一冊,講解了大數(shù)據(jù)系統(tǒng)運(yùn)行維護(hù)過程中的各個(gè)主要任務(wù),包括大數(shù)據(jù)生態(tài)圈、Hadoop環(huán)境搭建與運(yùn)維、Hive環(huán)境搭建與基本操作、HBase環(huán)境搭建與運(yùn)維、Hadoop常用組件安裝等內(nèi)容。本書內(nèi)容詳盡充實(shí),針對每個(gè)知識點(diǎn)都配有相應(yīng)的實(shí)驗(yàn)用于驗(yàn)證和鞏固,在基礎(chǔ)理論知識上增加了運(yùn)維大數(shù)據(jù)平臺實(shí)踐應(yīng)用知識,重點(diǎn)介紹了大數(shù)據(jù)系統(tǒng)的運(yùn)維實(shí)操技能,對于培養(yǎng)應(yīng)用型大數(shù)據(jù)平臺運(yùn)維人才有著很強(qiáng)的指導(dǎo)性。
龔大豐,男,1978年8月生,高級工程師,華中科技大學(xué)軟件工程專業(yè)碩士,現(xiàn)任溫州職業(yè)技術(shù)學(xué)院大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)專任教師,系統(tǒng)分析師、信息系統(tǒng)項(xiàng)目管理師。
第1章 大數(shù)據(jù)生態(tài)圈 (1)
1.1 大數(shù)據(jù)的概念和價(jià)值 (1)
1.2 大數(shù)據(jù)的特點(diǎn) (3)
1.3 大數(shù)據(jù)技術(shù)組成與生態(tài)圈 (6)
1.4 大數(shù)據(jù)的行業(yè)應(yīng)用和未來發(fā)展 (9)
第2章 Hadoop環(huán)境搭建與運(yùn)維 (15)
2.1 Hadoop概述 (15)
2.2 Hadoop單機(jī)模式和偽分布模式搭建 (16)
2.2.1 創(chuàng)建“hadoop”用戶 (17)
2.2.2 準(zhǔn)備工作 (18)
2.2.3 安裝SSH、配置SSH無密碼登錄 (18)
2.2.4 安裝Java環(huán)境 (19)
2.2.5 安裝Hadoop 2 (20)
2.2.6 Hadoop單機(jī)配置 (21)
2.2.7 Hadoop偽分布式配置 (23)
2.2.8 運(yùn)行Hadoop偽分布式實(shí)例 (26)
2.3 Hadoop集群模式搭建 (28)
2.3.1 創(chuàng)建Hadoop運(yùn)行用戶 (28)
2.3.2 關(guān)閉防火墻 (28)
2.3.3 配置機(jī)器名和網(wǎng)絡(luò) (29)
2.3.4 配置非root用戶免驗(yàn)證登錄SSH (30)
2.3.5 安裝JDK (31)
2.3.6 安裝Hadoop (32)
2.3.7 格式化HDFS (34)
2.3.8 啟動(dòng)Hadoop (35)
2.4 Hadoop HA模式介紹 (35)
2.4.1 Hadoop的HA機(jī)制 (35)
2.4.2 HA集群 (36)
2.5 Hadoop查看集群運(yùn)行狀態(tài) (37)
2.6 網(wǎng)頁查看集群 (39)
2.7 Hadoop命令的使用 (40)
2.7.1 Hadoop常用命令 (40)
2.7.2 HDFS常用命令 (40)
2.8 WordCount示例程序的運(yùn)行和日志查看 (44)
2.8.1 MapReduce的工作原理 (45)
2.8.2 MapReduce框架的作業(yè)運(yùn)行流程 (45)
2.8.3 WordCount示例程序 (46)
2.9 實(shí)驗(yàn) (46)
2.9.1 【實(shí)驗(yàn)1】CentOS系統(tǒng)安裝 (46)
2.9.2 【實(shí)驗(yàn)2】Hadoop單機(jī)部署 (54)
2.9.3 【實(shí)驗(yàn)3】Hadoop偽分布式部署 (65)
2.9.4 【實(shí)驗(yàn)4】Hadoop完全分布式部署 (66)
2.9.5 【實(shí)驗(yàn)5】Hadoop查看集群狀態(tài) (85)
2.9.6 【實(shí)驗(yàn)6】Hadoop基礎(chǔ)命令的使用 (88)
2.9.7 【實(shí)驗(yàn)7】Hadoop示例程序WordCount的執(zhí)行(Java) (91)
2.9.8 【實(shí)驗(yàn)8】Hadoop示例程序WordCount的執(zhí)行(Python) (100)
2.9.9 【實(shí)驗(yàn)9】Hadoop HA模式解析 (100)
第3章 Hive環(huán)境搭建與基本操作 (102)
3.1 Hive概述 (102)
3.2 基于HDFS和MySQL的Hive環(huán)境搭建 (105)
3.3 Hive Shell (115)
3.4 Hive SQL語句的使用 (119)
3.5 Hive函數(shù)的使用 (122)
3.6 Hive分區(qū)表和桶表的創(chuàng)建 (129)
3.7 實(shí)驗(yàn) (133)
3.7.1 【實(shí)驗(yàn)10】Hive環(huán)境搭建 (133)
3.7.2 【實(shí)驗(yàn)11】Hive SQL語句操作 (134)
3.7.3 【實(shí)驗(yàn)12】Hive函數(shù)的使用 (135)
3.7.4 【實(shí)驗(yàn)13】Hive分區(qū)表的創(chuàng)建 (136)
第4章 HBase環(huán)境搭建與運(yùn)維 (138)
4.1 HBase概述 (138)
4.2 HBase單機(jī)模式和偽分布模式部署 (139)
4.3 HBase完全分布模式部署 (143)
4.4 HBase查看集群運(yùn)行狀態(tài) (146)
4.5 HBase Shell的使用 (149)
4.6 實(shí)驗(yàn) (155)
4.6.1 【實(shí)驗(yàn)14】HBase單機(jī)模式和偽分布模式部署 (155)
4.6.2 【實(shí)驗(yàn)15】HBase分布式部署 (158)
4.6.3 【實(shí)驗(yàn)16】HBase查看集群運(yùn)行狀態(tài) (159)
4.6.4 【實(shí)驗(yàn)17】HBase Shell命令的使用 (160)
第5章 Hadoop常用組件安裝 (164)
5.1 Hadoop常用組件概述 (164)
5.2 ZooKeeper環(huán)境部署 (175)
5.3 Kafka環(huán)境部署 (178)
5.4 Storm環(huán)境部署 (183)
5.4.1 單機(jī)環(huán)境部署 (183)
5.4.2 分布式環(huán)境部署 (185)
5.5 Flume環(huán)境部署 (187)
5.6 Spark環(huán)境部署 (189)
5.6.1 單機(jī)環(huán)境部署 (189)
5.6.2 分布式環(huán)境部署 (190)
5.7 實(shí)驗(yàn) (194)
5.7.1 【實(shí)驗(yàn)18】ZooKeeper環(huán)境部署 (194)
5.7.2 【實(shí)驗(yàn)19】Kafka環(huán)境部署 (196)
5.7.3 【實(shí)驗(yàn)20】Storm環(huán)境部署 (200)
5.7.4 【實(shí)驗(yàn)21】Flume環(huán)境部署 (203)
5.7.5 【實(shí)驗(yàn)22】Spark環(huán)境部署 (204)