本書以大數(shù)據(jù)系統(tǒng)運維工程師崗位要求為依據(jù),以企業(yè)的實際工作任務(wù)為導(dǎo)向編寫而成。全書分為三個部分,共7章,分別介紹:云計算與大數(shù)據(jù)運維概論、Linux操作系統(tǒng)、OpenStack部署與運維、Docker容器虛擬化技術(shù)、大數(shù)據(jù)運維導(dǎo)論、大數(shù)據(jù)運維實操、大數(shù)據(jù)運維監(jiān)控。
本書可作為大學(xué)本科和高等職業(yè)技術(shù)學(xué)院大數(shù)據(jù)、云計算、計算機網(wǎng)絡(luò)等計算機相關(guān)專業(yè)的教學(xué)用書,也可供有關(guān)技術(shù)人員參考、學(xué)習(xí)、培訓(xùn)之用。
(1)理論+案例的編寫風(fēng)格:首先以簡練的語言進(jìn)行理論知識的講解,配上豐富而實用的案例,并且書中多用“圖”來講解說明知識點,更有效地幫助讀者理解。
(2)充分考慮學(xué)生學(xué)習(xí)之便利:考慮到當(dāng)今大學(xué)生的實際情況,教材所選的實例都是貼近讀者的理解水平,術(shù)語引入節(jié)奏合理,不會讓讀者產(chǎn)生晦澀的感覺,其個別難點,都盡量講解詳盡與清晰。
華育興業(yè)科技有限公司是集技術(shù)開發(fā)、教育產(chǎn)品設(shè)計、計算機技術(shù)培訓(xùn)為一體的科技型教育企業(yè)。公司作為“甲骨文WDP中國區(qū)運營中心”,專注于IT技術(shù)培訓(xùn),開設(shè)大數(shù)據(jù)、java、WEB全棧開發(fā)、python+人工智能、全棧UI設(shè)計等培訓(xùn)課程。它還進(jìn)行國家協(xié)同育人項目申辦、高校新工科大數(shù)據(jù)專業(yè)共建、大數(shù)據(jù)實驗室建設(shè)等完整大數(shù)據(jù)教育產(chǎn)品提供,創(chuàng)辦13年來,死磕IT教育,已與國內(nèi)上百家高校建立了合作關(guān)系,與上千家IT相關(guān)企業(yè)建立了高端雇主聯(lián)盟。
第一部分 平臺基礎(chǔ)
第1章 云計算與大數(shù)據(jù)
運維概論 2
1.1 云計算產(chǎn)生背景 2
1.2 云計算的基本概念 4
1.2.1 云計算定義 4
1.2.2 云能力類型 4
1.2.3 云服務(wù)類別 4
1.2.4 典型云計算部署模式 5
1.2.5 云計算基本特征 7
1.3 云計算技術(shù) 8
1.3.1 云計算的發(fā)展現(xiàn)狀 8
1.3.2 云計算技術(shù)發(fā)展特點 9
1.3.3 云計算架構(gòu) 10
1.3.4 云計算網(wǎng)絡(luò)與安全 12
1.4 云存儲 12
1.4.1 數(shù)據(jù)中心構(gòu)建與管理 12
1.4.2 虛擬化技術(shù) 13
1.5 云計算與大數(shù)據(jù)的關(guān)系 15
1.5.1 云計算與大數(shù)據(jù)的聯(lián)系 15
1.5.2 云計算與大數(shù)據(jù)的區(qū)別 15
1.6 大數(shù)據(jù)的基本概念 15
1.6.1 什么是數(shù)據(jù) 15
1.6.2 大數(shù)據(jù)的定義 16
1.6.3 大數(shù)據(jù)的基本特征 16
1.7 大數(shù)據(jù)技術(shù) 17
1.7.1 大數(shù)據(jù)采集 17
1.7.2 大數(shù)據(jù)存儲 17
1.7.3 大數(shù)據(jù)計算 17
1.7.4 大數(shù)據(jù)分析 18
1.7.5 大數(shù)據(jù)可視化 18
1.7.6 大數(shù)據(jù)平臺監(jiān)控 19
1.7.7 大數(shù)據(jù)平臺運維 19
1.8 應(yīng)用場景介紹 19
1.9 本章小結(jié) 20
1.10 習(xí)題 20
第2章 Linux操作系統(tǒng) 21
2.1 Linux操作系統(tǒng)的安裝與配置 21
2.1.1 操作系統(tǒng)的作用 21
2.1.2 Linux操作系統(tǒng) 22
2.1.3 實踐任務(wù):CenOS 7的
安裝與配置 24
2.1.4 磁盤分區(qū) 27
2.1.5 交換分區(qū) 28
2.2 Linux用戶與組的管理 29
2.2.1 Linux用戶和用戶組的概念 29
2.2.2 實踐任務(wù):Linux用戶的
管理 30
2.2.3 實踐任務(wù):Linux用戶組的
管理 32
2.3 Linux文件管理 33
2.3.1 Linux文件的概念 33
2.3.2 Linux文件類型與權(quán)限 35
2.3.3 實踐任務(wù):文件系統(tǒng)的命令 37
2.3.4 實踐任務(wù):文件的壓縮
與打包 40
2.3.5 實踐任務(wù):軟件包的管理 42
2.4 Shell的運用 45
2.4.1 文本編輯器 46
2.4.2 Shell腳本介紹 49
2.4.3 實踐任務(wù):Shell腳本
常用命令 50
2.5 Linux進(jìn)程管理 53
2.5.1 Linux進(jìn)程簡介 53
2.5.2 實踐任務(wù):進(jìn)程管理 54
2.6 Linux網(wǎng)絡(luò)管理 57
2.6.1 網(wǎng)絡(luò)的基本概念 57
2.6.2 網(wǎng)絡(luò)設(shè)備的作用 58
2.6.3 網(wǎng)絡(luò)配置 58
2.6.4 實踐任務(wù):網(wǎng)絡(luò)操作與
測試命令 60
2.7 本章小結(jié) 62
2.8 習(xí)題 62
第二部分 虛擬化技術(shù)
第3章 OpenStack
部署與運維 66
3.1 OpenStack概述 67
3.1.1 OpenStack的產(chǎn)生 67
3.1.2 OpenStack簡介 68
3.1.3 OpenStack的特點 69
3.1.4 OpenStack的架構(gòu) 69
3.2 OpenStack的服務(wù) 71
3.2.1 身份認(rèn)證服務(wù) 71
3.2.2 鏡像服務(wù) 72
3.2.3 計算服務(wù) 72
3.2.4 網(wǎng)絡(luò)服務(wù) 73
3.2.5 對象存儲服務(wù) 74
3.2.6 塊存儲服務(wù) 74
3.2.7 界面服務(wù) 75
3.3 OpenStack的安裝與部署 75
3.3.1 基本環(huán)境配置 76
3.3.2 OpenStack軟件的安裝 76
3.3.3 Keystone的安裝 83
3.3.4 Glance的安裝 90
3.3.5 Nova的安裝 96
3.3.6 Neutron的安裝 111
3.3.7 Horizon的安裝 124
3.4 本章小結(jié) 127
3.5 習(xí)題 128
第4章 Docker容器
虛擬化技術(shù) 129
4.1 Docker概述 130
4.1.1 Docker技術(shù)的產(chǎn)生 130
4.1.2 Docker的定義 131
4.1.3 Docker的工作原理 132
4.1.4 Docker與OpenStack
的區(qū)別 133
4.1.5 Docker容器與虛擬機
的關(guān)系 134
4.2 Docker的安裝與配置 134
4.2.1 Docker的安裝環(huán)境 134
4.2.2 Docker的目錄結(jié)構(gòu) 137
4.2.3 Docker的基本信息查看 138
4.3 Docker的鏡像管理 139
4.3.1 獲取鏡像 139
4.3.2 查看鏡像 141
4.3.3 查找鏡像 141
4.3.4 上傳鏡像 142
4.3.5 刪除鏡像 142
4.3.6 創(chuàng)建鏡像 143
4.4 Docker的容器管理 144
4.4.1 啟動容器 144
4.4.2 終止容器 146
4.4.3 刪除容器 146
4.4.4 進(jìn)入容器 146
4.4.5 導(dǎo)出和導(dǎo)入容器 148
4.4.6 Docker容器的
Web界面管理 149
4.5 案例分析:在Linux操作系統(tǒng)中安裝Docker并部署MySQL鏡像 151
4.6 本章小結(jié) 154
4.7 習(xí)題 154
第三部分 大數(shù)據(jù)運維與監(jiān)控
第5章 大數(shù)據(jù)運維導(dǎo)論 156
5.1 大數(shù)據(jù)運維概述 156
5.2 大數(shù)據(jù)運維主流工具簡介 159
5.2.1 大數(shù)據(jù)系統(tǒng)技術(shù)方案 159
5.2.2 Hadoop原理簡介 159
5.2.3 ZooKeeper原理簡介 161
5.2.4 HBase原理簡介 161
5.2.5 Spark原理簡介 166
5.2.6 Hive原理簡介 167
5.2.7 MongoDB原理簡介 168
5.2.8 Kafka原理簡介 170
5.2.9 Storm原理簡介 172
5.2.10 Flume原理簡介 174
5.3 本章小結(jié) 177
5.4 習(xí)題 177
第6章 大數(shù)據(jù)運維實操 178
6.1 Hadoop安裝及配置 178
6.1.1 配置3臺服務(wù)器間SSH免密遠(yuǎn)程登錄 178
6.1.2 配置Java環(huán)境 181
6.1.3 Hadoop分布式文件系統(tǒng)
集群安裝及配置 182
6.2 ZooKeeper安裝及配置 189
6.3 HBase安裝及配置 197
6.3.1 HBase完全分布環(huán)境搭建 197
6.3.2 HBase基本操作實例 203
6.4 Spark安裝及配置 206
6.5 Hive安裝及配置 211
6.5.1 安裝配置MySQL 211
6.5.2 Hive本地模式安裝配置 213
6.6 MongoDB安裝及配置 223
6.7 Kafka安裝及配置 226
6.7.1 Kafka安裝 226
6.7.2 Kafka啟動 226
6.8 Storm安裝及配置 230
6.8.1 Storm環(huán)境搭建 230
6.8.2 安裝IDEA編程環(huán)境及
配置Maven環(huán)境 233
6.8.3 IDEA下創(chuàng)建Maven項目 235
6.9 Flume安裝及配置 248
6.10 本章小結(jié) 252
6.11 習(xí)題 252
第7章 大數(shù)據(jù)運維監(jiān)控 253
7.1 使用Hadoop實現(xiàn)運維監(jiān)控 254
7.1.1 使用Shell命令查看
Hadoop運行情況 254
7.1.2 通過瀏覽器監(jiān)控
Hadoop運行情況 255
7.2 使用Nagios工具實現(xiàn)
運維監(jiān)控 257
7.2.1 Nagios簡介 257
7.2.2 Nagios監(jiān)控安裝配置 259
7.3 使用Ganglia實現(xiàn)對Hadoop和
HBase集群的運維監(jiān)控 270
7.3.1 Ganglia簡介 270
7.3.2 Ganglia安裝環(huán)境準(zhǔn)備 271
7.3.3 Ganglia安裝 271
7.3.4 服務(wù)器端配置 275
7.3.5 客戶機端配置 279
7.3.6 啟動各個服務(wù)及監(jiān)控進(jìn)程 279
7.3.7 查看監(jiān)控 280
7.4 本章小結(jié) 283
7.5 習(xí)題 283
參考文獻(xiàn) 284