《Spark大數據實時分析實戰(zhàn)》分為六個項目,通過真實大數據實時分析項目的導入,引導讀者完成大數據實時分析平臺Spark的搭建,通過對基于Hadoop生態(tài)圈中Yarn資源調度框架,搭建Spark日志管理系統(tǒng),搭建Kafka分布式消息系統(tǒng),在工作中實現使用SparkStreaming實時讀取Kafka中的數據進行實時處理。
《Spark大數據實時分析實戰(zhàn)》適用于大數據技術與應用、數據科學與大數據技術等電子信息類專業(yè)教學的教材,也可作為工程技術人員的參考書。
近年來,智能設備和智能應用迅猛發(fā)展,極大地方便了人們的工作和日常生活,同時,也產生了大量的數據。這些應用和服務的成功得益于大數據和日益完善的實時分析技術。大數據實時分析技術的出現,可以對這些數據進行快速的分析,讓決策者能夠迅速地把握用戶的關鍵需求,并能夠及時響應用戶的需求變化。未來幾年,將有數以億計的智能設備接人互聯網,從智能手機、臺式機、汽車到智能家居,都會接入互聯網。未來的數據分析將對實時性要求越來越高。
針對大數據的迅猛發(fā)展,本書結合實際應用案例,選用高性能的Spark技術作為大數據實時分析的工具,介紹了實時大數據分析的實現過程,為讀者提供了快速安裝、搭建大數據分析集群和進行實時數據分析所需的技術。
本書采用項目驅動的編寫方式,精心設計了6個項目,覆蓋了Spark大數據實時分析技術所涉及的基礎技術介紹、集群搭建,以及日志服務器搭建等知識技能點。書中深入淺出地介紹了Spark技術的基本原理、集群的構建與安裝、基于Yam的Spark集群搭建、Spark日志服務器的搭建、Kafka集群的構建與安裝,并通過案例對Kafka集群進行了測試。具體內容為:
項目一從數據存儲技術、分析技術、批數據和實時數據等數據分析背景知識人手,介紹了實時數據處理的價值、Spark實時數據分析技術。
項目二通過具體的案例操作,詳細介紹了Spark集群規(guī)劃、安裝準備、集群搭建、驗證及客戶端應用的搭建。
項目三通過案例介紹了基于Yarn的Spark集群的搭建、配置和驗證的方法。
項目四介紹了Spark日志服務器的配置及驗證日志服務器的方法。
項目五和項目六通過案例介紹了集群搭建、集群規(guī)劃、安裝配置,并對Kafka集群進行了測試。
本書由重慶電子工程職業(yè)學院付雯、聶強擔任主編,重慶電子工程職業(yè)學院武春嶺、李俊翰、王寧憶、李清蓮、譚博文及濰坊職業(yè)學院鄭偉擔任副主編,來自重慶課外島科技發(fā)展有限公司的文紅亞高級工程師也參與了本書的部分編寫工作。
項目一 初識Spark技術
任務1.1 數據處理系統(tǒng)
1.1.1 數據存儲技術
1.1.2 數據分析技術
1.1.3 批數據和實時數據
1.1.4 數據價值挖掘
任務1.2 實時數據處理
1.2.1 實時數據的價值
1.2.2 實時數據處理技術
1.2.3 Spark實時數據處理
項目二 Spark集群的構建與安裝
任務2.1 Spark集群搭建
2.1.1 平臺選擇
2.1.2 軟件選擇
2.1.3 Spark集群構建流程
任務2.2 Spark集群規(guī)劃
2.2.1 Spark集群節(jié)點劃分
2.2.2 軟件要求
2.2.3 網絡拓撲結構規(guī)劃
任務2.3 Spark安裝準備
2.3.1 JDK安裝
2.3.2 節(jié)點間的配置
2.3.3 Spark安裝包下載
任務2.4 Spark集群搭建
2.4.1 配置Master節(jié)點
2.4.2 配置Worker節(jié)點
2.4.3 分發(fā)安裝包
2.4.4 啟動集群
任務2.5 驗證Spark
2.5.1 驗證Spark進程
2.5.2 驗證WEBUI界面
2.5.3 驗證集群功能
任務2.6 Spark客戶端搭建
2.6.1 客戶端介紹
2.6.2 客戶端搭建及使用
項目三 Spark基于Yarn搭建
任務3.1 基于Yarn構建介紹
3.1.1 基于Yarn搭建環(huán)境配置
3.1.2 Hadoop集群
3.1.3 啟動Hadoop集群
3.1.4 驗證Hadoop集群節(jié)點
任務3.2 基于Yam搭建
3.2.1 節(jié)點劃分配置
3.2.2 配置Spark on Yarn
3.2.3 驗證Spark on Yarn
項目四 日志服務器搭建
任務4.1 日志服務器配置
4.1.1 HDFS配置
4.1.2 Spark配置
4.1.3 啟動日志服務器
4.1.4 查看日志
任務4.2 驗證日志服務器
4.2.1 Spark-Shell介紹
4.2.2 查看運行日志
4.2.3 啟動日志服務器
4.2.4 查看日志
……
項目五 Kafka集群的構建與安裝
項目六 Kafka集群測試