本書(shū)以項(xiàng)目實(shí)踐作為主線,結(jié)合必需的理論知識(shí),以任務(wù)的形式設(shè)計(jì)內(nèi)容,每個(gè)任務(wù)都包含任務(wù)描述及任務(wù)實(shí)施的步驟,讀者按照實(shí)施步驟進(jìn)行操作就可以完成相應(yīng)的學(xué)習(xí)任務(wù),從而不斷提升項(xiàng)目實(shí)踐能力。本書(shū)主要內(nèi)容涉及流式數(shù)據(jù)的基礎(chǔ)知識(shí)、Flink的簡(jiǎn)介及發(fā)展歷史、Flink的系統(tǒng)架構(gòu)及Flink API介紹、Flink的集群部署模式、Flink流式API的基本應(yīng)用、Flink時(shí)間和窗口API的應(yīng)用、Flink高級(jí)應(yīng)用、Flink Table和SQL的應(yīng)用、Flink CEP的應(yīng)用、Kafka集群的安裝和常用操作,以及Flink、Flume和Kafka的集成方式。
本書(shū)適合需要使用Flink進(jìn)行大數(shù)據(jù)處理的程序員、架構(gòu)師和產(chǎn)品經(jīng)理作為技術(shù)參考手冊(cè)和培訓(xùn)資料,也可作為高校本科生和研究生的教材。
王璐烽,教授,世界技能大賽中國(guó)賽區(qū)裁判員、重慶市高校黃大年式教師團(tuán)隊(duì)負(fù)責(zé)人、重慶市高校中青年骨干教師、重慶市高校優(yōu)秀思想政治工作者;撰寫論文20余篇,其中SCI/EI收錄或核心期刊10余篇;主編國(guó)家十三五規(guī)劃教材1本,其余4本;主持重慶市重大教改課題1項(xiàng),重點(diǎn)1項(xiàng),其余5項(xiàng);主持重慶市重大科技項(xiàng)目1項(xiàng);主持重慶市精品在線課程1門;獲得全國(guó)職業(yè)院校信息化教學(xué)大賽一等獎(jiǎng),重慶市科技進(jìn)步三等獎(jiǎng),中國(guó)通信工業(yè)協(xié)會(huì)教學(xué)成果特等獎(jiǎng);指導(dǎo)學(xué)生參加全國(guó)職業(yè)院校技能大賽獲一等獎(jiǎng)、二等獎(jiǎng)各1次;參與專業(yè)標(biāo)準(zhǔn)、1 X職業(yè)技能等級(jí)標(biāo)準(zhǔn)、重慶市人社局新職業(yè)(人工智能訓(xùn)練師)培訓(xùn)標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)等研制工作。
劉均,高級(jí)實(shí)驗(yàn)師、高級(jí)技師、課程思政教學(xué)名師、全國(guó)職業(yè)院校技能大賽優(yōu)秀指導(dǎo)教師、重慶市黃大年教學(xué)團(tuán)隊(duì)成員、重慶市高職院校1 X證書(shū)學(xué)習(xí)成果專業(yè)認(rèn)證委員會(huì)專家、云計(jì)算1 X中級(jí)講師、網(wǎng)絡(luò)工程師、國(guó)家職業(yè)技能鑒定中心考評(píng)員、重慶市政府采購(gòu)評(píng)審專家;主要研究方向?yàn)橛?jì)算機(jī)實(shí)驗(yàn)實(shí)訓(xùn)教學(xué)、云計(jì)算運(yùn)維技術(shù);主要從事大數(shù)據(jù)、云計(jì)算自動(dòng)運(yùn)維方面教學(xué)工作;參與省部級(jí)科研項(xiàng)目《基于運(yùn)行大數(shù)據(jù)的工業(yè)機(jī)器人預(yù)測(cè)性維護(hù)關(guān)鍵技術(shù)研究》等項(xiàng)目3項(xiàng);國(guó)家級(jí)在線精品課程《云計(jì)算之軟件定義網(wǎng)絡(luò)》主要成員,主要講授《云存儲(chǔ)技術(shù)》《Python程序設(shè)計(jì)》《云計(jì)算系統(tǒng)框架》等課程。
項(xiàng)目1 Flink開(kāi)發(fā)環(huán)境搭建 1
任務(wù) 搭建Flink開(kāi)發(fā)環(huán)境 2
【任務(wù)描述】 2
【知識(shí)鏈接】 2
【任務(wù)實(shí)施】 8
項(xiàng)目小結(jié) 18
思考與練習(xí) 18
項(xiàng)目2 Flink集群搭建 20
任務(wù)1 Flink集群搭建 21
【任務(wù)描述】 21
【知識(shí)鏈接】 21
【任務(wù)實(shí)施】 23
任務(wù)2 基于Flink實(shí)現(xiàn)單詞統(tǒng)計(jì) 26
【任務(wù)描述】 26
【任務(wù)實(shí)施】 26
任務(wù)3 Flink項(xiàng)目打包部署 34
【任務(wù)描述】 34
【任務(wù)實(shí)施】 34
項(xiàng)目小結(jié) 37
思考與練習(xí) 37
項(xiàng)目3 Flink流式API應(yīng)用 38
任務(wù)1 創(chuàng)建Flink程序執(zhí)行環(huán)境 39
【任務(wù)描述】 39
【知識(shí)鏈接】 39
【任務(wù)實(shí)施】 40
任務(wù)2 創(chuàng)建Flink數(shù)據(jù)源 40
【任務(wù)描述】 40
【知識(shí)鏈接】 41
【任務(wù)實(shí)施】 41
任務(wù)3 Flink轉(zhuǎn)換算子的應(yīng)用 44
【任務(wù)描述】 44
【知識(shí)鏈接】 45
【任務(wù)實(shí)施】 45
任務(wù)4 數(shù)據(jù)輸出 55
【任務(wù)描述】 55
【知識(shí)鏈接】 56
【任務(wù)實(shí)施】 56
項(xiàng)目小結(jié) 63
項(xiàng)目拓展 63
思考與練習(xí) 64
項(xiàng)目4 Flink時(shí)間和窗口API應(yīng)用 65
任務(wù)1 Flink時(shí)間語(yǔ)義和水位線 66
【任務(wù)描述】 66
【知識(shí)鏈接】 66
【任務(wù)實(shí)施】 68
任務(wù)2 Flink窗口操作 73
【任務(wù)描述】 73
【知識(shí)鏈接】 73
【任務(wù)實(shí)施】 75
任務(wù)3 Flink遲到數(shù)據(jù)處理 80
【任務(wù)描述】 80
【知識(shí)鏈接】 80
【任務(wù)實(shí)施】 81
項(xiàng)目小結(jié) 84
思考與練習(xí) 85
項(xiàng)目5 Flink高級(jí)應(yīng)用 87
任務(wù)1 Flink多數(shù)據(jù)流處理 88
【任務(wù)描述】 88
【知識(shí)鏈接】 88
【任務(wù)實(shí)施】 88
任務(wù)2 Flink狀態(tài)編程 95
【任務(wù)描述】 95
【知識(shí)鏈接】 95
【任務(wù)實(shí)施】 98
任務(wù)3 Flink容錯(cuò)機(jī)制 101
【任務(wù)描述】 101
【知識(shí)鏈接】 101
【任務(wù)實(shí)施】 103
項(xiàng)目小結(jié) 104
思考與練習(xí) 105
項(xiàng)目6 Flink Table和SQL應(yīng)用 106
任務(wù)1 快速入門 107
【任務(wù)描述】 107
【知識(shí)鏈接】 107
【任務(wù)實(shí)施】 107
任務(wù)2 Flink Table和SQL基本API應(yīng)用 109
【任務(wù)描述】 109
【知識(shí)鏈接】 109
【任務(wù)實(shí)施】 113
任務(wù)3 Flink SQL函數(shù)的應(yīng)用 114
【任務(wù)描述】 114
【知識(shí)鏈接】 114
【任務(wù)實(shí)施】 115
任務(wù)4 Flink SQL高級(jí)應(yīng)用 119
【任務(wù)描述】 119
【知識(shí)鏈接】 119
【任務(wù)實(shí)施】 120
項(xiàng)目小結(jié) 122
思考與練習(xí) 123
項(xiàng)目7 Flink CEP應(yīng)用 124
任務(wù)1 Flink CEP入門 125
【任務(wù)描述】 125
【知識(shí)鏈接】 125
【任務(wù)實(shí)施】 127
任務(wù)2 Flink CEP綜合應(yīng)用 131
【任務(wù)描述】 131
【知識(shí)鏈接】 131
【任務(wù)實(shí)施】 136
項(xiàng)目小結(jié) 143
思考與練習(xí) 143
項(xiàng)目8 Flink集成Kafka應(yīng)用 145
任務(wù)1 Kafka集群安裝及常用操作 146
【任務(wù)描述】 146
【知識(shí)鏈接】 146
【任務(wù)實(shí)施】 148
任務(wù)2 Flink和Kafka集成 151
【任務(wù)描述】 151
【知識(shí)鏈接】 151
【任務(wù)實(shí)施】 152
任務(wù)3 綜合應(yīng)用案例 155
【任務(wù)描述】 155
【任務(wù)實(shí)施】 156
項(xiàng)目小結(jié) 161
思考與練習(xí) 162
項(xiàng)目9 網(wǎng)站日志實(shí)時(shí)分析系統(tǒng) 164
任務(wù)1 網(wǎng)站日志收集 165
【任務(wù)描述】 165
【知識(shí)鏈接】 165
【任務(wù)實(shí)施】 168
任務(wù)2 Flume與Kafka集成 169
【任務(wù)描述】 169
【知識(shí)鏈接】 169
【任務(wù)實(shí)施】 170
任務(wù)3 日志分析實(shí)現(xiàn) 172
【任務(wù)描述】 172
【任務(wù)實(shí)施】 172
項(xiàng)目小結(jié) 180
項(xiàng)目拓展 181
思考與練習(xí) 181
參考文獻(xiàn) 183