日韩无码二区三区,青青青国产依人在线,水蜜桃国产成人精品网站

本書(shū)旨在幫助讀者從零開(kāi)始快速掌握Flink的基本原理與核心功能。本書(shū)首先介紹了Flink的基本原理和安裝部署，并對(duì)Flink中的一些核心API進(jìn)行了詳細(xì)分析。然后配套對(duì)應(yīng)的案例分析，分別使用Java代碼和Scala代碼實(shí)現(xiàn)案例。*后通過(guò)兩個(gè)項(xiàng)目演示了Flink在實(shí)際工作中的一些應(yīng)用場(chǎng)景，幫助讀者快速掌握Flink開(kāi)發(fā)。學(xué)習(xí)本書(shū)需要大家具備一些大數(shù)據(jù)的基礎(chǔ)知識(shí)，比如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安裝和使用。本書(shū)也適合對(duì)大數(shù)據(jù)實(shí)時(shí)計(jì)算感興趣的讀者閱讀。學(xué)習(xí)本書(shū)需要大家具備一些大數(shù)據(jù)的基礎(chǔ)知識(shí)，例如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安裝和使用。本書(shū)也適合對(duì)大數(shù)據(jù)實(shí)時(shí)計(jì)算感興趣的愛(ài)好者閱讀。

第 1章　Flink概述　　1

1.1　Flink原理分析　1

1.2　Flink架構(gòu)分析　2

1.3　Flink基本組件　3

1.4　Flink流處理（Streaming）與批處理（Batch）　4

1.5　Flink典型應(yīng)用場(chǎng)景分析　5

1.6　流式計(jì)算框架對(duì)比　6

1.7　工作中如何選擇實(shí)時(shí)計(jì)算框架　8

第　2章 Flink快速入門(mén)　9

2.1　Flink開(kāi)發(fā)環(huán)境分析　9

2.1.1　開(kāi)發(fā)工具推薦　9

2.1.2　Flink程序依賴(lài)配置　10

2.2　Flink程序開(kāi)發(fā)步驟　11

2.3　Flink流處理（Streaming）案例開(kāi)發(fā)　11

2.3.1　Java代碼開(kāi)發(fā)　12

2.3.2　Scala代碼開(kāi)發(fā)　14

2.3.3　執(zhí)行程序　16

2.4　Flink批處理（Batch）案例開(kāi)發(fā)　16

2.4.1　Java代碼開(kāi)發(fā)　16

2.4.2　Scala代碼開(kāi)發(fā)　18

2.4.3　執(zhí)行程序　19

第3章　Flink的安裝和部署　20

3.1　Flink本地模式　20

3.2　Flink集群模式　22

3.2.1　Standalone模式　23

3.2.2　Flink on Yarn模式　26

3.2.3　yarn-session.sh命令分析　30

3.2.4　Flink run命令分析　30

3.3　Flink代碼生成JAR包　31

3.4　Flink HA的介紹和使用　35

3.4.1　Flink HA　35

3.4.2　Flink Standalone集群的HA安裝和配置　35

3.4.3　Flink on Yarn集群HA的安裝和配置　50

3.5　Flink Scala Shell　53

第4章　Flink常用API詳解　56

4.1　Flink API的抽象級(jí)別分析　56

4.2　Flink DataStream的常用API　57

4.2.1　DataSource　57

4.2.2　Transformation　66

4.2.3　Sink　70

4.3　Flink DataSet的常用API分析　80

4.3.1　DataSource　80

4.3.2　Transformation　81

4.3.3　Sink　82

4.4　Flink Table API和SQL的分析及使用　82

4.4.1　Table API和SQL的基本使用　83

4.4.2　DataStream、DataSet和Table之間的轉(zhuǎn)換　87

4.4.3　Table API和SQL的案例　91

4.5　Flink支持的DataType分析　97

4.6　Flink序列化分析　97

第5章　Flink高級(jí)功能的使用　99

5.1　Flink Broadcast　99

5.2　Flink Accumulator　104

5.3　Flink Broadcast和Accumulator的區(qū)別　108

5.4　Flink Distributed Cache　108

第6章　Flink State管理與恢復(fù)　112

6.1　State　112

6.1.1　Keyed State　113

6.1.2　Operator State　115

6.2　State的容錯(cuò)　116

6.3　CheckPoint　118

6.4　StateBackend　119

6.5　Restart Strategy　121

6.6　SavePoint　123

第7章　Flink窗口詳解　125

7.1　Window　125

7.2　Window的使用　126

7.2.1　Time Window　127

7.2.2　Count Window　128

7.2.3　自定義Window　129

7.3　Window聚合分類(lèi)　130

7.3.1　增量聚合　130

7.3.2　全量聚合　132

第8章　Flink Time詳解　134

8.1　Time　134

8.2　Flink如何處理亂序數(shù)據(jù)　135

8.2.1　Watermark　136

8.2.2　Watermark的生成方式　137

8.3　EventTime Watermark解決亂序數(shù)據(jù)的案例詳解　138

8.3.1　實(shí)現(xiàn)Watermark的相關(guān)代碼　138

8.3.2　通過(guò)數(shù)據(jù)跟蹤Watermark的時(shí)間　142

8.3.3　利用Watermark Window處理亂序數(shù)據(jù)　149

8.3.4　Late Element的處理方式　153

8.3.5　在多并行度下的Watermark應(yīng)用　163

8.3.6　With Periodic Watermarks案例總結(jié)　165

第9章　Flink并行度詳解　166

9.1　Flink并行度　166

9.2　TaskManager和Slot　166

9.3　并行度的設(shè)置　167

9.3.1　并行度設(shè)置之Operator Level　168

9.3.2　并行度設(shè)置之Execution Environment Level　168

9.3.3　并行度設(shè)置之Client Level　169

9.3.4　并行度設(shè)置之System Level　169

9.4　并行度案例分析　169

第　10章 Flink Kafka Connector詳解　172

10.1　Kafka Connector　172

10.2　Kafka Consumer　173

10.2.1　Kafka Consumer消費(fèi)策略設(shè)置　173

10.2.2　Kafka Consumer的容錯(cuò)　175

10.2.3　動(dòng)態(tài)加載Topic　176

10.2.4　Kafka Consumer Offset自動(dòng)提交　177

10.3　Kafka Producer　177

10.3.1　Kafka Producer的使用　177

10.3.2　Kafka Producer的容錯(cuò)　179

第　11章 Flink實(shí)戰(zhàn)項(xiàng)目開(kāi)發(fā)　184

11.1　實(shí)時(shí)數(shù)據(jù)清洗（實(shí)時(shí)ETL）　184

11.1.1　需求分析　184

11.1.2　項(xiàng)目架構(gòu)設(shè)計(jì)　184

11.1.3　項(xiàng)目代碼實(shí)現(xiàn)　186

11.2　實(shí)時(shí)數(shù)據(jù)報(bào)表　205

11.2.1　需求分析　205

11.2.2　項(xiàng)目架構(gòu)設(shè)計(jì)　206

11.2.3　項(xiàng)目代碼實(shí)現(xiàn)　207

你還可能感興趣

我要評(píng)論