大數(shù)據(jù)技術(shù)正處于快速發(fā)展之中，不斷有新的技術(shù)涌現(xiàn)，Hadoop和Spark等技術(shù)成為其中的佼佼者。在Spark流行之前，Hadoop儼然已成為大數(shù)據(jù)技術(shù)的事實(shí)標(biāo)準(zhǔn)，在企業(yè)中得到了廣泛的應(yīng)用，但其本身還存在諸多缺陷，主要的缺陷是MapReduce計(jì)算模型延遲過(guò)高，無(wú)法勝任實(shí)時(shí)、快速計(jì)算的需求，因而只適用離線批處理的應(yīng)用場(chǎng)景。Spark在設(shè)計(jì)上充分吸收和借鑒了MapReduce的精髓并加以改進(jìn)，同時(shí)，采用了先進(jìn)的DAG執(zhí)行引擎，以支持循環(huán)數(shù)據(jù)流與內(nèi)存計(jì)算，因此，在性能上比MapReduce有了大幅度的提升，迅速獲得了學(xué)界和業(yè)界的廣泛關(guān)注。作為大數(shù)據(jù)計(jì)算平臺(tái)的后起之秀，Spark在2014年打破了Hadoop保持的基準(zhǔn)排序紀(jì)錄，此后逐漸發(fā)展成為大數(shù)據(jù)領(lǐng)域熱門的大數(shù)據(jù)計(jì)算平臺(tái)之一。
但是，Spark的短板在于無(wú)法滿足毫秒級(jí)別的企業(yè)實(shí)時(shí)數(shù)據(jù)分析需求。Spark的流計(jì)算組件Spark Streaming的核心思路是將流數(shù)據(jù)分解成一系列短小的批處理作業(yè)，每個(gè)短小的批處理作業(yè)都可以使用Spark Core進(jìn)行快速處理。但是，Spark Streaming在實(shí)現(xiàn)高吞吐和容錯(cuò)性的同時(shí)，卻犧牲了低延遲和實(shí)時(shí)處理能力，快只能滿足秒級(jí)的實(shí)時(shí)計(jì)算需求，無(wú)法滿足毫秒級(jí)的實(shí)時(shí)計(jì)算需求。由于Spark Streaming組件的延遲較高，快響應(yīng)時(shí)間都要在秒級(jí)，無(wú)法滿足一些需要更快響應(yīng)時(shí)間的企業(yè)應(yīng)用的需求，所以，Spark社區(qū)又推出了Structured Streaming。Structured Streaming是一種基于Spark SQL引擎構(gòu)建的、可擴(kuò)展且容錯(cuò)的流處理引擎。Structured Streaming包括微批處理和持續(xù)處理兩種處理模型。采用微批處理時(shí)，快響應(yīng)時(shí)間需要100ms，無(wú)法支持毫秒級(jí)別響應(yīng)。采用持續(xù)處理模型時(shí)，可以支持毫秒級(jí)別響應(yīng)，但是，只能做到至少一次一致性，無(wú)法做到精確一次一致性。
因此，市場(chǎng)需要一款能夠?qū)崿F(xiàn)毫秒級(jí)別響應(yīng)并且支持精確一次一致性的、高吞吐、高性能的流計(jì)算框架，而Flink是當(dāng)前能夠滿足上述要求的產(chǎn)品，它正在成為大數(shù)據(jù)領(lǐng)域流處理的標(biāo)配組件。
筆者帶領(lǐng)的廈門大學(xué)計(jì)算機(jī)科學(xué)系數(shù)據(jù)庫(kù)實(shí)驗(yàn)室團(tuán)隊(duì)，是國(guó)內(nèi)高校較早從事大數(shù)據(jù)教學(xué)的團(tuán)隊(duì)之一。在寫(xiě)本書(shū)之前，我們已經(jīng)做了大量前期的相關(guān)工作。從2013年至今，已經(jīng)出版了8本大數(shù)據(jù)教材，內(nèi)容涵蓋導(dǎo)論課、入門課、進(jìn)階課和實(shí)訓(xùn)課，包括《大數(shù)據(jù)導(dǎo)論(通識(shí)課版)》(用于開(kāi)設(shè)全校公共選修課)、《大數(shù)據(jù)導(dǎo)論》(用于開(kāi)設(shè)大數(shù)據(jù)專業(yè)導(dǎo)論課)、《大數(shù)據(jù)技術(shù)原理與應(yīng)用》(用于開(kāi)設(shè)入門級(jí)大數(shù)據(jù)專業(yè)課)、《大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程》(用于開(kāi)設(shè)入門級(jí)大數(shù)據(jù)專業(yè)課)、《Spark編程基礎(chǔ)(Scala版)》(用于開(kāi)設(shè)進(jìn)階級(jí)大數(shù)據(jù)專業(yè)課)、《Spark編程基礎(chǔ)(Python版)》(用于開(kāi)設(shè)進(jìn)階級(jí)大數(shù)據(jù)專業(yè)課)、《大數(shù)據(jù)實(shí)訓(xùn)案例之電影推薦系統(tǒng)(Scala版)》(用于開(kāi)設(shè)大數(shù)據(jù)實(shí)訓(xùn)課程)和《大數(shù)據(jù)實(shí)訓(xùn)案例之電信用戶行為分析(Scala版)》(用于開(kāi)設(shè)大數(shù)據(jù)實(shí)訓(xùn)課程)。這些教材已經(jīng)在國(guó)內(nèi)高校得到了廣泛使用，其中，《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材的銷量已經(jīng)突破了15萬(wàn)冊(cè)，得到了廣大一線教師的高度認(rèn)可和好評(píng)。學(xué)習(xí)Flink需要有一定的大數(shù)據(jù)基礎(chǔ)知識(shí)，因此，建議讀者在學(xué)習(xí)本書(shū)之前，先學(xué)習(xí)《大數(shù)據(jù)技術(shù)原理與應(yīng)用》。為了幫助讀者更好地學(xué)習(xí)本書(shū)，我們?yōu)榻滩呐涮捉ㄔO(shè)了高校大數(shù)據(jù)課程公共服務(wù)平臺(tái)，截至目前，平臺(tái)累計(jì)訪問(wèn)量已經(jīng)突破1000萬(wàn)，在全國(guó)高校形成了廣泛的影響力，并榮獲2018年廈門大學(xué)教學(xué)成果特等獎(jiǎng)和2018年福建省教學(xué)成果二等獎(jiǎng)。為了幫助高校教師更好地教授大數(shù)據(jù)課程，我們每年都舉辦大數(shù)據(jù)師資培訓(xùn)交流班，目前已經(jīng)累計(jì)為全國(guó)400多所高校培養(yǎng)了600余位大數(shù)據(jù)教師。上述所有工作，使筆者對(duì)于撰寫(xiě)一本優(yōu)秀的Flink教材有了更深的認(rèn)識(shí)和更強(qiáng)的信心。
本書(shū)共8章，詳細(xì)介紹了Flink的環(huán)境搭建和基礎(chǔ)編程方法。第1章介紹大數(shù)據(jù)技術(shù)，幫助讀者形成對(duì)大數(shù)據(jù)技術(shù)的總體性認(rèn)識(shí)以及Flink在其中所扮演的角色；第2章介紹Scala語(yǔ)言基礎(chǔ)知識(shí)，為學(xué)習(xí)基于Scala語(yǔ)言的Flink編程奠定基礎(chǔ)；第3章介紹Flink的設(shè)計(jì)與運(yùn)行原理；第4章介紹Flink環(huán)境搭建和使用方法，為開(kāi)展Flink編程實(shí)踐鋪平道路；第5章介紹DataStream API，包括DataStream編程模型、窗口的劃分、時(shí)間概念、窗口計(jì)算、水位線、狀態(tài)編程；第6章介紹DataSet API，包括DataSet編程模型、數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)輸出、迭代計(jì)算和廣播變量；第7章介紹Table API&SQL，包括編程模型、Flink Table API、Flink SQL和自定義函數(shù)；第8章介紹FlinkCEP，包括Pattern API和模式的檢測(cè)等。
本書(shū)面向高校大數(shù)據(jù)、計(jì)算機(jī)、軟件工程等專業(yè)的學(xué)生，可以作為專業(yè)必修課或選修課教材。本書(shū)由林子雨和陶繼平執(zhí)筆，其中，林子雨負(fù)責(zé)書(shū)稿規(guī)劃、統(tǒng)稿、校對(duì)和在線資源創(chuàng)作，并撰寫(xiě)第1、3、4、5、6、7、8章的內(nèi)容，陶繼平負(fù)責(zé)撰寫(xiě)第2章的內(nèi)容。
在本書(shū)的撰寫(xiě)過(guò)程中，廈門大學(xué)計(jì)算機(jī)科學(xué)系碩士研究生鄭宛玉、陳杰祥、陳紹緯、周偉敬、阮敏朝、劉官山和黃連福等做了大量輔助性工作，在此，向這些同學(xué)的辛勤工作表示衷心的感謝。同時(shí)，感謝夏小云老師在書(shū)稿校對(duì)過(guò)程中的辛勤付出。
本書(shū)官方網(wǎng)站免費(fèi)提供了全部配套資源的在線瀏覽和下載，并接受錯(cuò)誤反饋和發(fā)布勘誤信息。同時(shí)，F(xiàn)link作為大數(shù)據(jù)進(jìn)階課程，在學(xué)習(xí)過(guò)程中會(huì)涉及大量相關(guān)的大數(shù)據(jù)基礎(chǔ)知識(shí)以及各種大數(shù)據(jù)軟件的安裝和使用方法，因此，推薦讀者訪問(wèn)廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室建設(shè)的國(guó)內(nèi)高校首個(gè)大數(shù)據(jù)課程公共服務(wù)平臺(tái)，來(lái)獲得必要的輔助學(xué)習(xí)內(nèi)容。
在本書(shū)的撰寫(xiě)過(guò)程中，參考了大量網(wǎng)絡(luò)資料和相關(guān)書(shū)籍，對(duì)Flink技術(shù)進(jìn)行了系統(tǒng)梳理，有選擇性地把一些重要知識(shí)納入本書(shū)。由于筆者能力有限，本書(shū)難免存在不足之處，望廣大讀者不吝賜教。

林子雨廈門大學(xué)計(jì)算機(jī)科學(xué)系數(shù)據(jù)庫(kù)實(shí)驗(yàn)室2021年6月