云邊協(xié)同大數(shù)據(jù)技術(shù)與應(yīng)用
定 價(jià):89 元
叢書名:大數(shù)據(jù)技術(shù)叢書
本書以云邊協(xié)同技術(shù)的發(fā)展歷程為線索,介紹云邊協(xié)同技術(shù)體系,具體內(nèi)容組織如下。
第1章以云邊協(xié)同技術(shù)為線索,首先介紹云計(jì)算與邊緣計(jì)算的發(fā)展歷程,然后梳理云邊協(xié)同技術(shù)的發(fā)展,并詳細(xì)介紹云邊協(xié)同數(shù)據(jù)處理系統(tǒng)發(fā)展過(guò)程中的驅(qū)動(dòng)因素,以及數(shù)據(jù)處理在云邊協(xié)同架構(gòu)下的模式演化和未來(lái)的復(fù)雜應(yīng)用的潛在計(jì)算模式。
第2章詳細(xì)介紹云邊協(xié)同環(huán)境下的數(shù)據(jù)預(yù)處理技術(shù),對(duì)云邊協(xié)同環(huán)境下需要處理的數(shù)據(jù)具有的多樣性、異構(gòu)性、限制性、穩(wěn)定性和高吞吐等特點(diǎn)做了介紹,然后對(duì)數(shù)據(jù)清理、集成、歸約等預(yù)處理技術(shù)以及典型批流融合處理架構(gòu)和系統(tǒng)進(jìn)行詳細(xì)介紹,最后展示了典型技術(shù)案例SlimML。
第3章具體介紹邊緣智能技術(shù),包括邊緣訓(xùn)練前沿技術(shù)(如通信開(kāi)銷優(yōu)化、梯度計(jì)算優(yōu)化等)和邊緣推斷前沿技術(shù)(如模型壓縮、模型分割、多模型并行、多模型流水線等)。
第4章著重介紹物聯(lián)網(wǎng)與邊緣智能數(shù)據(jù)安全隱私,從數(shù)據(jù)安全與隱私技術(shù)的起源和發(fā)展講起,對(duì)云邊協(xié)同環(huán)境下的數(shù)據(jù)安全挑戰(zhàn)進(jìn)行總結(jié),最后詳細(xì)介紹實(shí)現(xiàn)數(shù)據(jù)安全與隱私保護(hù)的差分隱私技術(shù)、安全多方計(jì)算技術(shù)、同態(tài)加密技術(shù)和區(qū)塊鏈技術(shù),并展望了未來(lái)的數(shù)據(jù)安全與隱私保護(hù)技術(shù)。
第5章從實(shí)際的云邊協(xié)同應(yīng)用出發(fā),詳細(xì)介紹視頻、工業(yè)互聯(lián)網(wǎng)和智慧城市場(chǎng)景中的典型云邊協(xié)同技術(shù)及其面臨的挑戰(zhàn)。
本書的讀者對(duì)象主要包括大數(shù)據(jù)應(yīng)用開(kāi)發(fā)人員、大數(shù)據(jù)運(yùn)維工程師、高校和研究院大數(shù)據(jù)方向師生以及開(kāi)源軟件愛(ài)好者。
探索云邊協(xié)同關(guān)鍵技術(shù),賦能新型大數(shù)據(jù)應(yīng)用場(chǎng)景。
讀者群入群通道:關(guān)注【華章計(jì)算機(jī)】公眾號(hào),回復(fù)【大數(shù)據(jù)】
隨著物聯(lián)網(wǎng)的不斷發(fā)展,越來(lái)越多的終端設(shè)備,如可穿戴設(shè)備、環(huán)境監(jiān)控設(shè)備、傳感器、虛擬現(xiàn)實(shí)設(shè)備等,具有了接入互聯(lián)網(wǎng)的能力,并產(chǎn)生了海量的異構(gòu)數(shù)據(jù)交互。傳統(tǒng)的云平臺(tái)已經(jīng)不能滿足不斷涌現(xiàn)出來(lái)的新型應(yīng)用對(duì)數(shù)據(jù)處理任務(wù)的響應(yīng)速度、延遲、高吞吐和容錯(cuò)性等方面的要求,因而引發(fā)了學(xué)術(shù)界和工業(yè)界對(duì)云邊協(xié)同平臺(tái)的數(shù)據(jù)處理技術(shù)的廣泛研究。本書以云邊協(xié)同技術(shù)為主線,首先介紹云計(jì)算與邊緣計(jì)算的發(fā)展歷程,然后詳細(xì)介紹云邊協(xié)同環(huán)境下霧計(jì)算、邊緣計(jì)算等與傳統(tǒng)云平臺(tái)相結(jié)合而催生的典型云邊協(xié)同技術(shù)及其實(shí)際應(yīng)用場(chǎng)景和案例。 本書作為為數(shù)不多的全面總結(jié)云邊協(xié)同技術(shù)及其應(yīng)用場(chǎng)景的書籍,從云計(jì)算和邊緣計(jì)算的發(fā)展歷程開(kāi)始講起,由淺入深,對(duì)云邊協(xié)同的發(fā)展歷程、云邊協(xié)同所要解決的技術(shù)挑戰(zhàn)等做了總結(jié),然后詳細(xì)介紹了典型的云邊協(xié)同技術(shù)和框架,并在實(shí)際應(yīng)用場(chǎng)景下講述如何應(yīng)用這些技術(shù),同時(shí)對(duì)未來(lái)的云邊協(xié)同技術(shù)做了展望。本書試圖通過(guò)既簡(jiǎn)單又系統(tǒng)的方式讓讀者了解云邊協(xié)同的前世今生,熟悉典型的云邊協(xié)同技術(shù)及其應(yīng)用場(chǎng)景,進(jìn)而對(duì)整個(gè)云邊協(xié)同技術(shù)體系有一個(gè)全面的認(rèn)識(shí)。 為幫助讀者輕松閱讀并理解書中內(nèi)容,本書不僅有詳細(xì)的文字描述,還插入了大量的圖表。此外,對(duì)于典型的云邊協(xié)同技術(shù),書中多從具體的應(yīng)用場(chǎng)景出發(fā),分析所要解決的技術(shù)挑戰(zhàn),然后介紹該應(yīng)用場(chǎng)景中具體用到的云邊協(xié)同技術(shù),由點(diǎn)及面,向讀者展現(xiàn)整個(gè)云邊協(xié)同技術(shù)體系。在組織形式上,本書具有三大特色: 系統(tǒng)性:從云邊協(xié)同技術(shù)的發(fā)展背景開(kāi)始,深入典型技術(shù)和實(shí)際應(yīng)用,全方位剖析云邊協(xié)同大數(shù)據(jù)技術(shù)及其應(yīng)用; 技術(shù)性:對(duì)云邊協(xié)同環(huán)境下的典型技術(shù)進(jìn)行了詳盡介紹,如第2章中的云邊協(xié)同數(shù)據(jù)預(yù)處理技術(shù),第3章中的邊緣訓(xùn)練和邊緣推斷前沿技術(shù),第4章中的差分隱私技術(shù)、安全多方計(jì)算技術(shù)等; 實(shí)用性:理論和實(shí)踐相結(jié)合,介紹了大量云邊協(xié)同技術(shù)在典型場(chǎng)景下的挑戰(zhàn)和應(yīng)用,如第5章中的智慧倉(cāng)儲(chǔ)、智能配電、自動(dòng)駕駛、智能家居等。 本書以云邊協(xié)同技術(shù)的發(fā)展歷程為線索,介紹云邊協(xié)同技術(shù)體系,具體內(nèi)容組織如下: 第1章:主要從云計(jì)算和邊緣計(jì)算的發(fā)展歷程開(kāi)始介紹,然后對(duì)云邊協(xié)同階段的問(wèn)題與挑戰(zhàn)、云邊協(xié)同數(shù)據(jù)處理、云邊協(xié)同系統(tǒng)管理和云邊協(xié)同的典型場(chǎng)景進(jìn)行詳細(xì)介紹,讓讀者從宏觀層面了解云邊協(xié)同技術(shù)體系。 第2章:重點(diǎn)介紹云邊協(xié)同的數(shù)據(jù)處理系統(tǒng)。先總體介紹云邊協(xié)同環(huán)境下數(shù)據(jù)處理所面臨的問(wèn)題和挑戰(zhàn),然后重點(diǎn)介紹云邊協(xié)同環(huán)境下的數(shù)據(jù)預(yù)處理技術(shù),包括數(shù)據(jù)清理、數(shù)據(jù)集成和數(shù)據(jù)歸約;接著介紹批流融合處理架構(gòu)與系統(tǒng),包括 Lambda 和 Kappa 架構(gòu),并對(duì)云邊協(xié)同環(huán)境下的批流融合處理前沿技術(shù)進(jìn)行討論;最后就典型技術(shù)案例 SlimML 進(jìn)行詳細(xì)介紹。 第3章:對(duì)邊緣計(jì)算和人工智能的結(jié)合—邊緣智能進(jìn)行詳細(xì)介紹。先總結(jié)了云邊協(xié)同環(huán)境下邊緣智能所面臨的技術(shù)挑戰(zhàn);然后詳細(xì)介紹邊緣訓(xùn)練前沿技術(shù),包括中心化/去中心化訓(xùn)練、隱私保護(hù)、通信開(kāi)銷優(yōu)化、梯度計(jì)算優(yōu)化等;接著對(duì)邊緣推斷前沿技術(shù)進(jìn)行詳細(xì)介紹,包括輸入過(guò)濾、模型壓縮、模型分割、邊緣緩存、多模型并行、多模型流水線、模型最優(yōu)選擇和模型生成等。 第4章:主要介紹云邊協(xié)同下隱私計(jì)算技術(shù)的相關(guān)應(yīng)用場(chǎng)景以及技術(shù)方案。首先介紹隱私保護(hù)技術(shù)的起源與發(fā)展,接著對(duì)云邊協(xié)同場(chǎng)景下的數(shù)據(jù)安全場(chǎng)景以及惡意威脅模型進(jìn)行詳細(xì)介紹,之后討論差分隱私技術(shù)、安全多方計(jì)算技術(shù)、同態(tài)加密技術(shù)、區(qū)塊鏈技術(shù)的相關(guān)方案以及應(yīng)用場(chǎng)景,最后對(duì)隱私計(jì)算領(lǐng)域的未來(lái)趨勢(shì)做了展望。 第5章:從視頻大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)、智慧城市大數(shù)據(jù)3個(gè)方面介紹云邊協(xié)同大數(shù)據(jù)的典型應(yīng)用,著重介紹數(shù)據(jù)具有的典型特征、云邊協(xié)同在相關(guān)領(lǐng)域下的“云-邊-端”三層應(yīng)用架構(gòu)以及關(guān)鍵問(wèn)題和相關(guān)前沿技術(shù),并且針對(duì)每個(gè)領(lǐng)域的一些案例,給出云邊協(xié)同場(chǎng)景下的解決方案。 由于筆者的水平有限,編寫時(shí)間倉(cāng)促,書中難免會(huì)有一些錯(cuò)誤或者不準(zhǔn)確的地方,請(qǐng)讀者原諒,并提出寶貴意見(jiàn)。
韓銳北京理工大學(xué)特別研究員,博士生導(dǎo)師。2010年畢業(yè)于清華大學(xué)并獲優(yōu)秀碩士畢業(yè)生,2014年博士畢業(yè)于英國(guó)帝國(guó)理工學(xué)院,2014年3月至2018年6月在中國(guó)科學(xué)院計(jì)算所工作。專注于研究面向典型負(fù)載(機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、互聯(lián)網(wǎng)服務(wù))的云計(jì)算系統(tǒng)優(yōu)化,在 TPDS、TC、TKDE、TSC等領(lǐng)域頂級(jí)(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會(huì)議上發(fā)表超過(guò)40篇論文,Google學(xué)術(shù)引用1000 余次。劉馳北京理工大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng),教授,博士生導(dǎo)師。智能信息技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室主任,國(guó)家優(yōu)秀青年科學(xué)基金獲得者,國(guó)家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家,中國(guó)電子學(xué)會(huì)會(huì)士,英國(guó)工程技術(shù)學(xué)會(huì)會(huì)士,英國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)士。分別于清華大學(xué)和英國(guó)帝國(guó)理工學(xué)院獲得學(xué)士和博士學(xué)位,后在德國(guó)電信研究總院任博士后研究員,在美國(guó)IBM T.J.Watson研究中心和IBM中國(guó)研究院任研究主管。主要研究方向是智能物聯(lián)網(wǎng)技術(shù)。曾主持國(guó)家重點(diǎn)研發(fā)計(jì)劃“工業(yè)軟件”重點(diǎn)專項(xiàng)項(xiàng)目、國(guó)家自然科學(xué)基金青年/面上/優(yōu)青/重點(diǎn)項(xiàng)目、國(guó)家重點(diǎn)研發(fā)計(jì)劃課題等,F(xiàn)任國(guó)家信息產(chǎn)業(yè)“十四五”規(guī)劃專家顧問(wèn)組成員、第四屆全國(guó)信標(biāo)委技術(shù)委員會(huì)委員、IEEE Transactions on Network Science and Engineering編委等。獲得KDD'21最佳論文亞軍,以及省部級(jí)一等獎(jiǎng)、二等獎(jiǎng)、三等獎(jiǎng)各1項(xiàng)。
前言 作者簡(jiǎn)介 第1章 云邊協(xié)同大數(shù)據(jù)系統(tǒng)概述 1 1.1 云邊協(xié)同發(fā)展歷程 1 1.1.1 探索階段 1 1.1.2 云階段 3 1.1.3 云邊協(xié)同階段 7 1.2 云邊協(xié)同數(shù)據(jù)處理 12 1.2.1 數(shù)據(jù)來(lái)源 12 1.2.2 處理模式 13 1.3 云邊協(xié)同系統(tǒng)管理 18 1.3.1 云邊協(xié)同負(fù)載 18 1.3.2 任務(wù)管理 25 1.3.3 資源管理 29 1.3.4 應(yīng)用管理 33 1.4 云邊協(xié)同典型場(chǎng)景 35 1.4.1 物聯(lián)網(wǎng)大數(shù)據(jù) 35 1.4.2 視頻大數(shù)據(jù) 41 1.4.3 智能駕駛大數(shù)據(jù) 47 1.5 本章小結(jié) 52 參考文獻(xiàn) 54 第2章 云邊融合的數(shù)據(jù)處理系統(tǒng) 60 2.1 云邊協(xié)同環(huán)境下的數(shù)據(jù)處理簡(jiǎn)介 60 2.1.1 背景 60 2.1.2 環(huán)境 61 2.1.3 數(shù)據(jù) 63 2.1.4 處理模式 63 2.1.5 問(wèn)題與挑戰(zhàn) 64 2.2 云邊協(xié)同環(huán)境下的數(shù)據(jù)預(yù)處理 66 2.2.1 簡(jiǎn)介 66 2.2.2 數(shù)據(jù)質(zhì)量 67 2.2.3 數(shù)據(jù)清理 68 2.2.4 數(shù)據(jù)集成 77 2.2.5 數(shù)據(jù)歸約 80 2.2.6 數(shù)據(jù)預(yù)處理小結(jié) 84 2.3 批流融合處理架構(gòu)與系統(tǒng) 84 2.3.1 批流融合處理架構(gòu) 85 2.3.2 批流處理系統(tǒng)的發(fā)展 86 2.3.3 批流融合處理前沿技術(shù) 91 2.4 典型技術(shù)案例SlimML 95 2.4.1 背景 95 2.4.2 非關(guān)鍵點(diǎn)驗(yàn)證 97 2.4.3 總體思想 100 2.4.4 架構(gòu) 101 2.4.5 評(píng)測(cè) 105 2.5 本章小結(jié) 112 參考文獻(xiàn) 112 第3章 邊緣智能 119 3.1 背景 119 3.1.1 邊緣計(jì)算 119 3.1.2 邊緣智能 119 3.2 挑戰(zhàn) 121 3.3 邊緣訓(xùn)練前沿技術(shù) 122 3.3.1 邊緣訓(xùn)練簡(jiǎn)介 122 3.3.2 中心化/去中心化訓(xùn)練簡(jiǎn)介 123 3.3.3 隱私保護(hù) 126 3.3.4 通信開(kāi)銷優(yōu)化 131 3.3.5 梯度計(jì)算優(yōu)化 135 3.3.6 邊緣訓(xùn)練小結(jié) 139 3.4 邊緣推斷前沿技術(shù) 140 3.4.1 邊緣推斷簡(jiǎn)介 140 3.4.2 模型角度優(yōu)化 141 3.4.3 系統(tǒng)角度優(yōu)化 151 3.4.4 模型最優(yōu)選擇 155 3.4.5 模型自動(dòng)生成 156 3.4.6 邊緣推斷小結(jié) 157 3.5 本章小結(jié) 158 參考文獻(xiàn) 160 第4章 物聯(lián)網(wǎng)與邊緣智能數(shù)據(jù)安全隱私 165 4.1 數(shù)據(jù)安全與隱私技術(shù)的起源與發(fā)展 165 4.1.1 隱私技術(shù)的起源與發(fā)展 166 4.1.2 隱私保護(hù)技術(shù)現(xiàn)狀 168 4.2 云邊協(xié)同下的數(shù)據(jù)安全挑戰(zhàn) 169 4.2.1 云邊協(xié)同下的數(shù)據(jù)安全場(chǎng)景 169 4.2.2 云邊協(xié)同下的惡意威脅模型 172 4.2.3 數(shù)據(jù)安全關(guān)鍵挑戰(zhàn) 174 4.2.4 數(shù)據(jù)泄露案例 176 4.3 差分隱私技術(shù) 177 4.3.1 相關(guān)應(yīng)用場(chǎng)景與挑戰(zhàn) 177 4.3.2 差分隱私技術(shù)簡(jiǎn)介 177 4.3.3 差分隱私技術(shù)應(yīng)用 182 4.3.4 相關(guān)前沿研究簡(jiǎn)介 183 4.4 安全多方計(jì)算技術(shù) 183 4.4.1 相關(guān)應(yīng)用場(chǎng)景與挑戰(zhàn) 183 4.4.2 安全多方計(jì)算簡(jiǎn)介 184 4.4.3 安全多方計(jì)算應(yīng)用 189 4.4.4 相關(guān)前沿研究簡(jiǎn)介 192 4.5 同態(tài)加密技術(shù) 192 4.5.1 相關(guān)應(yīng)用場(chǎng)景與挑戰(zhàn) 192 4.5.2 同態(tài)加密技術(shù)簡(jiǎn)介 193 4.5.3 同態(tài)加密技術(shù)應(yīng)用 195 4.5.4 相關(guān)前沿研究簡(jiǎn)介 197 4.6 區(qū)塊鏈技術(shù) 197 4.6.1 相關(guān)應(yīng)用場(chǎng)景與挑戰(zhàn) 197 4.6.2 區(qū)塊鏈技術(shù)簡(jiǎn)介 198 4.6.3 區(qū)塊鏈技術(shù)應(yīng)用 201 4.6.4 相關(guān)前沿研究簡(jiǎn)介 202 4.7 未來(lái)技術(shù)展望 202 4.8 本章小結(jié) 203 參考文獻(xiàn) 203 第5章 云邊協(xié)同典型應(yīng)用 206 5.1 視頻大數(shù)據(jù) 206 5.1.1 簡(jiǎn)介 206 5.1.2 數(shù)據(jù)特征 207 5.1.3 相關(guān)技術(shù) 209 5.1.4 典型案例 217 5.2 工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù) 219 5.2.1 簡(jiǎn)介 219 5.2.2 數(shù)據(jù)特征 220 5.2.3 相關(guān)技術(shù) 223 5.2.4 典型案例 227 5.3 智慧城市大數(shù)據(jù) 230 5.3.1 簡(jiǎn)介 230 5.3.2 數(shù)據(jù)特征 232 5.3.3 關(guān)鍵問(wèn)題和前沿技術(shù) 233 5.3.4 典型案例 238 5.4 本章小結(jié) 243 參考文獻(xiàn) 243