云邊協(xié)同大數(shù)據(jù)技術與應用
定 價:89 元
叢書名:大數(shù)據(jù)技術叢書
本書以云邊協(xié)同技術的發(fā)展歷程為線索,介紹云邊協(xié)同技術體系,具體內容組織如下。
第1章以云邊協(xié)同技術為線索,首先介紹云計算與邊緣計算的發(fā)展歷程,然后梳理云邊協(xié)同技術的發(fā)展,并詳細介紹云邊協(xié)同數(shù)據(jù)處理系統(tǒng)發(fā)展過程中的驅動因素,以及數(shù)據(jù)處理在云邊協(xié)同架構下的模式演化和未來的復雜應用的潛在計算模式。
第2章詳細介紹云邊協(xié)同環(huán)境下的數(shù)據(jù)預處理技術,對云邊協(xié)同環(huán)境下需要處理的數(shù)據(jù)具有的多樣性、異構性、限制性、穩(wěn)定性和高吞吐等特點做了介紹,然后對數(shù)據(jù)清理、集成、歸約等預處理技術以及典型批流融合處理架構和系統(tǒng)進行詳細介紹,最后展示了典型技術案例SlimML。
第3章具體介紹邊緣智能技術,包括邊緣訓練前沿技術(如通信開銷優(yōu)化、梯度計算優(yōu)化等)和邊緣推斷前沿技術(如模型壓縮、模型分割、多模型并行、多模型流水線等)。
第4章著重介紹物聯(lián)網與邊緣智能數(shù)據(jù)安全隱私,從數(shù)據(jù)安全與隱私技術的起源和發(fā)展講起,對云邊協(xié)同環(huán)境下的數(shù)據(jù)安全挑戰(zhàn)進行總結,最后詳細介紹實現(xiàn)數(shù)據(jù)安全與隱私保護的差分隱私技術、安全多方計算技術、同態(tài)加密技術和區(qū)塊鏈技術,并展望了未來的數(shù)據(jù)安全與隱私保護技術。
第5章從實際的云邊協(xié)同應用出發(fā),詳細介紹視頻、工業(yè)互聯(lián)網和智慧城市場景中的典型云邊協(xié)同技術及其面臨的挑戰(zhàn)。
本書的讀者對象主要包括大數(shù)據(jù)應用開發(fā)人員、大數(shù)據(jù)運維工程師、高校和研究院大數(shù)據(jù)方向師生以及開源軟件愛好者。
探索云邊協(xié)同關鍵技術,賦能新型大數(shù)據(jù)應用場景。
讀者群入群通道:關注【華章計算機】公眾號,回復【大數(shù)據(jù)】
隨著物聯(lián)網的不斷發(fā)展,越來越多的終端設備,如可穿戴設備、環(huán)境監(jiān)控設備、傳感器、虛擬現(xiàn)實設備等,具有了接入互聯(lián)網的能力,并產生了海量的異構數(shù)據(jù)交互。傳統(tǒng)的云平臺已經不能滿足不斷涌現(xiàn)出來的新型應用對數(shù)據(jù)處理任務的響應速度、延遲、高吞吐和容錯性等方面的要求,因而引發(fā)了學術界和工業(yè)界對云邊協(xié)同平臺的數(shù)據(jù)處理技術的廣泛研究。本書以云邊協(xié)同技術為主線,首先介紹云計算與邊緣計算的發(fā)展歷程,然后詳細介紹云邊協(xié)同環(huán)境下霧計算、邊緣計算等與傳統(tǒng)云平臺相結合而催生的典型云邊協(xié)同技術及其實際應用場景和案例。 本書作為為數(shù)不多的全面總結云邊協(xié)同技術及其應用場景的書籍,從云計算和邊緣計算的發(fā)展歷程開始講起,由淺入深,對云邊協(xié)同的發(fā)展歷程、云邊協(xié)同所要解決的技術挑戰(zhàn)等做了總結,然后詳細介紹了典型的云邊協(xié)同技術和框架,并在實際應用場景下講述如何應用這些技術,同時對未來的云邊協(xié)同技術做了展望。本書試圖通過既簡單又系統(tǒng)的方式讓讀者了解云邊協(xié)同的前世今生,熟悉典型的云邊協(xié)同技術及其應用場景,進而對整個云邊協(xié)同技術體系有一個全面的認識。 為幫助讀者輕松閱讀并理解書中內容,本書不僅有詳細的文字描述,還插入了大量的圖表。此外,對于典型的云邊協(xié)同技術,書中多從具體的應用場景出發(fā),分析所要解決的技術挑戰(zhàn),然后介紹該應用場景中具體用到的云邊協(xié)同技術,由點及面,向讀者展現(xiàn)整個云邊協(xié)同技術體系。在組織形式上,本書具有三大特色: 系統(tǒng)性:從云邊協(xié)同技術的發(fā)展背景開始,深入典型技術和實際應用,全方位剖析云邊協(xié)同大數(shù)據(jù)技術及其應用; 技術性:對云邊協(xié)同環(huán)境下的典型技術進行了詳盡介紹,如第2章中的云邊協(xié)同數(shù)據(jù)預處理技術,第3章中的邊緣訓練和邊緣推斷前沿技術,第4章中的差分隱私技術、安全多方計算技術等; 實用性:理論和實踐相結合,介紹了大量云邊協(xié)同技術在典型場景下的挑戰(zhàn)和應用,如第5章中的智慧倉儲、智能配電、自動駕駛、智能家居等。 本書以云邊協(xié)同技術的發(fā)展歷程為線索,介紹云邊協(xié)同技術體系,具體內容組織如下: 第1章:主要從云計算和邊緣計算的發(fā)展歷程開始介紹,然后對云邊協(xié)同階段的問題與挑戰(zhàn)、云邊協(xié)同數(shù)據(jù)處理、云邊協(xié)同系統(tǒng)管理和云邊協(xié)同的典型場景進行詳細介紹,讓讀者從宏觀層面了解云邊協(xié)同技術體系。 第2章:重點介紹云邊協(xié)同的數(shù)據(jù)處理系統(tǒng)。先總體介紹云邊協(xié)同環(huán)境下數(shù)據(jù)處理所面臨的問題和挑戰(zhàn),然后重點介紹云邊協(xié)同環(huán)境下的數(shù)據(jù)預處理技術,包括數(shù)據(jù)清理、數(shù)據(jù)集成和數(shù)據(jù)歸約;接著介紹批流融合處理架構與系統(tǒng),包括 Lambda 和 Kappa 架構,并對云邊協(xié)同環(huán)境下的批流融合處理前沿技術進行討論;最后就典型技術案例 SlimML 進行詳細介紹。 第3章:對邊緣計算和人工智能的結合—邊緣智能進行詳細介紹。先總結了云邊協(xié)同環(huán)境下邊緣智能所面臨的技術挑戰(zhàn);然后詳細介紹邊緣訓練前沿技術,包括中心化/去中心化訓練、隱私保護、通信開銷優(yōu)化、梯度計算優(yōu)化等;接著對邊緣推斷前沿技術進行詳細介紹,包括輸入過濾、模型壓縮、模型分割、邊緣緩存、多模型并行、多模型流水線、模型最優(yōu)選擇和模型生成等。 第4章:主要介紹云邊協(xié)同下隱私計算技術的相關應用場景以及技術方案。首先介紹隱私保護技術的起源與發(fā)展,接著對云邊協(xié)同場景下的數(shù)據(jù)安全場景以及惡意威脅模型進行詳細介紹,之后討論差分隱私技術、安全多方計算技術、同態(tài)加密技術、區(qū)塊鏈技術的相關方案以及應用場景,最后對隱私計算領域的未來趨勢做了展望。 第5章:從視頻大數(shù)據(jù)、工業(yè)互聯(lián)網大數(shù)據(jù)、智慧城市大數(shù)據(jù)3個方面介紹云邊協(xié)同大數(shù)據(jù)的典型應用,著重介紹數(shù)據(jù)具有的典型特征、云邊協(xié)同在相關領域下的“云-邊-端”三層應用架構以及關鍵問題和相關前沿技術,并且針對每個領域的一些案例,給出云邊協(xié)同場景下的解決方案。 由于筆者的水平有限,編寫時間倉促,書中難免會有一些錯誤或者不準確的地方,請讀者原諒,并提出寶貴意見。
韓銳北京理工大學特別研究員,博士生導師。2010年畢業(yè)于清華大學并獲優(yōu)秀碩士畢業(yè)生,2014年博士畢業(yè)于英國帝國理工學院,2014年3月至2018年6月在中國科學院計算所工作。專注于研究面向典型負載(機器學習、深度學習、互聯(lián)網服務)的云計算系統(tǒng)優(yōu)化,在 TPDS、TC、TKDE、TSC等領域頂級(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會議上發(fā)表超過40篇論文,Google學術引用1000 余次。劉馳北京理工大學計算機學院副院長,教授,博士生導師。智能信息技術北京市重點實驗室主任,國家優(yōu)秀青年科學基金獲得者,國家重點研發(fā)計劃首席科學家,中國電子學會會士,英國工程技術學會會士,英國計算機學會會士。分別于清華大學和英國帝國理工學院獲得學士和博士學位,后在德國電信研究總院任博士后研究員,在美國IBM T.J.Watson研究中心和IBM中國研究院任研究主管。主要研究方向是智能物聯(lián)網技術。曾主持國家重點研發(fā)計劃“工業(yè)軟件”重點專項項目、國家自然科學基金青年/面上/優(yōu)青/重點項目、國家重點研發(fā)計劃課題等。現(xiàn)任國家信息產業(yè)“十四五”規(guī)劃專家顧問組成員、第四屆全國信標委技術委員會委員、IEEE Transactions on Network Science and Engineering編委等。獲得KDD'21最佳論文亞軍,以及省部級一等獎、二等獎、三等獎各1項。
前言 作者簡介 第1章 云邊協(xié)同大數(shù)據(jù)系統(tǒng)概述 1 1.1 云邊協(xié)同發(fā)展歷程 1 1.1.1 探索階段 1 1.1.2 云階段 3 1.1.3 云邊協(xié)同階段 7 1.2 云邊協(xié)同數(shù)據(jù)處理 12 1.2.1 數(shù)據(jù)來源 12 1.2.2 處理模式 13 1.3 云邊協(xié)同系統(tǒng)管理 18 1.3.1 云邊協(xié)同負載 18 1.3.2 任務管理 25 1.3.3 資源管理 29 1.3.4 應用管理 33 1.4 云邊協(xié)同典型場景 35 1.4.1 物聯(lián)網大數(shù)據(jù) 35 1.4.2 視頻大數(shù)據(jù) 41 1.4.3 智能駕駛大數(shù)據(jù) 47 1.5 本章小結 52 參考文獻 54 第2章 云邊融合的數(shù)據(jù)處理系統(tǒng) 60 2.1 云邊協(xié)同環(huán)境下的數(shù)據(jù)處理簡介 60 2.1.1 背景 60 2.1.2 環(huán)境 61 2.1.3 數(shù)據(jù) 63 2.1.4 處理模式 63 2.1.5 問題與挑戰(zhàn) 64 2.2 云邊協(xié)同環(huán)境下的數(shù)據(jù)預處理 66 2.2.1 簡介 66 2.2.2 數(shù)據(jù)質量 67 2.2.3 數(shù)據(jù)清理 68 2.2.4 數(shù)據(jù)集成 77 2.2.5 數(shù)據(jù)歸約 80 2.2.6 數(shù)據(jù)預處理小結 84 2.3 批流融合處理架構與系統(tǒng) 84 2.3.1 批流融合處理架構 85 2.3.2 批流處理系統(tǒng)的發(fā)展 86 2.3.3 批流融合處理前沿技術 91 2.4 典型技術案例SlimML 95 2.4.1 背景 95 2.4.2 非關鍵點驗證 97 2.4.3 總體思想 100 2.4.4 架構 101 2.4.5 評測 105 2.5 本章小結 112 參考文獻 112 第3章 邊緣智能 119 3.1 背景 119 3.1.1 邊緣計算 119 3.1.2 邊緣智能 119 3.2 挑戰(zhàn) 121 3.3 邊緣訓練前沿技術 122 3.3.1 邊緣訓練簡介 122 3.3.2 中心化/去中心化訓練簡介 123 3.3.3 隱私保護 126 3.3.4 通信開銷優(yōu)化 131 3.3.5 梯度計算優(yōu)化 135 3.3.6 邊緣訓練小結 139 3.4 邊緣推斷前沿技術 140 3.4.1 邊緣推斷簡介 140 3.4.2 模型角度優(yōu)化 141 3.4.3 系統(tǒng)角度優(yōu)化 151 3.4.4 模型最優(yōu)選擇 155 3.4.5 模型自動生成 156 3.4.6 邊緣推斷小結 157 3.5 本章小結 158 參考文獻 160 第4章 物聯(lián)網與邊緣智能數(shù)據(jù)安全隱私 165 4.1 數(shù)據(jù)安全與隱私技術的起源與發(fā)展 165 4.1.1 隱私技術的起源與發(fā)展 166 4.1.2 隱私保護技術現(xiàn)狀 168 4.2 云邊協(xié)同下的數(shù)據(jù)安全挑戰(zhàn) 169 4.2.1 云邊協(xié)同下的數(shù)據(jù)安全場景 169 4.2.2 云邊協(xié)同下的惡意威脅模型 172 4.2.3 數(shù)據(jù)安全關鍵挑戰(zhàn) 174 4.2.4 數(shù)據(jù)泄露案例 176 4.3 差分隱私技術 177 4.3.1 相關應用場景與挑戰(zhàn) 177 4.3.2 差分隱私技術簡介 177 4.3.3 差分隱私技術應用 182 4.3.4 相關前沿研究簡介 183 4.4 安全多方計算技術 183 4.4.1 相關應用場景與挑戰(zhàn) 183 4.4.2 安全多方計算簡介 184 4.4.3 安全多方計算應用 189 4.4.4 相關前沿研究簡介 192 4.5 同態(tài)加密技術 192 4.5.1 相關應用場景與挑戰(zhàn) 192 4.5.2 同態(tài)加密技術簡介 193 4.5.3 同態(tài)加密技術應用 195 4.5.4 相關前沿研究簡介 197 4.6 區(qū)塊鏈技術 197 4.6.1 相關應用場景與挑戰(zhàn) 197 4.6.2 區(qū)塊鏈技術簡介 198 4.6.3 區(qū)塊鏈技術應用 201 4.6.4 相關前沿研究簡介 202 4.7 未來技術展望 202 4.8 本章小結 203 參考文獻 203 第5章 云邊協(xié)同典型應用 206 5.1 視頻大數(shù)據(jù) 206 5.1.1 簡介 206 5.1.2 數(shù)據(jù)特征 207 5.1.3 相關技術 209 5.1.4 典型案例 217 5.2 工業(yè)互聯(lián)網大數(shù)據(jù) 219 5.2.1 簡介 219 5.2.2 數(shù)據(jù)特征 220 5.2.3 相關技術 223 5.2.4 典型案例 227 5.3 智慧城市大數(shù)據(jù) 230 5.3.1 簡介 230 5.3.2 數(shù)據(jù)特征 232 5.3.3 關鍵問題和前沿技術 233 5.3.4 典型案例 238 5.4 本章小結 243 參考文獻 243