隨著物聯(lián)網(wǎng)與5G時代的到來，終端設(shè)備正產(chǎn)生海量數(shù)據(jù)與智能信息處理需求，人工智能逐步從云計算中心向終端設(shè)備遷移。然而，終端設(shè)備計算性能受限、應(yīng)用場景多樣等特點給終端智能信息處理帶來了巨大挑戰(zhàn)。本書圍繞在算力、能耗受限的終端設(shè)備上廣泛部署智能服務(wù)的迫切需求，研究云邊端融合的終端智能信息處理關(guān)鍵技術(shù)。以深度學(xué)習(xí)為典型智能信息處理方法，依托云邊端融合計算模式，從智能模型訓(xùn)練與部署著手，重點突破云邊端數(shù)據(jù)協(xié)同傳輸、模型云邊端融合部署、面向場景的模型持續(xù)學(xué)習(xí)等問題，系統(tǒng)介紹面向終端設(shè)備的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練與部署運行方法體系，為實現(xiàn)在性能受限的異構(gòu)終端設(shè)備上提供安全、可靠、高效的智能信息處理服務(wù)提供可行路徑。本書所述內(nèi)容，有望打通以深度學(xué)習(xí)為代表的先進人工智能方法在終端設(shè)備上高效應(yīng)用的最后一公里，為突破實現(xiàn)"萬物智能”的瓶頸性問題提供技術(shù)支撐。
王吉，2019年6月于國防科技大學(xué)獲博士學(xué)位，并留校任教，入選中國科協(xié)青年人才托舉工程。主要從事人工智能與分布式計算研究，在邊緣計算資源管理、云邊端一體化智能計算等方面取得一系列原創(chuàng)成果。博士學(xué)位論文獲中國指揮與控制學(xué)會優(yōu)秀博士學(xué)位論文、湖南省優(yōu)秀博士學(xué)位論文。在SIGKDD、AAAI、ACL、IEEE T-PDS、IEEE T-MC、IEEE T-C等人工智能、分布式計算領(lǐng)域國際頂級會議和期刊發(fā)表論文30余篇。以第一/通訊作者身份發(fā)表中國計算機學(xué)會（CCF）推薦A類論文6篇、B類論文3篇，3篇論文進入ESI前10%高引。Google學(xué)術(shù)總被引用次數(shù)1100余次，得到英國皇家工程院院士等多位院士團隊和10余位IEEE/ACM Fellow團隊論文的正面評價，得到三星SDS、百度等產(chǎn)業(yè)界人士的高度關(guān)注。部分研究成果已在軍委聯(lián)參、戰(zhàn)支部隊、阿里云等軍隊和工業(yè)部門部署應(yīng)用，在執(zhí)行重大任務(wù)、演習(xí)演訓(xùn)中發(fā)揮重要作用。
目 錄
第1章 緒論 001
1.1 終端智能信息處理 002
1.1.1 終端智能信息處理的內(nèi)涵 002
1.1.2 終端智能信息處理的現(xiàn)實需求 003
1.1.3 終端智能信息處理的挑戰(zhàn) 004
1.2 云邊端融合計算模式 005
1.2.1 云邊端融合計算模式的發(fā)展 006
1.2.2 云邊端融合的終端智能信息處理框架 007
1.2.3 云邊端融合計算模式面臨的挑戰(zhàn) 009
1.3 本書關(guān)注的問題 011
1.3.1 具體問題分析 011
1.3.2 研究內(nèi)容與創(chuàng)新點 013
1.4 本書研究的科學(xué)意義與實踐價值 017
第2章 終端設(shè)備數(shù)據(jù)傳輸鏈路自主協(xié)同選擇 019
2.1 引言 020
2.1.1 問題分析 020
2.1.2 相關(guān)工作 022
2.2 系統(tǒng)模型 023
2.3 終端設(shè)備鏈路選擇博弈 025
2.3.1 博弈模型構(gòu)建 025
2.3.2 博弈性質(zhì)分析 026
2.4 分布式鏈路選擇算法 028
2.4.1 算法設(shè)計 028
2.4.2 收斂性分析 032
2.5 實驗評估 033
2.5.1 收斂性 033
2.5.2 性能提升 035
2.5.3 原型系統(tǒng) 039
2.6 本章小結(jié) 041
第3章 終端設(shè)備數(shù)據(jù)分布式協(xié)同傳輸優(yōu)化 043
3.1 引言 044
3.1.1 問題分析 044
3.1.2 相關(guān)工作 046
3.2 系統(tǒng)模型與問題形式化 048
3.3 自適應(yīng)分布式優(yōu)化方法 050
3.3.1 關(guān)聯(lián)傳輸決策 050
3.3.2 在線分布式調(diào)度算法 054
3.3.3 理論分析 057
3.4 實驗評估 059
3.4.1 能耗-效用均衡 060
3.4.2 反饋延遲與采樣大小對性能的影響 061
3.4.3 對信道狀態(tài)的適應(yīng)性 062
3.4.4 終端設(shè)備丟失的自適應(yīng)性 065
3.4.5 性能比較 066
3.4.6 原型系統(tǒng)測試 069
3.5 本章小結(jié) 071
第4章 基于深度神經(jīng)網(wǎng)絡(luò)分割的云端協(xié)同智能推理 073
4.1 引言 074
4.1.1 問題分析 074
4.1.2 相關(guān)工作 077
4.2 預(yù)備知識 079
4.2.1 深度神經(jīng)網(wǎng)絡(luò) 079
4.2.2 遷移學(xué)習(xí) 080
4.2.3 差分隱私準則 080
4.3 云端協(xié)同智能推理框架 082
4.3.1 框架概覽 082
4.3.2 端側(cè)數(shù)據(jù)轉(zhuǎn)換 084
4.3.3 云側(cè)噪聲訓(xùn)練 087
4.4 實驗評估 090
4.4.1 參數(shù)選擇 092
4.4.2 數(shù)據(jù)轉(zhuǎn)換擾動對性能的影響 093
4.4.3 性能比較 095
4.4.4 隱私保護預(yù)算分析 096
4.4.5 原型系統(tǒng)測試 098
4.5 本章小結(jié) 099
第5章 面向端側(cè)自主智能推理的智能計算模型壓縮 101
5.1 引言 102
5.1.1 問題分析 102
5.1.2 相關(guān)工作 105
5.2 基于知識萃取的智能模型壓縮框架 105
5.2.1 框架概覽 106
5.2.2 模型壓縮訓(xùn)練 107
5.2.3 數(shù)據(jù)安全隱私保護 110
5.2.4 查詢樣本選取 112
5.3 實驗評估 115
5.3.1 參數(shù)對性能的影響 115
5.3.2 安全隱私性能分析 119
5.3.3 模型壓縮性能分析 121
5.4 本章小結(jié) 124
第6章 基于聯(lián)邦學(xué)習(xí)的云邊端協(xié)同智能模型訓(xùn)練 125
6.1 引言 126
6.1.1 問題分析 126
6.1.2 相關(guān)工作 128
6.2 預(yù)備知識 130
6.2.1 聯(lián)邦學(xué)習(xí) 130
6.2.2 動態(tài)帶寬和不可靠網(wǎng)絡(luò) 131
6.2.3 梯度壓縮 132
6.3 云邊端協(xié)同聯(lián)邦學(xué)習(xí)訓(xùn)練框架 134
6.4 面向動態(tài)不可靠網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)算法 137
6.4.1 算法設(shè)計 137
6.4.2 理論分析 140
6.5 實驗評估 141
6.5.1 實驗設(shè)置 142
6.5.2 整體性能比較 144
6.5.3 準確性比較 146
6.5.4 通信效率比較 148
6.5.5 通信壓縮率的影響 149
6.5.6 不可靠網(wǎng)絡(luò)的影響 151
6.5.7 終端規(guī)模的影響 151
6.6 本章小結(jié) 152
第7章 基于完全分布式學(xué)習(xí)的端側(cè)智能模型訓(xùn)練 155
7.1 引言 156
7.1.1 問題分析 156
7.1.2 相關(guān)工作 158
7.2 完全分布式智能模型訓(xùn)練框架 159
7.3 分布式訓(xùn)練動態(tài)控制算法 161
7.3.1 模型構(gòu)建 161
7.3.2 問題形式化 165
7.3.3 問題求解的近似 167
7.3.4 算法設(shè)計 169
7.4 實驗評估 171
7.4.1 整體性能比較 173
7.4.2 準確性比較 174
7.4.3 資源效率比較 175
7.4.4 數(shù)據(jù)分布的影響 177
7.4.5 資源預(yù)算的影響 178
7.4.6 終端移動性的影響 180
7.4.7 終端規(guī)模的影響 180
7.4.8 原型系統(tǒng)測試 182
7.5 本章小結(jié) 185
附錄A LocalUpdate（ ）函數(shù)、FedAvg及C-FedAvg算法 187
A.1 LocalUpdate（ ）函數(shù) 188
A.2 FedAvg及C-FedAvg算法 189
附錄B 定理6.1證明 191
附錄C Alpha-GossipSGD中的相關(guān)函數(shù) 195
C.1 LocalUpdate函數(shù) 196
C.2 MNLRS函數(shù) 197
C.3 Alpha-Gossip函數(shù) 199
參考文獻 202
書單推薦
