第 一部分 引言 第 1章 表征學(xué)習(xí) 2 1.1 導(dǎo)讀 2 1.2 不同領(lǐng)域的表征學(xué)習(xí) 3 1.2.1 用于圖像處理的表征學(xué)習(xí) 3 1.2.2 用于語音識(shí)別的表征學(xué)習(xí) 5 1.2.3 用于自然語言處理的表征學(xué)習(xí) 7 1.2.4 用于網(wǎng)絡(luò)分析的表征學(xué)習(xí) 8 1.3 小結(jié) 9 第 2章 圖表征學(xué)習(xí) 11 2.1 導(dǎo)讀 11 2.2 傳統(tǒng)圖嵌入方法 12 2.3 現(xiàn)代圖嵌入方法 13 2.3.1 保留圖結(jié)構(gòu)和屬性的圖表征學(xué)習(xí) 13 2.3.2 帶有側(cè)面信息的圖表征學(xué)習(xí) 15 2.3.3 保留高級(jí)信息的圖表征學(xué)習(xí) 15 2.4 圖神經(jīng)網(wǎng)絡(luò) 16 2.5 小結(jié) 17 第3章 圖神經(jīng)網(wǎng)絡(luò) 18 3.1 導(dǎo)讀 18 3.2 圖神經(jīng)網(wǎng)絡(luò)概述 19 3.2.1 圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 19 3.2.2 圖神經(jīng)網(wǎng)絡(luò)前沿 20 3.2.3 圖神經(jīng)網(wǎng)絡(luò)應(yīng)用 22 3.2.4 本書組織結(jié)構(gòu) 23 3.3 小結(jié) 24 第二部分 基礎(chǔ) 第4章 用于節(jié)點(diǎn)分類的圖神經(jīng)網(wǎng)絡(luò) 28 4.1 背景和問題定義 28 4.2 有監(jiān)督的圖神經(jīng)網(wǎng)絡(luò) 29 4.2.1 圖神經(jīng)網(wǎng)絡(luò)的一般框架 29 4.2.2 圖卷積網(wǎng)絡(luò) 30 4.2.3 圖注意力網(wǎng)絡(luò) 32 4.2.4 消息傳遞神經(jīng)網(wǎng)絡(luò) 33 4.2.5 連續(xù)圖神經(jīng)網(wǎng)絡(luò) 33 4.2.6 多尺度譜圖卷積網(wǎng)絡(luò) 35 4.3 無監(jiān)督的圖神經(jīng)網(wǎng)絡(luò) 37 4.3.1 變分圖自編碼器 37 4.3.2 深度圖信息最大化 39 4.4 過平滑問題 41 4.5 小結(jié) 42 第5章 圖神經(jīng)網(wǎng)絡(luò)的表達(dá)能力 44 5.1 導(dǎo)讀 44 5.2 圖表征學(xué)習(xí)和問題的提出 47 5.3 強(qiáng)大的消息傳遞圖神經(jīng)網(wǎng)絡(luò) 49 5.3.1 用于集合的神經(jīng)網(wǎng)絡(luò) 49 5.3.2 消息傳遞圖神經(jīng)網(wǎng)絡(luò) 50 5.3.3 MP-GNN的表達(dá)能力 51 5.3.4 具有1-WL測試能力的MP-GNN 53 5.4 比1-WL測試更強(qiáng)大的圖神經(jīng)網(wǎng)絡(luò)架構(gòu) 54 5.4.1 MP-GNN的局限性 54 5.4.2 注入隨機(jī)屬性 56 5.4.3 注入確定性距離屬性 61 5.4.4 建立高階圖神經(jīng)網(wǎng)絡(luò) 65 5.5 小結(jié) 69 第6章 圖神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性 71 6.1 導(dǎo)讀 71 6.2 引言 72 6.3 抽樣范式 72 6.3.1 節(jié)點(diǎn)級(jí)抽樣 74 6.3.2 層級(jí)抽樣 76 6.3.3 圖級(jí)抽樣 79 6.4 大規(guī)模圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的應(yīng)用 82 6.4.1 物品-物品推薦 82 6.4.2 用戶-物品推薦 83 6.5 未來的方向 84 第7章 圖神經(jīng)網(wǎng)絡(luò)的可解釋性 86 7.1 背景：深度模型的可解釋性 86 7.1.1 可解釋性和解釋的定義 86 7.1.2 解釋的價(jià)值 87 7.1.3 傳統(tǒng)的解釋方法 88 7.1.4 機(jī)遇與挑戰(zhàn) 90 7.2 圖神經(jīng)網(wǎng)絡(luò)的解釋方法 90 7.2.1 背景 91 7.2.2 基于近似的解釋 92 7.2.3 基于相關(guān)性傳播的解釋 95 7.2.4 基于擾動(dòng)的解釋 96 7.2.5 生成式解釋 97 7.3 圖神經(jīng)網(wǎng)絡(luò)的可解釋模型 97 7.3.1 基于GNN的注意力模型 98 7.3.2 圖上的解耦化表征學(xué)習(xí) 100 7.4 圖神經(jīng)網(wǎng)絡(luò)解釋的評(píng)估 101 7.4.1 基準(zhǔn)數(shù)據(jù)集 101 7.4.2 評(píng)價(jià)指標(biāo) 103 7.5 未來的方向 103 第8章 圖神經(jīng)網(wǎng)絡(luò)的對(duì)抗魯棒性 105 8.1 動(dòng)機(jī) 105 8.2 圖神經(jīng)網(wǎng)絡(luò)的局限性：對(duì)抗性樣本 107 8.2.1 對(duì)抗性攻擊的分類 107 8.2.2 擾動(dòng)的影響和一些啟示 110 8.2.3 討論和未來的方向 112 8.3 可證明的魯棒性：圖神經(jīng)網(wǎng)絡(luò)的認(rèn)證 113 8.3.1 特定模型的認(rèn)證 113 8.3.2 模型無關(guān)的認(rèn)證 115 8.3.3 高級(jí)認(rèn)證和討論 116 8.4 提高圖神經(jīng)網(wǎng)絡(luò)的魯棒性 117 8.4.1 改進(jìn)圖 117 8.4.2 改進(jìn)訓(xùn)練過程 118 8.4.3 改進(jìn)圖神經(jīng)網(wǎng)絡(luò)的架構(gòu) 120 8.4.4 討論和未來的方向 121 8.5 從魯棒性的角度進(jìn)行適當(dāng)評(píng)估 122 8.6 小結(jié) 124 第三部分 前沿 第9章 圖分類 128 9.1 導(dǎo)讀 128 9.2 用于圖分類的圖神經(jīng)網(wǎng)絡(luò)：典型工作和現(xiàn)代架構(gòu) 129 9.2.1 空間方法 129 9.2.2 頻譜方法 132 9.3 池化層：從節(jié)點(diǎn)級(jí)輸出學(xué)習(xí)圖級(jí)輸出 133 9.3.1 基于注意力的池化層 134 9.3.2 基于聚類的池化層 134 9.3.3 其他池化層 134 9.4 圖神經(jīng)網(wǎng)絡(luò)和高階層在圖分類中的局限性 135 9.5 圖神經(jīng)網(wǎng)絡(luò)在圖分類中的應(yīng)用 137 9.6 基準(zhǔn)數(shù)據(jù)集 137 9.7 小結(jié) 138 第 10章 鏈接預(yù)測 139 10.1 導(dǎo)讀 139 10.2 傳統(tǒng)的鏈接預(yù)測方法 140 10.2.1 啟發(fā)式方法 140 10.2.2 潛在特征方法 143 10.2.3 基于內(nèi)容的方法 145 10.3 基于GNN的鏈接預(yù)測方法 145 10.3.1 基于節(jié)點(diǎn)的方法 145 10.3.2 基于子圖的方法 147 10.3.3 比較基于節(jié)點(diǎn)的方法和基于子圖的方法 150 10.4 鏈接預(yù)測的理論 151 10.4.1 γ–衰減啟發(fā)式理論 151 10.4.2 貼標(biāo)簽技巧 155 10.5 未來的方向 158 10.5.1 加速基于子圖的方法 158 10.5.2 設(shè)計(jì)更強(qiáng)大的貼標(biāo)簽技巧 159 10.5.3 了解何時(shí)使用獨(dú)熱特征 159 第 11章 圖生成 160 11.1 導(dǎo)讀 160 11.2 經(jīng)典的圖生成模型 160 11.2.1 Erd s-Rényi模型 161 11.2.2 隨機(jī)塊模型 162 11.3 深度圖生成模型 163 11.3.1 表征圖 163 11.3.2 變分自編碼器方法 164 11.3.3 深度自回歸方法 168 11.3.4 生成對(duì)抗網(wǎng)絡(luò)方法 174 11.4 小結(jié) 178 第 12章 圖轉(zhuǎn)換 179 12.1 圖轉(zhuǎn)換問題的形式化 179 12.2 節(jié)點(diǎn)級(jí)轉(zhuǎn)換 180 12.2.1 節(jié)點(diǎn)級(jí)轉(zhuǎn)換的定義 180 12.2.2 交互網(wǎng)絡(luò) 180 12.2.3 時(shí)空卷積循環(huán)神經(jīng)網(wǎng)絡(luò) 181 12.3 邊級(jí)轉(zhuǎn)換 182 12.3.1 邊級(jí)轉(zhuǎn)換的定義 182 12.3.2 圖轉(zhuǎn)換生成對(duì)抗網(wǎng)絡(luò) 183 12.3.3 多尺度圖轉(zhuǎn)換網(wǎng)絡(luò) 184 12.3.4 圖轉(zhuǎn)換策略網(wǎng)絡(luò) 185 12.4 節(jié)點(diǎn)-邊共轉(zhuǎn)換 186 12.4.1 節(jié)點(diǎn)-邊共轉(zhuǎn)換的定義 186 12.4.2 基于編輯的節(jié)點(diǎn)-邊共轉(zhuǎn)換 190 12.5 其他基于圖的轉(zhuǎn)換 193 12.5.1 序列到圖的轉(zhuǎn)換 193 12.5.2 圖到序列的轉(zhuǎn)換 194 12.5.3 上下文到圖的轉(zhuǎn)換 195 12.6 小結(jié) 196 第 13章 圖匹配 197 13.1 導(dǎo)讀 197 13.2 圖匹配學(xué)習(xí) 198 13.2.1 問題的定義 199 13.2.2 基于深度學(xué)習(xí)的圖匹配模型 200 13.2.3 基于GNN的圖匹配模型 201 13.3 圖相似性學(xué)習(xí) 205 13.3.1 問題的定義 205 13.3.2 圖-圖回歸任務(wù) 206 13.3.3 圖-圖分類任務(wù) 209 13.4 小結(jié) 210 第 14章 圖結(jié)構(gòu)學(xué)習(xí) 211 14.1 導(dǎo)讀 211 14.2 傳統(tǒng)的圖結(jié)構(gòu)學(xué)習(xí) 212 14.2.1 無監(jiān)督圖結(jié)構(gòu)學(xué)習(xí) 212 14.2.2 有監(jiān)督圖結(jié)構(gòu)學(xué)習(xí) 214 14.3 圖神經(jīng)網(wǎng)絡(luò)的圖結(jié)構(gòu)學(xué)習(xí) 215 14.3.1 圖結(jié)構(gòu)和表征的聯(lián)合學(xué)習(xí) 216 14.3.2 與其他問題的聯(lián)系 225 14.4 未來的方向 226 14.4.1 魯棒的圖結(jié)構(gòu)學(xué)習(xí) 226 14.4.2 可擴(kuò)展的圖結(jié)構(gòu)學(xué)習(xí) 226 14.4.3 異質(zhì)圖的圖結(jié)構(gòu)學(xué)習(xí) 227 14.5 小結(jié) 227 第 15章 動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò) 228 15.1 導(dǎo)讀 228 15.2 背景和表示法 229 15.2.1 圖神經(jīng)網(wǎng)絡(luò) 229 15.2.2 序列模型 230 15.2.3 編碼器-解碼器框架和模型訓(xùn)練 233 15.3 動(dòng)態(tài)圖的類型 233 15.3.1 離散型與連續(xù)型 234 15.3.2 演變類型 235 15.3.3 預(yù)測問題、內(nèi)插法和外推法 235 15.4 用圖神經(jīng)網(wǎng)絡(luò)對(duì)動(dòng)態(tài)圖進(jìn)行建模 236 15.4.1 將動(dòng)態(tài)圖轉(zhuǎn)換為靜態(tài)圖 236 15.4.2 用于DTDG的圖神經(jīng)網(wǎng)絡(luò) 238 15.4.3 用于CTDG的圖神經(jīng)網(wǎng)絡(luò) 240 15.5 應(yīng)用 242 15.5.1 基于骨架的人類活動(dòng)識(shí)別 243 15.5.2 交通預(yù)測 244 15.5.3 時(shí)序知識(shí)圖譜補(bǔ)全 245 15.6 小結(jié) 247 第 16章 異質(zhì)圖神經(jīng)網(wǎng)絡(luò) 248 16.1 HGNN簡介 248 16.1.1 HG的基本概念 249 16.1.2 異質(zhì)性給HG嵌入帶來的獨(dú)特挑戰(zhàn) 250 16.1.3 對(duì)HG嵌入最新發(fā)展的簡要概述 251 16.2 淺層模型 251 16.2.1 基于分解的方法 252 16.2.2 基于隨機(jī)游走的方法 253 16.3 深度模型 254 16.3.1 基于消息傳遞的方法 254 16.3.2 基于編碼器-解碼器的方法 257 16.3.3 基于對(duì)抗的方法 257 16.4 回顧 259 16.5 未來的方向 259 16.5.1 結(jié)構(gòu)和屬性保存 259 16.5.2 更深入的探索 260 16.5.3 可靠性 260 16.5.4 應(yīng)用 261 第 17章 自動(dòng)機(jī)器學(xué)習(xí) 262 17.1 背景 262 17.1.1 AutoGNN的表示法 264 17.1.2 AutoGNN的問題定義 264 17.1.3 AutoGNN的挑戰(zhàn) 265 17.2 搜索空間 265 17.2.1 架構(gòu)搜索空間 266 17.2.2 訓(xùn)練超參數(shù)搜索空間 268 17.2.3 高效的搜索空間 269 17.3 搜索算法 269 17.3.1 隨機(jī)搜索 269 17.3.2 進(jìn)化搜索 270 17.3.3 基于強(qiáng)化學(xué)習(xí)的搜索 270 17.3.4 可微搜索 271 17.3.5 高效的表現(xiàn)評(píng)估 272 17.4 未來的方向 273 第 18章 自監(jiān)督學(xué)習(xí) 275 18.1 導(dǎo)讀 275 18.2 自監(jiān)督學(xué)習(xí)概述 276 18.3 將SSL應(yīng)用于圖神經(jīng)網(wǎng)絡(luò)：對(duì)訓(xùn)練策略、損失函數(shù)和代理任務(wù)進(jìn)行分類 277 18.3.1 訓(xùn)練策略 278 18.3.2 損失函數(shù) 281 18.3.3 代理任務(wù) 283 18.4 節(jié)點(diǎn)級(jí)代理任務(wù) 283 18.4.1 基于結(jié)構(gòu)的節(jié)點(diǎn)級(jí)代理任務(wù) 284 18.4.2 基于特征的節(jié)點(diǎn)級(jí)代理任務(wù) 285 18.4.3 混合代理任務(wù) 285 18.5 圖級(jí)代理任務(wù) 287 18.5.1 基于結(jié)構(gòu)的圖級(jí)代理任務(wù) 287 18.5.2 基于特征的圖級(jí)代理任務(wù) 291 18.5.3 混合代理任務(wù) 291 18.6 節(jié)點(diǎn)-圖級(jí)代理任務(wù) 293 18.7 討論 294 18.8 小結(jié) 295 第四部分 廣泛和新興的應(yīng)用 第 19章 現(xiàn)代推薦系統(tǒng)中的圖神經(jīng)網(wǎng)絡(luò) 298 19.1 圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的實(shí)踐 298 19.1.1 簡介 298 19.1.2 預(yù)測用戶-物品偏好的經(jīng)典方法 302 19.1.3 用戶-物品推薦系統(tǒng)中的物品推薦：二分圖的視角 302 19.2 案例研究1：動(dòng)態(tài)的GNN學(xué)習(xí) 304 19.2.1 動(dòng)態(tài)序貫圖 304 19.2.2 DSGL 304 19.2.3 模型預(yù)測 307 19.2.4 實(shí)驗(yàn)和討論 308 19.3 案例研究2：設(shè)備-云協(xié)作的GNN學(xué)習(xí) 309 19.3.1 提議的框架 309 19.3.2 實(shí)驗(yàn)和討論 312 19.4 未來的方向 313 第 20章 計(jì)算機(jī)視覺中的圖神經(jīng)網(wǎng)絡(luò) 315 20.1 導(dǎo)讀 315 20.2 將視覺表征為圖 316 20.2.1 視覺節(jié)點(diǎn)表征 316 20.2.2 視覺邊表征 317 20.3 案例研究1：圖像 318 20.3.1 物體檢測 318 20.3.2 圖像分類 319 20.4 案例研究2：視頻 320 20.4.1 視頻動(dòng)作識(shí)別 320 20.4.2 時(shí)序動(dòng)作定位 322 20.5 其他相關(guān)工作：跨媒體 322 20.5.1 視覺描述 322 20.5.2 視覺問答 323 20.5.3 跨媒體檢索 324 20.6 圖神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的前沿問題 324 20.6.1 用于計(jì)算機(jī)視覺的高級(jí)圖神經(jīng)網(wǎng)絡(luò) 325 20.6.2 圖神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的更廣泛應(yīng)用 325 20.7 小結(jié) 326 第 21章 自然語言處理中的圖神經(jīng)網(wǎng)絡(luò) 327 21.1 導(dǎo)讀 327 21.2 將文本建模為圖 329 21.2.1 自然語言處理中的圖表征 329 21.2.2 從圖的角度完成自然語言處理任務(wù) 330 21.3 案例研究1：基于圖的文本聚類和匹配 332 21.3.1 基于圖聚類的熱點(diǎn)事件發(fā)現(xiàn)和組織 332 21.3.2 使用圖分解和卷積進(jìn)行長文檔匹配 333 21.4 案例研究2：基于圖的多跳閱讀理解 335 21.5 未來的方向 338 21.6 小結(jié) 339 第 22章 程序分析中的圖神經(jīng)網(wǎng)絡(luò) 341 22.1 導(dǎo)讀 341 22.2 程序分析中的機(jī)器學(xué)習(xí) 342 22.3 程序的圖表征 343 22.4 用于程序圖的圖神經(jīng)網(wǎng)絡(luò) 345 22.5 案例研究1：檢測變量誤用缺陷 346 22.6 案例研究2：預(yù)測動(dòng)態(tài)類型化語言中的類型 348 22.7 未來的方向 350 第 23章 軟件挖掘中的圖神經(jīng)網(wǎng)絡(luò) 352 23.1 導(dǎo)讀 352 23.2 將軟件建模為圖 353 23.2.1 宏觀與微觀層面的表征 353 23.2.2 將宏觀和微觀層面的表征結(jié)合起來 354 23.3 相關(guān)的軟件挖掘任務(wù) 355 23.4 軟件挖掘任務(wù)實(shí)例：源代碼總結(jié) 357 23.4.1 基于GNN的源代碼總結(jié)快速入門 357 23.4.2 改進(jìn)的方向 363 23.5 小結(jié) 364 第 24章 藥物開發(fā)中基于圖神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)知識(shí)圖譜挖掘 366 24.1 導(dǎo)讀 366 24.2 現(xiàn)有的生物醫(yī)學(xué)知識(shí)圖譜 367 24.3 知識(shí)圖譜的推理 369 24.3.1 傳統(tǒng)的KG推理技術(shù) 370 24.3.2 基于GNN的KG推理技術(shù) 371 24.4 藥物開發(fā)中基于KG的假設(shè)生成 374 24.4.1 基于KG的藥物再利用的機(jī)器學(xué)習(xí)框架 374 24.4.2 基于KG的藥物再利用在COVID-19中的應(yīng)用 375 24.5 未來的方向 376 24.5.1 KG質(zhì)量控制 376 24.5.2 可擴(kuò)展的推理 377 24.5.3 KG與其他生物醫(yī)學(xué)數(shù)據(jù)的結(jié)合 378 第 25章 預(yù)測蛋白質(zhì)功能和相互作用的圖神經(jīng)網(wǎng)絡(luò) 383 25.1 從蛋白質(zhì)的相互作用到功能簡介 383 25.1.1 登上舞臺(tái)：蛋白質(zhì)-蛋白質(zhì)相互作用網(wǎng)絡(luò) 384 25.1.2 問題形式化、假設(shè)和噪聲：從歷史的視角 384 25.1.3 淺層機(jī)器學(xué)習(xí)模型 385 25.1.4 好戲上演：圖神經(jīng)網(wǎng)絡(luò) 386 25.2 三個(gè)典型的案例研究 387 25.2.1 案例研究1：蛋白質(zhì)-蛋白質(zhì)和蛋白質(zhì)-藥物相互作用的預(yù)測 387 25.2.2 案例研究2：蛋白質(zhì)功能和功能重要的殘差的預(yù)測 389 25.2.3 案例研究3：使用圖自編碼器從生物網(wǎng)絡(luò)的表征中學(xué)習(xí)多關(guān)系鏈接預(yù)測 391 25.3 未來的方向 393 第 26章 異常檢測中的圖神經(jīng)網(wǎng)絡(luò) 395 26.1 導(dǎo)讀 395 26.2 基于GNN的異常檢測的問題 397 26.2.1 特定于數(shù)據(jù)的問題 397 26.2.2 特定于任務(wù)的問題 399 26.2.3 特定于模型的問題 399 26.3 流水線 400 26.3.1 圖的構(gòu)建和轉(zhuǎn)換 400 26.3.2 圖表征學(xué)習(xí) 401 26.3.3 預(yù)測 402 26.4 分類法 403 26.5 案例研究 404 26.5.1 案例研究1：用于惡意賬戶檢測的圖嵌入 404 26.5.2 案例研究2：基于層次注意力機(jī)制的套現(xiàn)用戶檢測 404 26.5.3 案例研究3：用于惡意程序檢測的注意力異質(zhì)圖神經(jīng)網(wǎng)絡(luò) 405 26.5.4 案例研究4：通過圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)程序表征和相似性度量的圖匹配框架，用于檢測未知的惡意程序 406 26.5.5 案例研究5：使用基于注意力的時(shí)間GCN進(jìn)行動(dòng)態(tài)圖的異常檢測 408 26.5.6 案例研究6：使用GAS進(jìn)行垃圾評(píng)論檢測 408 26.6 未來的方向 409 第 27章 智慧城市中的圖神經(jīng)網(wǎng)絡(luò) 410 27.1 用于智慧城市的圖神經(jīng)網(wǎng)絡(luò) 410 27.1.1 導(dǎo)讀 410 27.1.2 圖神經(jīng)網(wǎng)絡(luò)在智慧城市中的應(yīng)用場景 411 27.1.3 將城市系統(tǒng)表征為圖 413 27.1.4 案例研究1：圖神經(jīng)網(wǎng)絡(luò)在交通和城市規(guī)劃中的應(yīng)用 415 27.1.5 案例研究2：圖神經(jīng)網(wǎng)絡(luò)在城市事件和異常情況預(yù)測中的應(yīng)用 417 27.1.6 案例研究3：圖神經(jīng)網(wǎng)絡(luò)在城市人類行為分析中的應(yīng)用 417 27.2 未來的方向 419 參考文獻(xiàn) 420