推薦序一
推薦序二
推薦序三
前言
致謝
第1章人工智能系統(tǒng)概述1
本章簡介1
內(nèi)容概覽2
1.1　深度學(xué)習(xí)的歷史、現(xiàn)狀與發(fā)展2
1.1.1　深度學(xué)習(xí)的廣泛應(yīng)用2
1.1.2　深度學(xué)習(xí)方法4
1.1.3　神經(jīng)網(wǎng)絡(luò)基本理論的奠定5
1.1.4　深度學(xué)習(xí)算法、模型的現(xiàn)狀和趨勢9
1.1.5　小結(jié)與討論12
1.1.6　參考文獻(xiàn)12
1.2　算法、框架、體系結(jié)構(gòu)與算力的進(jìn)步13
1.2.1　大數(shù)據(jù)和分布式系統(tǒng)13
1.2.2　深度學(xué)習(xí)算法的進(jìn)步15
1.2.3　計(jì)算機(jī)體系結(jié)構(gòu)和計(jì)算能力的進(jìn)步17
1.2.4　計(jì)算框架的進(jìn)步18
1.2.5　小結(jié)與討論21
1.2.6　參考文獻(xiàn)21
1.3　深度學(xué)習(xí)系統(tǒng)的組成與生態(tài)22
1.3.1　深度學(xué)習(xí)系統(tǒng)的設(shè)計(jì)目標(biāo)22
1.3.2　深度學(xué)習(xí)系統(tǒng)的大致組成24
1.3.3　深度學(xué)習(xí)系統(tǒng)的生態(tài)27
1.3.4　小結(jié)與討論29
1.3.5　參考文獻(xiàn)29
1.4　深度學(xué)習(xí)樣例背后的系統(tǒng)問題29
1.4.1　一個(gè)深度學(xué)習(xí)樣例與其中的系統(tǒng)問題30
1.4.2　模型算子實(shí)現(xiàn)中的系統(tǒng)問題33
1.4.3　框架執(zhí)行深度學(xué)習(xí)模型的生命周期36
1.4.4　更廣泛的人工智能系統(tǒng)生態(tài)40
1.4.5　深度學(xué)習(xí)框架及工具入門實(shí)驗(yàn)41
1.4.6　小結(jié)與討論44
1.4.7　參考文獻(xiàn)44
1.5　影響深度學(xué)習(xí)系統(tǒng)設(shè)計(jì)的理論、原則與假設(shè)44
1.5.1　抽象層次化表示與解釋45
1.5.2　摩爾定律與算力發(fā)展趨勢49
1.5.3　局部性原則與內(nèi)存層次結(jié)構(gòu)52
1.5.4　線性代數(shù)計(jì)算與模型缺陷容忍特性59
1.5.5　并行加速與阿姆達(dá)爾定律優(yōu)化上限64
1.5.6　冗余與可靠性67
1.5.7　小結(jié)與討論68
1.5.8　參考文獻(xiàn)68
第2章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)70
本章簡介70
內(nèi)容概覽70
2.1　神經(jīng)網(wǎng)絡(luò)的基本概念70
2.1.1　神經(jīng)元的數(shù)學(xué)模型71
2.1.2　神經(jīng)網(wǎng)絡(luò)的主要功能72
2.1.3　激活函數(shù)73
2.1.4　小結(jié)與討論78
2.2　神經(jīng)網(wǎng)絡(luò)訓(xùn)練78
2.2.1　基本訓(xùn)練流程78
2.2.2　損失函數(shù)80
2.2.3　梯度下降82
2.2.4　反向傳播85
2.2.5　小結(jié)與討論85
2.3　解決回歸問題85
2.3.1　提出問題86
2.3.2　萬能近似定理86
2.3.3　定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)87
2.3.4　前向計(jì)算88
2.3.5　反向傳播89
2.3.6　運(yùn)行結(jié)果91
2.3.7　小結(jié)與討論92
2.4　解決分類問題92
2.4.1　提出問題92
2.4.2　定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)93
2.4.3　前向計(jì)算94
2.4.4　反向傳播95
2.4.5　運(yùn)行結(jié)果96
2.4.6　小結(jié)與討論96
2.5　深度神經(jīng)網(wǎng)絡(luò)97
2.5.1　抽象與設(shè)計(jì)97
2.5.2　權(quán)重矩陣初始化98
2.5.3　批量歸一化99
2.5.4　過擬合101
2.5.5　小結(jié)與討論103
2.6　梯度下降優(yōu)化算法103
2.6.1　隨機(jī)梯度下降算法103
2.6.2　動量算法104
2.6.3　Adam算法105
2.6.4　小結(jié)與討論105
2.7　卷積神經(jīng)網(wǎng)絡(luò)105
2.7.1　卷積神經(jīng)網(wǎng)絡(luò)的能力105
2.7.2　卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)106
2.7.3　卷積核的作用107
2.7.4　卷積后續(xù)的運(yùn)算109
2.7.5　卷積神經(jīng)網(wǎng)絡(luò)的特性110
2.7.6　卷積類型111
2.7.7　小結(jié)與討論115
2.8　循環(huán)神經(jīng)網(wǎng)絡(luò)115
2.8.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史115
2.8.2　循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和典型用途117
2.8.3　小結(jié)與討論118
2.9　Transformer模型118
2.9.1　序列到序列模型119
2.9.2　注意力機(jī)制120
2.9.3　Transformer122
2.9.4　小結(jié)與討論125
第3章深度學(xué)習(xí)框架基礎(chǔ)126
本章簡介126
內(nèi)容概覽126
3.1　基于數(shù)據(jù)流圖的深度學(xué)習(xí)框架126
3.1.1　深度學(xué)習(xí)框架發(fā)展概述126
3.1.2　編程范式：聲明式和命令式128
3.1.3　數(shù)據(jù)流圖129
3.1.4　張量和張量操作130
3.1.5　自動微分基礎(chǔ)131
3.1.6　數(shù)據(jù)流圖上的自動微分135
3.1.7　數(shù)據(jù)流圖的調(diào)度與執(zhí)行136
3.1.8　單設(shè)備算子間調(diào)度136
3.1.9　圖切分與多設(shè)備執(zhí)行137
3.1.10　小結(jié)與討論138
3.1.11　參考文獻(xiàn)138
3.2　神經(jīng)網(wǎng)絡(luò)計(jì)算中的控制流139
3.2.1　背景139
3.2.2　靜態(tài)圖：向數(shù)據(jù)流圖中添加控制流原語141
3.2.3　動態(tài)圖：復(fù)用宿主語言控制流語句143
3.2.4　動態(tài)圖轉(zhuǎn)換為靜態(tài)圖144
3.2.5　小結(jié)與討論145
3.2.6　參考文獻(xiàn)145
第4章矩陣運(yùn)算與計(jì)算機(jī)體系結(jié)構(gòu)147
本章簡介147
內(nèi)容概覽147
4.1　深度學(xué)習(xí)的歷史、現(xiàn)狀與發(fā)展148
4.1.1　全連接層148
4.1.2　卷積層148
4.1.3　循環(huán)網(wǎng)絡(luò)層149
4.1.4　注意力機(jī)制層149
4.1.5　小結(jié)與討論150
4.1.6　參考文獻(xiàn)150
4.2　計(jì)算機(jī)體系結(jié)構(gòu)與矩陣運(yùn)算150
4.2.1　CPU體系結(jié)構(gòu)151
4.2.2　CPU實(shí)現(xiàn)高效計(jì)算矩陣乘152
4.2.3　在CPU上實(shí)現(xiàn)一個(gè)矩陣乘法算子實(shí)驗(yàn)154
4.2.4　小結(jié)與討論155
4.3　GPU體系結(jié)構(gòu)與矩陣運(yùn)算155
4.3.1　GPU體系結(jié)構(gòu)155
4.3.2　GPU編程模型156
4.3.3　GPU實(shí)現(xiàn)一個(gè)簡單的計(jì)算157
4.3.4　在GPU上實(shí)現(xiàn)一個(gè)矩陣乘法算子實(shí)驗(yàn)159
4.3.5　小結(jié)與討論160
4.4　面向深度學(xué)習(xí)的專有硬件加速器與矩陣運(yùn)算160
4.4.1　深度學(xué)習(xí)計(jì)算的特點(diǎn)與硬件優(yōu)化方向160
4.4.2　脈動陣列與矩陣計(jì)算162
4.4.3　小結(jié)與討論163
第5章深度學(xué)習(xí)的編譯與優(yōu)化164
本章簡介164
內(nèi)容概覽164
5.1　深度神經(jīng)網(wǎng)絡(luò)編譯器164
5.1.1　前端166
5.1.2　后端167
5.1.3　中間表達(dá)167
5.1.4　優(yōu)化過程168
5.1.5　小結(jié)與討論168
5.2　計(jì)算圖優(yōu)化168
5.2.1　算術(shù)表達(dá)式化簡169
5.2.2　公共子表達(dá)式消除169
5.2.3　常數(shù)傳播170
5.2.4　矩陣乘自動融合1