第1章 TensorFlow與編程 1
1.1 語言與系統(tǒng)的支持 1
1.2 TensFlow的特點(diǎn) 2
1.3 TensorFlow的環(huán)境搭建 3
1.3.1 安裝環(huán)境介紹 3
1.3.2 安裝TensorFlow 5
1.3.3 安裝測試 6
1.4 張量 7
1.4.1 張量的概念 7
1.4.2 張量的使用 8
1.4.3 NumPy庫 9
1.4.4 張量的階 10
1.4.5 張量的形狀 10
1.5 認(rèn)識變量 11
1.5.1 變量的創(chuàng)建 11
1.5.2 變量的初始化 19
1.6 矩陣的操作 21
1.6.1 矩陣的生成 22
1.6.2 矩陣的變換 25
1.7 圖的實(shí)現(xiàn) 31
1.8 會(huì)話的實(shí)現(xiàn) 34
1.9 讀取數(shù)據(jù)方式 36
1.9.1 列表格式 37
1.9.2 讀取圖像數(shù)據(jù) 38
第2章 自然語言處理與深度學(xué)習(xí)基礎(chǔ) 40
2.1 自然語言概述 40
2.1.1 自然語言處理面臨的困難 40
2.1.2 自然語言處理的發(fā)展趨勢 41
2.1.3 自然語言處理的特點(diǎn) 42
2.2 NLP技術(shù)前沿與未來趨勢 43
2.2.1 挑戰(zhàn)與突破 43
2.2.2 人機(jī)交互的未來 43
2.2.3 未來發(fā)展趨勢與展望 44
2.2.4 技術(shù)挑戰(zhàn)與解決路徑 44
2.3 深度學(xué)習(xí) 44
2.3.1 深度學(xué)習(xí)背景 45
2.3.2 深度學(xué)習(xí)的核心思想 46
2.3.3 深度學(xué)習(xí)的應(yīng)用 47
2.4 深度學(xué)習(xí)的優(yōu)勢與劣勢 51
第3章 神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ) 52
3.1 激活函數(shù)及實(shí)現(xiàn) 53
3.1.1 激活函數(shù)的用途 53
3.1.2 幾種激活函數(shù) 53
3.1.3 幾種激活函數(shù)的繪圖 57
3.2 門函數(shù)及實(shí)現(xiàn) 59
3.3 單個(gè)神經(jīng)元的擴(kuò)展及實(shí)現(xiàn) 62
3.4 構(gòu)建多層神經(jīng)網(wǎng)絡(luò) 65
第4章 詞嵌入 69
4.1 詞嵌入概述 69
4.2 分布式表示 69
4.2.1 分布式假設(shè) 70
4.2.2 共現(xiàn)矩陣 70
4.2.3 存在的問題 73
4.3 jieba分詞處理 73
4.3.1 jieba庫的三種模式和常用函數(shù) 74
4.3.2 jieba庫分詞的其他操作 75
4.3.3 中文詞頻統(tǒng)計(jì)實(shí)例 81
4.4 離散表示 82
4.4.1 one-hot編碼 82
4.4.2 詞袋模型 87
4.4.3 TF-IDF算法 90
4.4.4 n-gram模型 92
4.5 word2vec模型 98
4.5.1 word2vec模型介紹 98
4.5.2 word2vec模型結(jié)構(gòu) 103
4.5.3 Skip-gram算法 105
4.5.4 CBOW算法 106
4.5.5 CBOW算法與Skip-gram算法的對比 107
4.5.6 算法改進(jìn) 108
4.5.7 訓(xùn)練概率 109
4.5.8 word2vec實(shí)現(xiàn) 110
第5章 卷積神經(jīng)網(wǎng)絡(luò)分析與文本分類 120
5.1 全連接網(wǎng)絡(luò)的局限性 120
5.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 121
5.2.1 卷積層 122
5.2.2 池化層 129
5.2.3 全連接層 131
5.3 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 131
5.3.1 池化層反向傳播 132
5.3.2 卷積層反向傳播 134
5.4 卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 139
5.4.1 識別0和1數(shù)字 139
5.4.2 預(yù)測MNIST數(shù)字 145
5.5 NLP的卷積 149
5.5.1 NLP卷積概述 149
5.5.2 用于文本分類的CNN 151
第6章 幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò) 161
6.1 AlexNet 161
6.1.1 AlexNet的結(jié)構(gòu) 161
6.1.2 AlexNet的亮點(diǎn) 162
6.1.3 AlexNet的實(shí)現(xiàn) 163
6.2 DeepID網(wǎng)絡(luò) 168
6.3 VGGNet 169
6.3.1 VGGNet的特點(diǎn) 169
6.3.2 VGGNet的結(jié)構(gòu) 169
6.3.3 VGGNet的實(shí)現(xiàn) 171
6.4 Inception Net 175
6.4.1 Inception Net的原理 175
6.4.2 Inception Net的經(jīng)典應(yīng)用 176
6.5 ResNet 181
6.5.1 ResNet的結(jié)構(gòu) 181
6.5.2 ResNet的實(shí)現(xiàn) 184
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)及語言模型 190
7.1 循環(huán)神經(jīng)網(wǎng)絡(luò)概述 190
7.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的原理 191
7.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的簡單應(yīng)用 194
7.2 損失函數(shù) 195
7.3 梯度求解 196
7.3.1 E3關(guān)于參數(shù)V的偏導(dǎo)數(shù) 197
7.3.2 E3關(guān)于參數(shù)W的偏導(dǎo)數(shù) 197
7.3.3 E3關(guān)于參數(shù)U的偏導(dǎo)數(shù) 197
7.3.4 梯度消失問題 198
7.4 循環(huán)神經(jīng)網(wǎng)絡(luò)的經(jīng)典應(yīng)用 198
7.4.1 實(shí)現(xiàn)二進(jìn)制數(shù)加法運(yùn)算 198
7.4.2 實(shí)現(xiàn)擬合回聲信號序列 202
7.4.3 基于字符級循環(huán)神經(jīng)網(wǎng)絡(luò)的語言模型 209
7.4.4 使用PyTorch實(shí)現(xiàn)基于字符級循環(huán)神經(jīng)網(wǎng)絡(luò)的語言模型 213
第8章 長短期記憶及自動(dòng)生成文本 220
8.1 長短期記憶網(wǎng)絡(luò) 220
8.1.1 LSTM核心思想 221
8.1.2 LSTM詳解與實(shí)現(xiàn) 222
8.2 窺視孔連接 230
8.3 GRU網(wǎng)絡(luò)對MNIST數(shù)據(jù)集分類 231
8.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對MNIST數(shù)據(jù)集分類 233
8.5 CTC實(shí)現(xiàn)端到端訓(xùn)練的語音識別模型 237
8.6 LSTM生成文本預(yù)測 244
8.6.1 模型訓(xùn)練 244
8.6.2 預(yù)測文本 246
第9章 其他網(wǎng)絡(luò)的經(jīng)典分析與應(yīng)用 248
9.1 自編碼網(wǎng)絡(luò)及實(shí)現(xiàn) 248
9.1.1 自編碼網(wǎng)絡(luò)的結(jié)構(gòu) 248
9.1.2 自編碼網(wǎng)絡(luò)的代碼實(shí)現(xiàn) 249
9.2 棧式自編碼器及實(shí)現(xiàn) 256
9.2.1 棧式自編碼概述 256
9.2.2 棧式自編碼訓(xùn)練 256
9.2.3 棧式自編碼實(shí)現(xiàn)MNIST手寫數(shù)字分類 257
9.2.4 棧式自編碼器的應(yīng)用場合與實(shí)現(xiàn) 259
9.3 變分自編碼及實(shí)現(xiàn) 268
9.3.1 變分自編碼原理 268
9.3.2 變分自編碼模擬生成MNIST數(shù)據(jù) 269
9.4 條件變分自編碼及實(shí)現(xiàn) 275
9.4.1 條件變分自編碼概述 275
9.4.2 條件變分自編碼網(wǎng)絡(luò)生成MNIST數(shù)據(jù) 275
參考文獻(xiàn) 281