目錄
《大數(shù)據(jù)與數(shù)據(jù)科學專著系列》序
前言
主要符號表
第1章 深度神經(jīng)網(wǎng)絡與學習理論 1
1.1 機器學習及其三要素 2
1.2 深度神經(jīng)網(wǎng)絡 3
1.3 學習理論 6
1.4 深度神經(jīng)網(wǎng)絡的學習理論問題 10
1.5 文獻導讀 13
第2章 淺層神經(jīng)網(wǎng)絡的逼近理論 15
2.1 淺層神經(jīng)網(wǎng)絡的稠密性.15
2.2 淺層神經(jīng)網(wǎng)絡逼近的復雜性與優(yōu)越性 18
2.3 淺層神經(jīng)網(wǎng)絡逼近的局限性 22
2.4 相關(guān)證明 26
2.5 文獻導讀 40
第3章 深度的必要性 43
3.1 函數(shù)逼近中深度的作用.43
3.2 深度與寬度對神經(jīng)網(wǎng)絡覆蓋數(shù)的影響 45
3.3 深度的必要性.49
3.4 深度神經(jīng)網(wǎng)絡的最優(yōu)泛化性 51
3.5 數(shù)值實驗 53
3.6 相關(guān)證明 55
3.7 文獻導讀 69
第4章 深度全連接神經(jīng)網(wǎng)絡的學習理論 72
4.1 深度全連接神經(jīng)網(wǎng)絡的性質(zhì) 72
4.2 深度全連接神經(jīng)網(wǎng)絡的適用性 75
4.3 數(shù)據(jù)規(guī)模在深度學習中的作用 80
4.4 數(shù)值實驗 84
4.5 相關(guān)證明 87
4.6 文獻導讀 102
第5章 深度稀疏連接神經(jīng)網(wǎng)絡的學習理論 104
5.1 稀疏連接神經(jīng)網(wǎng)絡 104
5.2 深度稀疏連接神經(jīng)網(wǎng)絡的性質(zhì).108
5.3 深度選擇與深度-參數(shù)平衡現(xiàn)象 111
5.4 深度稀疏連接神經(jīng)網(wǎng)絡的構(gòu)造 115
5.5 數(shù)值實驗 118
5.6 相關(guān)證明 121
5.7 文獻導讀 133
第6章 深度卷積神經(jīng)網(wǎng)絡的學習理論 136
6.1 卷積神經(jīng)網(wǎng)絡 136
6.2 零填充在卷積神經(jīng)網(wǎng)絡中的作用 141
6.3 池化的作用 143
6.4 卷積神經(jīng)網(wǎng)絡的逼近與學習性能 147
6.5 數(shù)值實驗 149
6.6 相關(guān)證明 152
6.7 文獻導讀 164
第7章 過參數(shù)化神經(jīng)網(wǎng)絡的學習理論 167
7.1 過參數(shù)化神經(jīng)網(wǎng)絡 167
7.2 全局極小解的分布與性質(zhì) 169
7.3 過參數(shù)化神經(jīng)網(wǎng)絡的泛化性能 171
7.4 數(shù)值實驗 174
7.5 相關(guān)證明 177
7.6 文獻導讀 185
參考文獻 187
《大數(shù)據(jù)與數(shù)據(jù)科學專著系列》已出版書目 195