目錄
第一部分 散度函數(shù)的幾何：對(duì)偶平坦的黎曼結(jié)構(gòu)
第1章 流形、散度、對(duì)偶平坦結(jié)構(gòu) 3
1.1 流形 3
1.1.1 流形及坐標(biāo)系 3
1.1.2 流形示例 4
1.2 兩點(diǎn)之間的散度 8
1.2.1 散度 8
1.2.2 散度的例子 9
1.3 凸函數(shù)和布雷格曼散度 10
1.3.1 凸函數(shù) 10
1.3.2 布雷格曼散度 11
1.4 勒讓德變換 13
1.5 由凸函數(shù)導(dǎo)出的對(duì)偶平坦黎曼結(jié)構(gòu) 16
1.5.1 仿射和對(duì)偶仿射坐標(biāo)系 16
1.5.2 切空間、基向量和黎曼度量 17
1.5.3 向量平移 20
1.6 廣義勾股定理和投影定理 20
1.6.1 廣義勾股定理 20
1.6.2 投影定理 22
1.6.3 子流形之間的散度：交替最小化算法 23
第2章 概率分布的指數(shù)族和混合族 26
2.1 概率分布的指數(shù)族 26
2.2 指數(shù)族例子：高斯分布和離散分布 28
2.2.1 高斯分布 29
2.2.2 離散分布 29
2.3 概率分布的混合族 31
2.4 平坦結(jié)構(gòu)：e-平坦和-平坦 32
2.5 關(guān)于概率分布的無限維流形 33
2.6 核指數(shù)族 36
2.7 布雷格曼散度和指數(shù)族 37
2.8 勾股定理的應(yīng)用 38
2.8.1 最大熵原理 38
2.8.2 互信息 39
2.8.3 重復(fù)觀測(cè)值和最大似然估計(jì)值 40
第3章 概率分布流形的不變幾何 43
3.1 不變性標(biāo)準(zhǔn) 43
3.2 粗�；�下的信息單調(diào)性 44
3.2.1 粗�；�和Sn的充分統(tǒng)計(jì)量 44
3.2.2 不變散度 45
3.3 Sn中f-散度的例子 48
3.3.1 KL散度 48
3.3.2 χ2-散度 48
3.3.3 α-散度 48
3.4 f-散度和KL散度的基本性質(zhì) 49
3.4.1 f-散度的性質(zhì) 49
3.4.2 KL散度的性質(zhì) 50
3.5 Fisher信息：唯一不變的度量 52
3.6 正測(cè)度流形中的f-散度 56
第4章 α-幾何、Tsallis q-熵與正定矩陣 59
4.1 不變平坦散度 59
4.1.1 KL散度具有唯一性 59
4.1.2 α-散度在*中具有唯一性 59
4.2 Sn 和*的α-幾何 62
4.2.1 Rn+中的α-測(cè)地線和α-勾股定理 62
4.2.2 Sn中的α-測(cè)地線 63
4.2.3 Sn中的α-勾股定理和α-投影定理 63
4.2.4 α-散度的分配 64
4.2.5 α-均值 64
4.2.6 α-概率分布族 67
4.2.7 α-積分的最優(yōu)性 69
4.2.8 專家α-積分應(yīng)用 70
4.3 Tsallis q-熵的幾何 71
4.3.1 q-對(duì)數(shù)和q-指數(shù)函數(shù) 71
4.3.2 概率分布的q-指數(shù)族（α-族） 72
4.3.3 q-伴隨幾何 73
4.3.4 變形指數(shù)族：χ-伴隨幾何 75
4.3.5 q-伴隨幾何的共形特征 77
4.4 （u,v）-散度：正測(cè)度流形中的對(duì)偶平坦散度 78
4.4.1 可分解（u,v）-散度 78
4.4.2 ＊中的一般（u,v）平坦結(jié)構(gòu) 81
4.5 正定矩陣流形的不變平坦散度 82
4.5.1 Gl（n）下的布雷格曼散度和不變性 82
4.5.2 O（n）的不變平坦可分解散度 83
4.5.3 非平坦不變散度 86
4.6 其他各項(xiàng)散度.87
4.6.1 γ-散度 87
4.6.2 其他類型的（α,β）-散度.87
4.6.3 Burbea-Rao散度和Jensen-Shannon散度 88
4.6.4 （ρ,τ）結(jié)構(gòu)和（F,G,H）-結(jié)構(gòu) 88
第二部分 對(duì)偶微分幾何導(dǎo)論
第5章 微分幾何元素 93
5.1 流形和切空間 93
5.2 黎曼度量 95
5.3 仿射聯(lián)絡(luò) 95
5.4 張量 97
5.5 協(xié)變導(dǎo)數(shù) 99
5.6 測(cè)地線 100
5.7 向量平移 101
5.8 黎曼-克里斯托費(fèi)爾曲率 102
5.8.1 向量的環(huán)球移動(dòng) 102
5.8.2 協(xié)變導(dǎo)數(shù)與 RC 曲率 105
5.8.3 平坦流形 106
5.9 Levi-Civita聯(lián)絡(luò)106
5.10 子流形和嵌入曲率 108
5.10.1 子流形 108
5.10.2 嵌入曲率 110
第6章 對(duì)偶仿射聯(lián)絡(luò)與對(duì)偶平坦流形 113
6.1 對(duì)偶聯(lián)絡(luò) 113
6.2 由散度導(dǎo)出的度量和三階張量 115
6.3 不變度量和三階張量 117
6.4 α-幾何 117
6.5 對(duì)偶平坦流形 118
6.6 對(duì)偶平坦流形中的正則散度 119
6.7 對(duì)偶聯(lián)絡(luò)一般流形上的正則散度 122
6.8 平坦流形與混合坐標(biāo)的對(duì)偶葉理 124
6.8.1 對(duì)偶坐標(biāo)系統(tǒng)的k-劃分：混合坐標(biāo)與葉理 124
6.8.2 正則散度的分解 126
6.8.3 一個(gè)簡(jiǎn)單的說明性例子：神經(jīng)放電 126
6.8.4 神經(jīng)元尖峰的高階相互作用 128
6.9 系統(tǒng)復(fù)雜性和信息集成 130
6.10 經(jīng)濟(jì)學(xué)中的投入產(chǎn)出分析 137
第三部分 統(tǒng)計(jì)推斷的信息幾何學(xué)
第7章 統(tǒng)計(jì)推斷的漸近理論 143
7.1 估計(jì) 143
7.2 指數(shù)族的估計(jì) 144
7.3 曲線指數(shù)族的估計(jì) 145
7.4 估計(jì)的一階漸近理論 148
7.5 估計(jì)的高階漸近理論 150
7.6 假設(shè)檢驗(yàn)的漸近理論 152
第8章 隱變量存在時(shí)的估計(jì) 155
8.1 EM算法 155
8.1.1 具有隱變量的統(tǒng)計(jì)模型 155
8.1.2 模型流形和數(shù)據(jù)流形之間的最小化散度 158
8.1.3 期望最大化算法 159
8.1.4 示例：混合高斯 160
8.2 數(shù)據(jù)縮減造成的信息損失 160
8.3 基于錯(cuò)誤統(tǒng)計(jì)模型的估計(jì) 161
第9章 Neyman-Scott問題：估計(jì)函數(shù)和半?yún)��?shù)統(tǒng)計(jì)模型 165
9.1 包含冗余參數(shù)的統(tǒng)計(jì)模型 165
9.2 Neyman-Scott問題和半?yún)��?shù) 168
9.3 估計(jì)函數(shù) 171
9.4 估計(jì)函數(shù)的信息幾何 173
9.5 Neyman-Scott問題的解法 179
9.5.1 指數(shù)情況下的估計(jì)函數(shù) 179
9.5.2 線性相關(guān)系數(shù) 180
9.5.3 標(biāo)量問題 182
9.5.4 單個(gè)神經(jīng)元的時(shí)間放電模式 184
第10章 線性系統(tǒng)和時(shí)間序列 187
10.1 固定時(shí)間序列和線性系統(tǒng) 187
10.2 典型時(shí)間序列的有限維流形 189
10.3 系統(tǒng)流形的對(duì)偶幾何結(jié)構(gòu) 190
10.4 AR,MA,ARMA模型的幾何圖形 194
第四部分 信息幾何學(xué)的應(yīng)用
第11章 機(jī)器學(xué)習(xí).201
11.1 聚類模式 201
11.1.1 模式空間和散度 201
11.1.2 聚類中心.202
11.1.3 k-均值：聚類算法 203
11.1.4 Voronoi圖 204
11.1.5 分類和聚類的隨機(jī)版本 205
11.1.6 魯棒的聚類中心 207
11.1.7 模式識(shí)別中錯(cuò)誤概率的漸近評(píng)估：切爾諾夫信息 209
11.2 支持向量機(jī)幾何 211
11.2.1 線性分類器 211
11.2.2 嵌入高維空間 213
11.2.3 核方法 214
11.2.4 由核導(dǎo)出的黎曼度量 215
11.3 隨機(jī)推理：置信傳播和凹凸計(jì)算過程算法 217
11.3.1 圖形模型 217
11.3.2 平均場(chǎng)近似和m-投影 219
11.3.3 置信傳播 222
11.3.4 BP 算法求解 224
11.3.5 凹凸計(jì)算過程 226
11.4 Boosting的信息幾何 227
11.4.1 Boosting：弱機(jī)器集成 227
11.4.2 機(jī)器的隨機(jī)解釋 228
11.4.3 構(gòu)建新弱機(jī)器 229
11.4.4 弱機(jī)器權(quán)值的確定 229
11.5 貝葉斯推理和深度學(xué)習(xí) 231
11.5.1 指數(shù)族中的貝葉斯對(duì)偶性 231
11.5.2 受限玻爾茲曼機(jī) 233
11.5.3 受限玻爾茲曼機(jī)的無監(jiān)督學(xué)習(xí) 235
11.5.4 對(duì)比散度的幾何學(xué) 238
11.5.5 高斯受限玻爾茲曼機(jī) 240
第12章 奇異區(qū)域中的自然梯度學(xué)習(xí)及其動(dòng)態(tài) 243
12.1 自然梯度隨機(jī)下降學(xué)習(xí) 243
12.1.1 在線學(xué)習(xí)和批量學(xué)習(xí) 243
12.1.2 自然梯度：黎曼流形中最陡的下降方向 245
12.1.3 黎曼度量、Hessian和絕對(duì)Hessian 248
12.1.4 優(yōu)化問題的隨機(jī)松弛 249
12.1.5 強(qiáng)化學(xué)習(xí)中的自然策略梯度 249
12.1.6 鏡面下降和自然梯度 252
12.1.7 自然梯度學(xué)習(xí)的性質(zhì) 252
12.2 學(xué)習(xí)中的奇點(diǎn)：多層感知器 257
12.2.1 多層感知器 258
12.2.2 M 中的奇點(diǎn) 259
12.2.3 M 中的學(xué)習(xí)動(dòng)態(tài) 263
12.2.4 動(dòng)態(tài)的臨界減速 266
12.2.5 自然梯度學(xué)習(xí)不存在高原 269
12.2.6 奇異統(tǒng)計(jì)模型 270
12.2.7 貝葉斯推理和奇異模型 272
第13章 信號(hào)處理和優(yōu)化 275
13.1 主成分分析 275
13.1.1 特征值分析 275
13.1.2 主成分、次成分與白化 276
13.1.3 主次成分動(dòng)態(tài)性 278
13.2 獨(dú)立成分分析 281
13.3 非負(fù)矩陣分解 291
13.4 稀疏信號(hào)處理 294
13.4.1 線性回歸與稀疏解 294
13.4.2 L1約束下凸函數(shù)的極小化 296
13.4.3 求解路徑分析 298
13.4.4 閔可夫斯基梯度流 300
13.4.5 欠定情況 301
13.5 凸規(guī)劃的優(yōu)化 302
13.5.1 凸規(guī)劃 302
13.5.2 由障礙函數(shù)推導(dǎo)出的對(duì)偶平面結(jié)構(gòu) 303
13.5.3 計(jì)算復(fù)雜度和m-曲率 304
13.6 源自博弈論的對(duì)偶幾何 305
13.6.1 博弈得分的最小化 305
13.6.2 Hyvarinen得分 309
參考文獻(xiàn) 314
《現(xiàn)代數(shù)學(xué)譯叢》已出版書目 329