《程序員的數(shù)學(xué)2:概率統(tǒng)計》沿襲《程序員的數(shù)學(xué)》平易近人的風(fēng)格,用通俗的語言和具體的圖表深入講解程序員必須掌握的各類概率統(tǒng)計知識,例證豐富,講解明晰,且提供了大量擴展內(nèi)容,引導(dǎo)讀者進(jìn)一步深入學(xué)習(xí)。
《程序員的數(shù)學(xué)2:概率統(tǒng)計》涉及隨機變量、貝葉斯公式、離散值和連續(xù)值的概率分布、協(xié)方差矩陣、多元正態(tài)分布、估計與檢驗理論、偽隨機數(shù)以及概率論的各類應(yīng)用,適合程序設(shè)計人員與數(shù)學(xué)愛好者閱讀,也可作為高中或大學(xué)非數(shù)學(xué)專業(yè)學(xué)生的概率論入門讀物。
第1部分 聊聊概率這件事
第1章 概率的定義 3
1.1 概率的數(shù)學(xué)定義 3
1.2 三扇門(蒙提霍爾問題) ——飛艇視角 4
1.2.1 蒙提霍爾問題 5
1.2.2 正確答案與常見錯誤 6
1.2.3 以飛艇視角表述 6
1.3 三元組(Ω, F, P) ——上帝視角 9
1.4 隨機變量 13
1.5 概率分布 17
1.6 適于實際使用的簡記方式 19
1.6.1 隨機變量的表示方法 19
1.6.2 概率的表示方法 20
1.7 ?是幕后角色 21
1.7.1 不必在意?究竟是什么 21
1.7.2 ?的習(xí)慣處理方式 22
1.7.3 不含?(不含上帝視角)的概率論 23
1.8 一些注意事項 23
1.8.1 想做什么 23
1.8.2 因為是面積…… 24
1.8.3 解釋 26
第2章 多個隨機變量之間的關(guān)系 29
2.1 各縣的土地使用情況(面積計算的預(yù)熱) 29
2.1.1 不同縣、不同用途的統(tǒng)計(聯(lián)合概率與邊緣概率的預(yù)熱) 30
2.1.2 特定縣、特定用途的比例(條件概率的預(yù)熱) 31
2.1.3 倒推比例(貝葉斯公式的預(yù)熱) 32
2.1.4 比例相同的情況(獨立性的預(yù)熱) 34
2.1.5 預(yù)熱結(jié)束 38
2.2 聯(lián)合概率與邊緣概率 38
2.2.1 兩個隨機變量 38
2.2.2 三個隨機變量 41
2.3 條件概率 42
2.3.1 條件概率的定義 42
2.3.2 聯(lián)合分布、邊緣分布與條件分布的關(guān)系 45
2.3.3 即使條件中使用的不是等號也一樣適用 50
2.3.4 三個或更多的隨機變量 51
2.4 貝葉斯公式 55
2.4.1 問題設(shè)置 56
2.4.2 貝葉斯的作圖曲 57
2.4.3 貝葉斯公式 61
2.5 獨立性 63
2.5.1 事件的獨立性(定義) 64
2.5.2 事件的獨立性(等價表述) 67
2.5.3 隨機變量的獨立性 70
2.5.4 三個或更多隨機變量的獨立性(需多加注意) 73
第3章 離散值的概率分布 79
3.1 一些簡單的例子 79
3.2 二項分布 82
3.2.1 二項分布的推導(dǎo) 82
3.2.2 補充:排列nPk、組合nCk 83
3.3 期望值 85
3.3.1 期望值的定義 85
3.3.2 期望值的基本性質(zhì) 87
3.3.3 期望值乘法運算的注意事項 91
3.3.4 期望值不存在的情況 93
3.4 方差與標(biāo)準(zhǔn)差 99
3.4.1 即使期望值相同 99
3.4.2 方差即“期望值離散程度”的期望值 100
3.4.3 標(biāo)準(zhǔn)差 102
3.4.4 常量的加法、乘法及標(biāo)準(zhǔn)化 104
3.4.5 各項獨立時,和的方差等于方差的和 108
3.4.6 平方的期望值與方差 110
3.5 大數(shù)定律 112
3.5.1 獨立同分布 114
3.5.2 平均值的期望值與平均值的方差 116
3.5.3 大數(shù)定律 117
3.5.4 大數(shù)定律的相關(guān)注意事項 118
3.6 補充內(nèi)容:條件期望與最小二乘法 120
3.6.1 條件期望的定義 120
3.6.2 最小二乘法 121
3.6.3 上帝視角 122
3.6.4 條件方差 123
第4章 連續(xù)值的概率分布 127
4.1 漸變色打印問題(密度計算的預(yù)熱) 128
4.1.1 用圖表描述油墨的消耗量(累積分布函數(shù)的預(yù)熱) 128
4.1.2 用圖表描述油墨的打印濃度(概率密度函數(shù)預(yù)熱) 129
4.1.3 拉伸打印成品對油墨濃度的影響(變量變換的預(yù)熱) 133
4.2 概率為零的情況 136
4.2.1 出現(xiàn)概率恰好為零的情況 137
4.2.2 概率為零將帶來什么問題 139
4.3 概率密度函數(shù) 140
4.3.1 概率密度函數(shù) 140
4.3.2 均勻分布 146
4.3.3 概率密度函數(shù)的變量變換 147
4.4 聯(lián)合分布·邊緣分布·條件分布 152
4.4.1 聯(lián)合分布 152
4.4.2 本小節(jié)之后的閱讀方式 155
4.4.3 邊緣分布 155
4.4.4 條件分布 159
4.4.5 貝葉斯公式 162
4.4.6 獨立性 163
4.4.7 任意區(qū)域的概率·均勻分布·變量變換 166
4.4.8 實數(shù)值與離散值混合存在的情況 174
4.5 期望值、方差與標(biāo)準(zhǔn)差 174
4.5.1 期望值 175
4.5.2 方差·標(biāo)準(zhǔn)差 179
4.6 正態(tài)分布與中心極限定理 180
4.6.1 標(biāo)準(zhǔn)正態(tài)分布 181
4.6.2 一般正態(tài)分布 184
4.6.3 中心極限定理 187
第5章 協(xié)方差矩陣、多元正態(tài)分布與橢圓 195
5.1 協(xié)方差與相關(guān)系數(shù) 196
5.1.1 協(xié)方差 196
5.1.2 協(xié)方差的性質(zhì) 199
5.1.3 分布傾向的明顯程度與相關(guān)系數(shù) 200
5.1.4 協(xié)方差與相關(guān)系數(shù)的局限性 206
5.2 協(xié)方差矩陣 208
5.2.1 協(xié)方差矩陣=方差與協(xié)方差的一覽表 208
5.2.2 協(xié)方差矩陣的向量形式表述 209
5.2.3 向量與矩陣的運算及期望值 212
5.2.4 向量值隨機變量的補充說明 215
5.2.5 協(xié)方差矩陣的變量變換 217
5.2.6 任意方向的發(fā)散程度 218
5.3 多元正態(tài)分布 220
5.3.1 多元標(biāo)準(zhǔn)正態(tài)分布 220
5.3.2 多元一般正態(tài)分布 223
5.3.3 多元正態(tài)分布的概率密度函數(shù) 228
5.3.4 多元正態(tài)分布的性質(zhì) 230
5.3.5 截面與投影 232
5.3.6 補充知識:卡方分布 239
5.4 協(xié)方差矩陣與橢圓的關(guān)系 242
5.4.1。▽嵗唬﹩挝痪仃嚺c圓 242
5.4.2。▽嵗⿲蔷仃嚺c橢圓 244
5.4.3。▽嵗┮话憔仃嚺c傾斜的橢圓 247
5.4.4 協(xié)方差矩陣的局限性 251
第2部分 探討概率的應(yīng)用
第6章 估計與檢驗 257
6.1 估計理論 257
6.1.1 描述統(tǒng)計與推斷統(tǒng)計 257
6.1.2 描述統(tǒng)計 258
6.1.3 如何理解推斷統(tǒng)計中的一些概念 260
6.1.4 問題設(shè)定 264
6.1.5 期望罰款金額 265
6.1.6 多目標(biāo)優(yōu)化 266
6.1.7。ú呗砸唬p少候選項——最小方差無偏估計 267
6.1.8。ú呗远┤趸顑(yōu)定義——最大似然估計 269
6.1.9。ú呗匀┮詥我粩(shù)值作為評價基準(zhǔn)——貝葉斯估計 272
6.1.10 策略選擇的相關(guān)注意事項 275
6.2 檢驗理論 276
6.2.1 檢驗理論中的邏輯 276
6.2.2 檢驗理論概述 278
6.2.3 簡單假設(shè) 279
6.2.4 復(fù)合假設(shè) 282
第7章 偽隨機數(shù) 285
7.1 偽隨機數(shù)的基礎(chǔ)知識 285
7.1.1 隨機數(shù)序列 285
7.1.2 偽隨機數(shù)序列 286
7.1.3 典型應(yīng)用:蒙特卡羅方法 287
7.1.4 相關(guān)主題:密碼理論中的偽隨機數(shù)序列·低差異序列 289
7.2 遵從特定分布的隨機數(shù)的生成 291
7.2.1 遵從離散值分布的隨機數(shù)的生成 292
7.2.2 遵從連續(xù)值分布的隨機數(shù)的生成 293
7.2.3 遵從正態(tài)分布的隨機數(shù)的生成 296
7.2.4 補充知識:三角形內(nèi)及球面上的均勻分布 298
第8章 概率論的各類應(yīng)用 305
8.1 回歸分析與多變量分析 305
8.1.1 通過最小二乘法擬合直線 305
8.1.2 主成分分析 312
8.2 隨機過程 319
8.2.1 隨機游走 321
8.2.2 卡爾曼濾波器 326
8.2.3 馬爾可夫鏈 331
8.2.4 關(guān)于隨機過程的一些補充說明 342
8.3 信息論 343
8.3.1 熵 343
8.3.2 二元熵 347
8.3.3 信源編碼 349
8.3.4 信道編碼 352
附錄A 本書涉及的數(shù)學(xué)基礎(chǔ)知識 359
A.1 希臘字母 359
A.2 數(shù) 359
A.2.1 自然數(shù)·整數(shù) 359
A.2.2 有理數(shù)·實數(shù) 359
A.2.3 復(fù)數(shù) 360
A.3 集合 360
A.3.1 集合的表述方式 360
A.3.2 無限集的大小 361
A.3.3 強化練習(xí) 361
A.4 求和符號? 362
A.4.1 定義與基本性質(zhì) 362
A.4.2 雙重求和 364
A.4.3 范圍指定 366
A.4.4 等比數(shù)列 366
A.5 指數(shù)與對數(shù) 368
A.5.1 指數(shù)函數(shù) 368
A.5.2 高斯積分 371
A.5.3 對數(shù)函數(shù) 374
A.6 內(nèi)積與長度 377
附錄B 近似公式與不等式 381
B.1 斯特林公式 381
B.2 琴生不等式 381
B.3 吉布斯不等式 384
B.4 馬爾可夫不等式與切比雪夫不等式 385
B