目錄
前言
常用符號(hào)
第1章 緒論 1
1.1 通信系統(tǒng)的基本單元 1
1.2 信息科學(xué)的有關(guān)概念 2
1.2.1 信息的特征 2
1.2.2 信息理論要解決的基本問題 3
1.2.3 信息論的創(chuàng)始人 4
1.2.4 信息科學(xué)的定義及迅速發(fā)展的背景 4
1.2.5 信息理論的研究?jī)?nèi)容 4
1.3 香農(nóng)信息論梗概 5
思考題 6
第2章 信息的度量 7
2.1 度量信息的基本思路 7
2.1.1 單符號(hào)離散信源 7
2.1.2 自信息量 7
2.2 信源熵和條件熵 9
2.2.1 信源熵 9
2.2.2 條件自信息量 10
2.2.3 條件熵 11
2.3 互信息量和平均互信息量 11
2.3.1 互信息量 11
2.3.2 互信息量的性質(zhì) 12
2.3.3 條件互信息量 13
2.3.4 平均互信息量 14
2.3.5 平均互信息量的性質(zhì) 14
2.3.6 平均互信息量的物理意義 16
2.4 多維隨機(jī)變量的熵 18
2.4.1 熵的鏈接準(zhǔn)則 18
2.4.2 信息鏈接準(zhǔn)則 18
2.4.3 熵的界 19
2.4.4 數(shù)據(jù)處理不等式 19
本章小結(jié) 20
思考題 21
習(xí)題 21
第3章 離散信源及其信源編碼 23
3.1 信源分類 23
3.1.1 信源分類方法 23
3.1.2 自然語信源 24
3.1.3 馬爾可夫信源 26
3.2 離散信源的熵 28
3.2.1 發(fā)出單符號(hào)消息離散無記憶信源的熵 28
3.2.2 發(fā)出符號(hào)序列消息離散無記憶信源的熵 29
3.2.3 發(fā)出符號(hào)序列消息的離散有記憶信源的熵 30
3.2.4 發(fā)出符號(hào)序列消息的馬爾可夫信源的熵 32
3.2.5 各種離散信源的時(shí)間熵 32
3.3 信源的冗余度 34
3.3.1 最大信源熵 35
3.3.2 信源的冗余度 35
3.4 信源編碼及其描述 37
3.4.1 信源編碼模型 37
3.4.2 編碼效率 38
3.5 單義可譯定理 41
3.5.1 單義可譯碼 41
3.5.2 即時(shí)碼的構(gòu)造 42
3.5.3 單義可譯定理 42
3.5.4 平均碼長(zhǎng)界定定理 44
3.6 香農(nóng)第一定理 46
3.6.1 無失真信源編碼 46
3.6.2 等長(zhǎng)碼的信源編碼 48
3.7 信源編碼實(shí)例 49
3.7.1 費(fèi)諾編碼方法 49
3.7.2 霍夫曼編碼方法 51
3.7.3 Lempel-Ziv編碼 53
本章小結(jié) 56
思考題 56
習(xí)題 56
第4章 離散信道及其信道編碼 60
4.1 信道的分類 60
4.2 離散信道的傳輸特性 61
4.2.1 無擾離散信道的傳輸特性 61
4.2.2 有擾離散信道的傳輸特性 62
4.2.3 幾種特殊的有擾離散信道 64
4.2.4 消息在有擾離散信道上的信息傳輸速率 66
4.2.5 有擾離散信道的信道容量 66
4.3 譯碼準(zhǔn)則 72
4.3.1 常用的譯碼準(zhǔn)則 73
4.3.2 關(guān)于譯碼準(zhǔn)則的討論 75
4.4 香農(nóng)第二定理 76
4.4.1 信道編碼與平均錯(cuò)誤譯碼概率 76
4.4.2 漢明距離與編碼原則 77
4.4.3 有擾離散信道的信道編碼定理 78
本章小結(jié) 79
思考題 80
習(xí)題 80
第5章 連續(xù)消息和連續(xù)信道 83
5.1 連續(xù)消息的信息度量 83
5.1.1 基本思路 83
5.1.2 幾種連續(xù)信源的相對(duì)熵 85
5.1.3 條件熵 89
5.1.4 平均互信息量 90
5.1.5 連續(xù)消息熵的性質(zhì) 92
5.1.6 最大相對(duì)熵定理 92
5.1.7 熵功率和熵功率不等式 95
5.2 連續(xù)消息在信道上的傳輸問題 97
5.3 香農(nóng)信道容量公式 98
5.3.1 高斯信道的信道容量 98
5.3.2 帶限信道的信道容量 99
5.3.3 香農(nóng)公式的含義 100
本章小結(jié) 101
思考題 101
習(xí)題 102
第6章 限失真信源編碼 104
6.1 失真函數(shù)和平均失真度 104
6.1.1 失真函數(shù) 104
6.1.2 平均失真度 107
6.2 信息率失真函數(shù) 109
6.2.1 保真度準(zhǔn)則 109
6.2.2 失真許可的試驗(yàn)信道 110
6.2.3 信息率失真函數(shù)及其性質(zhì) 110
6.2.4 幾種典型信源的信息率失真函數(shù) 113
6.3 保真度準(zhǔn)則下的信源編碼定理 116
本章小結(jié) 117
思考題 118
習(xí)題 118
第7章 差錯(cuò)控制的基本概念 120
7.1 差錯(cuò)控制系統(tǒng)的分類 120
7.1.1 自動(dòng)請(qǐng)求重傳系統(tǒng) 120
7.1.2 前向糾錯(cuò)系統(tǒng) 122
7.1.3 信息重復(fù)查詢系統(tǒng)和混合糾錯(cuò)系統(tǒng) 123
7.2 糾錯(cuò)編碼的分類及其性能評(píng)價(jià) 124
7.2.1 糾錯(cuò)編碼的分類 124
7.2.2 糾錯(cuò)碼的基本概念 125
7.2.3 糾錯(cuò)編碼方法的性能評(píng)價(jià) 128
本章小結(jié) 130
思考題 130
習(xí)題 131
第8章 線性分組碼 132
8.1 有關(guān)概念 132
8.1.1 線性分組碼的定義及其性質(zhì) 132
8.2 線性分組碼的編碼和譯碼 135
8.2.1 線性分組碼的編碼 135
8.2.2 線性分組碼譯碼 136
8.2.3 線性分組碼舉例 141
8.3 循環(huán)碼的描述 141
8.3.1 循環(huán)碼的定義 142
8.3.2 循環(huán)碼的性質(zhì) 143
8.3.3 生成矩陣和一致校驗(yàn)矩陣 147
8.4 循環(huán)碼的編碼和譯碼 148
8.4.1 循環(huán)碼的編碼 148
8.4.2 循環(huán)碼的譯碼 150
8.4.3 循環(huán)碼的檢錯(cuò)能力 152
8.4.4 循環(huán)碼的縮短與擴(kuò)展 153
8.5 二元BCH碼 154
8.5.1 BCH碼的描述 154
8.5.2 BCH碼的編碼和譯碼 157
8.6 多元BCH碼和R-S碼 159
8.7 糾突發(fā)錯(cuò)誤碼 160
8.7.1 糾突發(fā)錯(cuò)誤碼的定義及基本性質(zhì) 160
8.7.2 交織碼 161
本章小結(jié) 163
思考題 164
習(xí)題 165
第9章 卷積碼 168
9.1 卷積碼的編碼及其描述 168
9.1.1 卷積碼的編碼 168
9.1.2 卷積碼的描述 170
9.2 卷積碼的最大似然譯碼 178
9.2.1 Viterbi譯碼 178
9.2.2 序列譯碼 180
9.3 卷積碼的性能評(píng)估 186
9.3.1 譯碼的錯(cuò)誤擴(kuò)展及惡性卷積碼 186
9.3.2 卷積碼的自由距離 187
本章小結(jié) 189
思考題 189
習(xí)題 189
第10章 信道編碼新進(jìn)展簡(jiǎn)介 192
10.1 Turbo碼 192
10.1.1 Turbo碼的編碼及其性能 192
10.1.2 Turbo碼的譯碼簡(jiǎn)介 194
10.2 空時(shí)分組碼 195
10.2.1 正交空時(shí)分組碼 195
10.2.2 正交空時(shí)分組碼的譯碼 197
10.2.3 準(zhǔn)正交空時(shí)分組碼 197
10.2.4 準(zhǔn)正交空時(shí)分組碼的譯碼 198
10.3 低密度奇偶校驗(yàn)碼 199
10.3.1 低密度奇偶校驗(yàn)碼的定義 199
10.3.2 低密度奇偶校驗(yàn)碼的譯碼 200
10.4 網(wǎng)絡(luò)編碼與協(xié)作 205
10.4.1 網(wǎng)絡(luò)編碼 205
10.4.2 網(wǎng)絡(luò)編碼協(xié)作 207
本章小結(jié) 208
思考題 208
習(xí)題 209
參考文獻(xiàn) 210
索引 213