本書系統(tǒng)地介紹由香農(nóng)理論發(fā)展而來的信息論的基本理論以及編碼的理論和實(shí)現(xiàn)原理。內(nèi)容主要包括信息論的數(shù)學(xué)基礎(chǔ)，信息的基本概念和度量方法，無失真信源編碼理論和實(shí)用無損編碼方法，限失真信源編碼理論和有損壓縮編碼方法，信道容量與信道編碼理論和編碼方法，最后介紹了信息論在統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域、金融決策領(lǐng)域、經(jīng)濟(jì)學(xué)分析領(lǐng)域和自然語言處理領(lǐng)域等其他學(xué)科交叉結(jié)合的應(yīng)用內(nèi)容。

第1章 緒論 
1．1 信息的基本概念 
1．1．1 信息的不同定義 
1．1．2 信息的特征 
1．1．3 信息的性質(zhì) 
1．1．4 信息的分類 
1．1．5 信息科學(xué) 
1．2 信息論的起源、發(fā)展及研究?jī)?nèi)容 
1．2．1 信息論的起源 
1．2．2 信息技術(shù)的發(fā)展 
1．2．3 信息論研究的主要內(nèi)容 
1．2．4 信息論的應(yīng)用 
1．3 編碼理論概述 
1．3．1 編碼理論的基本概念 
1．3．2 編碼理論的發(fā)展 
1．3．3 編碼理論研究的內(nèi)容和目的 
習(xí)題 


第2章 信息論的數(shù)學(xué)基礎(chǔ) 
2．1 概率論基本知識(shí) 
2．1．1 隨機(jī)事件與概率 
2．1．2 隨機(jī)變量及其分布 
2．1．3 多維隨機(jī)變量及其分布 
2．1．4 數(shù)學(xué)期望與方差 
2．2 隨機(jī)過程基本知識(shí) 
2．2．1 隨機(jī)過程及其統(tǒng)計(jì)描述 
2．2．2 隨機(jī)過程的數(shù)字特征 
2．3 馬爾可夫鏈 
2．3．1 馬爾可夫過程及其概率分布 
2．3．2 多步轉(zhuǎn)移概率的確定 
2．3．3 遍歷性 
2．4 抽象代數(shù)基本知識(shí) 
2．4．1 群的基本概念 
2．4．2 環(huán)的基本概念 
2．4．3 域的基本概念及域上多項(xiàng)式 


第3章 信源與信源熵 
3．1 單符號(hào)離散信源 
3．1．1 單符號(hào)離散信源的數(shù)學(xué)模型 
3．1．2 概率知識(shí)基礎(chǔ) 
3．1．3 單符號(hào)離散信源的信息量 
3．1．4 互信息量和條件互信息量 
3．1．5 單符號(hào)離散信源的信源熵 
3．1．6 信源熵的基本性質(zhì)和定理 
3．1．7 平均互信息量 
3．1．8 各種熵之間的關(guān)系 
3．2 多符號(hào)離散平穩(wěn)信源 
3．2．1 離散無記憶擴(kuò)展信源 
3．2．2 離散平穩(wěn)信源的數(shù)學(xué)定義 
3．2．3 離散平穩(wěn)信源的信源熵和極限熵 
3．3 馬爾可夫信源 
3．3．1 馬爾可夫（Markov）鏈 
3．3．2 馬爾可夫信源 
3．3．3 馬爾可夫信源熵 
3．4 連續(xù)信源 
3．4．1 連續(xù)信源的熵 
3．4．2 幾種特殊連續(xù)信源的熵 
3．4．3 連續(xù)熵的性質(zhì)及最大連續(xù)熵定理 
習(xí)題 


第4章 無失真信源編碼 
4．1 信源編碼概述 
4．1．1 信源編碼的定義 
4．1．2 克拉夫特（Kraft）不等式 
4．2 定長(zhǎng)編碼 
4．2．1 定長(zhǎng)編碼定理 
4．2．2 定長(zhǎng)編碼方法 
4．3 變長(zhǎng)編碼 
4．3．1 變長(zhǎng)編碼定理 
4．3．2 變長(zhǎng)編碼方法 
4．4 幾種實(shí)用的無失真信源編碼 
4．4．1 香農(nóng)編碼 
4．4．2 費(fèi)諾編碼 
4．4．3 哈夫曼編碼 
4．4．4 游程編碼 
4．4．5 冗余位編碼 
4．4．6 算數(shù)編碼 
4．4．7 字典編碼 
習(xí)題 


第5章 限失真信源編碼 
5．1 失真測(cè)度與信息率失真函數(shù) 
5．1．1 平均失真度 
5．1．2 信息率失真函數(shù)的定義 
5．1．3 信息率失真函數(shù)的性質(zhì) 
5．2 信息率失真函數(shù)的計(jì)算 
5．2．1 離散信源的率失真函數(shù)的計(jì)算 
5．2．2 連續(xù)信源的率失真函數(shù) 
5．3 限失真信源編碼定理 
5．4 限失真信源編碼簡(jiǎn)介 
5．4．1 語音信號(hào)的預(yù)測(cè)編碼 
5．4．2 圖像與視頻信號(hào)的預(yù)測(cè)編碼 
習(xí)題 


第6章 信道及信道容量 
6．1 信道模型和分類 
6．1．1 一般信道的數(shù)學(xué)模型 
6．1．2 信道的分類 
6．1．3 信道容量的定義 
6．2 特殊的單符號(hào)離散信道的信道容量 
6．2．1 離散無噪信道的信道容量 
6．2．2 強(qiáng)對(duì)稱離散信道的信道容量 
6．2．3 對(duì)稱信道的信道容量 
6．2．4 準(zhǔn)對(duì)稱離散信道的信道容量 
6．2．5 一般離散信道的信道容量 
6．3 多符號(hào)離散信道 
6．3．1 多符號(hào)離散信道的數(shù)學(xué)模型 
6．3．2 離散無記憶信道的信道容量 
6．4 多用戶信道及連續(xù)信道 
6．4．1 多用戶信道 
6．4．2 連續(xù)信道 
習(xí)題 


第7章 信道編碼 
7．1 信道編碼的基本概念 
7．1．1 信道編碼的意義 
7．1．2 信道編碼的分類 
7．1．3 信道編碼的基本原理 
7．2 信道編碼定理 
7．2．1 譯碼規(guī)則及錯(cuò)誤概率 
7．2．2 信道編碼定理 
7．2．3 檢錯(cuò)與糾錯(cuò)原理 
7．2．4 檢錯(cuò)與糾錯(cuò)方式和能力 
7．3 線性分組碼 
7．3．1 概述 
7．3．2 線性分組碼的生成矩陣和一致校驗(yàn)矩陣 
7．3．3 線性碼的糾錯(cuò)能力 
7．3．4 線性分組碼的譯碼 
7．3．5 漢明碼 
7．4 循環(huán)碼 
7．4．1 循環(huán)碼的定義及多項(xiàng)式表示 
7．4．2 循環(huán)碼的生成矩陣和一致校驗(yàn)矩陣 
7．4．3 循環(huán)碼的編碼 
7．4．4 循環(huán)碼的譯碼 


第8章 信息論方法的應(yīng)用 
8．1 信息論在統(tǒng)計(jì)中的應(yīng)用 
8．1．1 EM算法 
8．1．2 互熵與Fisher矩陣 
8．2 組合投資決策（Portfolio）中的應(yīng)用 
8．2．1 組合投資決策問題 
8．2．2 量?jī)?yōu)組合投資決策的計(jì)算 
8．3 最大熵原理在經(jīng)濟(jì)學(xué)中的應(yīng)用 
8．3．1 最大熵建模基本原理 
8．3．2 最大熵統(tǒng)計(jì)模型的優(yōu)缺點(diǎn) 
8．3．3 封閉經(jīng)濟(jì)體中貨幣量的分布 
8．3．4 封閉經(jīng)濟(jì)體中財(cái)富的分布 
8．4 在自然語言中應(yīng)用 
8．4．1 英語信源的熵和剩余度 
8．4．2 漢語信源的熵和剩余度 


附錄：模擬試題 
模擬試題一 
模擬試題一答案 
模擬試題二 
模擬試題二答案 
模擬試題三 
模擬試題三答案 
模擬試題四 
模擬試題四答案 
參考文獻(xiàn)