本書(shū)系統(tǒng)地論述信息論與糾錯(cuò)編碼的基本理論。共有9章，內(nèi)容包括：信息的定義和度量,離散信源和連續(xù)信源的信息熵，信道和信道容量，平均失真度和信息率失真函數(shù)，三個(gè)香農(nóng)信息論的基本定理：無(wú)失真信源編碼定理、限失真信源編碼定理和信道編碼定理，若干種常見(jiàn)實(shí)用的無(wú)失真信源壓縮編碼的方法，以及信道糾錯(cuò)編碼的基本內(nèi)容和分析方法。
　　本書(shū)深入淺出、概念清晰、系統(tǒng)性和可讀性強(qiáng)。

傅祖蕓，自1968年至1979年在中國(guó)科技大學(xué),1979年至1983年在中國(guó)科技大學(xué),1983年至2000年在中國(guó)科學(xué)院研究生院.近三十年一直主要講授本科生和研究生的專業(yè)基礎(chǔ)課《信息論與編碼》或《信息論基礎(chǔ)》。自1980年起就編寫(xiě)《信息論與編碼》方面的教材，所編寫(xiě)的《信息論基礎(chǔ)》于1986年和1989年兩次入選全國(guó)高等院校電子類第二輪、第三輪統(tǒng)編教材。1989年出版的《信息論基礎(chǔ)》于1992年1月榮獲第二屆機(jī)械電子工業(yè)部電子類專業(yè)優(yōu)秀教材一等獎(jiǎng)。

第1章 緒論
1.1 信息的概念
1.2 信息論研究的對(duì)象、目的和內(nèi)容
1.3 信息論發(fā)展簡(jiǎn)史與信息科學(xué)
第2章 離散信源及其信息測(cè)度
2.1 信源的數(shù)學(xué)模型及分類
2.2 離散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性質(zhì)
2.4 信息熵的唯一性定理
2.5 離散無(wú)記憶的擴(kuò)展信源
2.6 離散平穩(wěn)信源
2.6.1 離散平穩(wěn)信源的數(shù)學(xué)定義
2.6.2 離散二維平穩(wěn)信源及其信息熵 第1章   緒論
  1.1   信息的概念
  1.2   信息論研究的對(duì)象、目的和內(nèi)容 
  1.3   信息論發(fā)展簡(jiǎn)史與信息科學(xué)
第2章   離散信源及其信息測(cè)度
  2.1   信源的數(shù)學(xué)模型及分類
  2.2   離散信源的信息熵    
     2.2.1   自信息    
     2.2.2   信息熵   
  2.3   信息熵的基本性質(zhì)
  2.4    信息熵的唯一性定理  
  2.5   離散無(wú)記憶的擴(kuò)展信源    
  2.6   離散平穩(wěn)信源    
     2.6.1   離散平穩(wěn)信源的數(shù)學(xué)定義
     2.6.2   離散二維平穩(wěn)信源及其信息熵
     2.6.3   離散平穩(wěn)信源的極限熵    
  2.7   馬爾可夫信源    
     2.7.1   馬爾可夫信源和m階馬爾可夫信源的定義
     2.7.2   m階馬爾可夫信源的信息熵   
  2.8   信源冗余度與自然語(yǔ)言的熵    
  2．9   意義信息和加權(quán)熵  
  習(xí)題    
第3章   離散信道及其信道容量
  3.1   信道的數(shù)學(xué)模型及分類
     3.1.1   信道的分類   
     3.1.2   離散信道的數(shù)學(xué)模型
     3.1.3   單符號(hào)離散信道的數(shù)學(xué)模型
  ３．２   平均互信息及平均條件互信息    
     3.2.1   信道疑義度    
     3.2.2   平均互信息    
     3.2.3   平均條件互信息
  3.3   平均互信息的特性    
  3.4   信道容量及其一般計(jì)算方法
     3.4.1   離散無(wú)噪信道的信道容量
     3.4.2   對(duì)稱離散信道的信道容量
     3.4.3   準(zhǔn)對(duì)稱信道的信道容量    
     3.4.4   一般離散信道的信道容量
  3.5  離散無(wú)記憶擴(kuò)展信道及其信道容量
  3.6   獨(dú)立并聯(lián)信道及其信道容量    
  3.7   串聯(lián)信道的互信息和數(shù)據(jù)處理定理
  3.8   信源與信道的匹配    
  習(xí)題    
第4章   波形信源和波形信道
  4.1   連續(xù)信源和波形信源的信息測(cè)度
     4.1.1   連續(xù)信源的差熵    
     4.1.2   連續(xù)平穩(wěn)信源和波形信源的差熵 
     4.1.3   兩種特殊連續(xù)信源的差熵    
  4.2   連續(xù)信源熵的性質(zhì)及最大差熵定理 
     4.2.1   差熵的性質(zhì)    
     4.2.2   具有最大差熵的連續(xù)信源
  4.3   熵功率    
  4.4   連續(xù)信道和波形信道的信息傳輸率
     4.4.1   連續(xù)信道和波形信道的分類  
     4.4.2   連續(xù)信道和波形信道的信息傳輸率
     4.4.3   連續(xù)信道平均互信息的特性    
  4.5   高斯加性波形信道的信道容量    
     4.5.1   單符號(hào)高斯加性信道    
     4.5.2   限帶高斯白噪聲加性波形信道
  習(xí)題    
第5章   無(wú)失真信源編碼定理
  5.1   編碼器    
  5.2   等長(zhǎng)碼   
  5.3   漸近等分割性和ε典型序列
  5.4   等長(zhǎng)信源編碼定理    
  5.5   變長(zhǎng)碼    
     5.5.1   唯一可譯變長(zhǎng)碼與即時(shí)碼
     5.5.2   即時(shí)碼的樹(shù)圖構(gòu)造法   
     5.5.3   克拉夫特     (Kraft)不等式
     5.5.4   唯一可譯變長(zhǎng)碼的判斷法  
  5.6   變長(zhǎng)信源編碼定理    
  習(xí)題    
第6章   有噪信道編碼定理
  6.1   錯(cuò)誤概率和譯碼規(guī)則
  6.2   錯(cuò)誤概率與編碼方法
 *6.3   聯(lián)合ε典型序列   
  6.4   有噪信道編碼定理    
  6.5   聯(lián)合信源信道編碼定理
  習(xí)題    
第7章   保真度準(zhǔn)則下的信源編碼
  7.1   失真度和平均失真度    
     7.1.1   失真度    
     7.1.2   平均失真度
  7.2   信息率失真函數(shù)及其性質(zhì)
     7.2.1   信息率失真函數(shù)   
     7.2.2   信息率失真函數(shù)的性質(zhì) 
  7.3   信息率失真函數(shù)的參量表述及其計(jì)算
  7.4   二元信源和離散對(duì)稱信源的R(D)     函數(shù)
     7.4.1   二元對(duì)稱信源的R(D)函數(shù)   
     7.4.2   離散對(duì)稱信源的R(D)函數(shù)   
   7.5   連續(xù)信源的信息率失真函數(shù)  
     7.5.1   連續(xù)信源的信息率失真函數(shù)
     7.5.2   高斯信源的信息率失真函數(shù)
  7.6   保真度準(zhǔn)則下的信源編碼定理
  7.7   聯(lián)合有失真信源信道編碼定理
  
7.8   限失真信源編碼定理的實(shí)用意義
  習(xí)題    
第8章   無(wú)失真的信源編碼
  8.1   霍夫曼（Huffman）碼 
     8.1.1   二元霍夫曼碼   
     8.1.2   r元霍夫曼碼
     8.1.3   霍夫曼碼的最佳性 
  8.2   費(fèi)諾（Fano）碼    
  8.3   香農(nóng)—費(fèi)諾—埃利斯碼
  8.4   游程編碼和MH編碼  
     8.4.1   游程編碼    
     8.4.2   MH編碼   
  8.5   算術(shù)編碼    
  8.6   字典碼    
     8.6.1   LZ-77編碼算法
     8.6.2   LZ-78編碼算法
     8.6.3   LZW編碼算法  
     8.6.4        KY（KiefferYang）編碼算法      
     8.6.5   LZ復(fù)雜度和LZ碼性能分析    
  習(xí)題    
第9章   信道的糾錯(cuò)編碼
  9.1   差錯(cuò)控制的基本形式
  9.2   糾錯(cuò)碼分類與基本概念 
     9.2.1   糾錯(cuò)碼的分類   
     9.2.2   糾錯(cuò)碼的基本概念及其糾錯(cuò)能力
  9.3   線性分組碼的數(shù)學(xué)基礎(chǔ)    
     9.3.1   群論基礎(chǔ)    
     9.3.2   環(huán)與域   
     9.3.3   多項(xiàng)式理論
     9.3.4   有限域的性質(zhì)和代數(shù)結(jié)構(gòu)
     9.3.5   有限域上的線性代數(shù)   
  9.4   線性分組碼    
     9.4.1   生成矩陣與一致校驗(yàn)矩陣
     9.4.2   伴隨式及標(biāo)準(zhǔn)陣列譯碼    
     9.4.3   縮短碼、擴(kuò)展碼和增刪碼 
     9.4.4   漢明碼    
  9.5   循環(huán)碼    
     9.5.1   循環(huán)碼結(jié)構(gòu)及其描述
*9.5.2   由生成多項(xiàng)式的根定義循環(huán)碼 
     9.5.3   循環(huán)碼的譯碼    
  9.6        BCH碼    
     9.6.1   BCH碼的結(jié)構(gòu)及其描述
*9.6.2   RS碼和Goppa碼
  9.7   卷積碼 
     9.7.1   卷積碼的解析表示 
     9.7.2   卷積碼的圖表示  
  9.8   分組碼性能分析    
  習(xí)題    
附錄A   凸函數(shù)和詹森不等式 
附錄B   隨機(jī)過(guò)程
  B.1    隨機(jī)過(guò)程的基本概念
  Ｂ.2   馬爾可夫鏈    
  B.3   平穩(wěn)隨機(jī)過(guò)程    
附錄C   熵函數(shù)的函數(shù)表
附錄D   LDPC碼簡(jiǎn)介
  D.1   LDPC碼的基本概念    
  D.2   LDPC碼編碼算法    
  D.3   LDPC碼譯碼方法    
  D.4   校驗(yàn)矩陣的構(gòu)造方法  
  D.5   LDPC碼的應(yīng)用與展望
參考書(shū)目及文獻(xiàn)

第二版前言
　　本書(shū)為“普通高等教育‘十一五’國(guó)家級(jí)規(guī)劃教材”。
　　信息論與編碼是一門(mén)應(yīng)用概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)等方法來(lái)研究信息的存儲(chǔ)、傳輸、處理、控制和利用的一般規(guī)律的科學(xué)。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。自20世紀(jì)中葉香農(nóng)信息論問(wèn)世以來(lái)，信息理論本身得到不斷發(fā)展和深化，尤其是在這個(gè)理論指導(dǎo)下，信息技術(shù)也得到飛快發(fā)展。這又使對(duì)信息的研究沖破了香農(nóng)狹義信息論的范疇，幾乎滲透到自然科學(xué)與社會(huì)科學(xué)的所有領(lǐng)域，從而形成了一門(mén)具有劃時(shí)代意義的新興學(xué)科——信息科學(xué)。所以信息論是信息科學(xué)發(fā)展的源泉，也是信息科學(xué)的基礎(chǔ)理論。
　　當(dāng)人類邁入21世紀(jì)——高度信息化時(shí)代以來(lái)，移動(dòng)通信、互聯(lián)網(wǎng)通信、多媒體技術(shù)、計(jì)算機(jī)技術(shù)、空間技術(shù)等信息技術(shù)出現(xiàn)了超出人們想象的、前所未有的發(fā)展速度。在這些領(lǐng)域中，只要涉及信息的存儲(chǔ)、傳輸和處理的問(wèn)題就要用到香農(nóng)信息論的理論——無(wú)失真通信的傳輸速率極限（即香農(nóng)極限）、無(wú)失真和限失真信源編碼理論（即數(shù)據(jù)壓縮原理）和信道編碼理論（即糾錯(cuò)碼理論）等。甚至日常生活?yuàn)蕵?lè)中如數(shù)字激光影碟機(jī)、數(shù)字家庭音像系統(tǒng)等都普遍采用了糾錯(cuò)碼技術(shù)和數(shù)據(jù)壓縮技術(shù)。所以，現(xiàn)在人們對(duì)于信息論的基本理論已不再感到陌生、抽象和難以理解和掌握，也越來(lái)越感到學(xué)習(xí)和掌握信息理論的必要和重要。
　　在這種形勢(shì)下，各高校的熱門(mén)專業(yè)“信息工程技術(shù)專業(yè)”也得到快速發(fā)展，專業(yè)的知識(shí)結(jié)構(gòu)也做了相應(yīng)調(diào)整，都先后開(kāi)設(shè)了“信息論與編碼”的有關(guān)課程，作為本科生、研究生必修的專業(yè)基礎(chǔ)課。與此同時(shí)，于1998年以來(lái)，全國(guó)幾百所高校先后在理學(xué)院(或數(shù)學(xué)系)內(nèi)新增設(shè)了“信息與計(jì)算科學(xué)專業(yè)”，報(bào)考這一專業(yè)的學(xué)生也與日俱增。根據(jù)2005年教育部下發(fā)的“信息與計(jì)算科學(xué)專業(yè)”的教學(xué)規(guī)范，“信息與計(jì)算科學(xué)專業(yè)”就是要培養(yǎng)具有良好的數(shù)學(xué)基礎(chǔ)和數(shù)學(xué)思維能力，掌握信息或計(jì)算科學(xué)的基本理論、方法與技能，能解決信息科學(xué)技術(shù)和信息工程計(jì)算中實(shí)際問(wèn)題的高級(jí)理論研究型人才和技術(shù)型人才。無(wú)可置疑，信息論與編碼理論必然是此專業(yè)的必修基礎(chǔ)課之一。
　　“信息論與編碼”是一門(mén)既具有廣泛的數(shù)學(xué)理論與知識(shí)，又有實(shí)際工程背景的課程，兩者缺一不可。對(duì)信息工程技術(shù)類專業(yè)的學(xué)生來(lái)說(shuō)，他們具有一定的通信、電子和計(jì)算機(jī)方面的實(shí)際工程知識(shí)，雖然已有一定的數(shù)學(xué)基礎(chǔ)，但學(xué)生普遍對(duì)繁雜的數(shù)學(xué)公式感到困難而望而止步。對(duì)數(shù)學(xué)系信息與計(jì)算科學(xué)專業(yè)的學(xué)生來(lái)說(shuō)，雖然他們具有較好的數(shù)學(xué)基礎(chǔ)和數(shù)學(xué)思維能力，但更突出的是缺乏通信、電子等方面的實(shí)際工程知識(shí)。
　　針對(duì)上述情況，依據(jù)作者多年在信息論與編碼方面的教學(xué)和科研經(jīng)驗(yàn)及近年來(lái)對(duì)“信息與計(jì)算科學(xué)專業(yè)”的學(xué)生講授“信息論與編碼”課的教學(xué)實(shí)踐總結(jié)，我們反復(fù)商討，決定以《信息論——基礎(chǔ)理論與應(yīng)用》（第三版）［15］一書(shū)為藍(lán)本，基本保留原有體系，刪去一些對(duì)本科生來(lái)說(shuō)較深的內(nèi)容，以及在后續(xù)課程中將要講述的內(nèi)容，增加壓縮編碼和糾錯(cuò)碼的內(nèi)容，終而編寫(xiě)成本書(shū)，以期能適應(yīng)不同專業(yè)的需求。
　　本書(shū)主要是系統(tǒng)地介紹香農(nóng)（Shannon）信息論和編碼理論。全書(shū)注重基本概念、基本定理和基本分析方法的論述，并列舉許多例題，結(jié)合實(shí)例建立概念和數(shù)學(xué)模型，給出詳細(xì)的、必要的數(shù)學(xué)推演過(guò)程和證明，力求物理概念清晰，邏輯性、系統(tǒng)性強(qiáng)，數(shù)學(xué)結(jié)構(gòu)嚴(yán)謹(jǐn)完整又避免純數(shù)學(xué)的枯燥乏味。在內(nèi)容的編排上，力求由淺入深、循序漸進(jìn)，合理而系統(tǒng)地安排章節(jié)。全書(shū)力求做到既有實(shí)際應(yīng)用背景，又有清晰的數(shù)學(xué)概念和數(shù)學(xué)思想。
　　全書(shū)共分9章。第1、2、3、4章是全書(shū)的基礎(chǔ)。首先闡述信息的概念，引出香農(nóng)信息的定義，信息論研究的目的、內(nèi)容。在這基礎(chǔ)上討論各類離散信源、連續(xù)和波形信源的信息測(cè)度——信息熵及離散信道、連續(xù)和波形信道的信息傳輸率與信道容量。第5、6、7章主要論述香農(nóng)信息論的三個(gè)基本定理——離散信源的無(wú)失真編碼定理、有噪信道編碼定理及限失真信源編碼定理。此部分內(nèi)容是香農(nóng)信息論的核心部分。第8章介紹若干種常見(jiàn)實(shí)用的無(wú)失真信源壓縮編碼方法。第9章在給出必要的數(shù)學(xué)知識(shí)基礎(chǔ)上，論述信道糾錯(cuò)編碼的基本內(nèi)容和分析方法及一些主要的信道編碼方法。為幫助讀者掌握分析和解決問(wèn)題的能力，各章配有大量的習(xí)題。書(shū)后的附錄，為讀者提供了所需的一些數(shù)學(xué)基礎(chǔ)知識(shí)。讀者在學(xué)習(xí)本書(shū)前，最好請(qǐng)先閱讀附錄B，以便對(duì)隨機(jī)過(guò)程知識(shí)有個(gè)初步的概念。為配合本書(shū)的學(xué)習(xí)和解題，作者編寫(xiě)出版了《信息論與編碼學(xué)習(xí)輔導(dǎo)及習(xí)題詳解》［27］一書(shū)，可供讀者學(xué)習(xí)使用。
　　全書(shū)在三個(gè)定理證明上采用了統(tǒng)一的弱ε典型序列的分析方法，使定理證明簡(jiǎn)捷明了。但這些章節(jié)均標(biāo)以  “*”號(hào)出現(xiàn)。書(shū)中標(biāo)有“*”的章節(jié)和小字體部分均屬于嚴(yán)格的數(shù)學(xué)證明或加深、加寬的內(nèi)容。各高校、各專業(yè)可根據(jù)學(xué)時(shí)的多少或?qū)W生的知識(shí)程度適當(dāng)取舍，省略“*”的章節(jié)和小字體部分。省略后并不影響全書(shū)的系統(tǒng)性、邏輯性和可讀性。所以本書(shū)可作為數(shù)學(xué)系信息與計(jì)算科學(xué)專業(yè)的教材，也可作為信息與通信工程技術(shù)相關(guān)專業(yè)的教材。
　　本書(shū)由傅祖蕓主編，第8章字典碼一節(jié)、第9章和部分附錄由趙建中編寫(xiě)，并由傅祖蕓負(fù)責(zé)全書(shū)的修改和統(tǒng)編。孫建京、路而紅、劉泉、彭一凡、陳立、陳元熹、趙黎明、趙悅、施燕瓊、高蘭等同志參與了審稿、繪圖、謄抄等大量工作，張晉民對(duì)全書(shū)進(jìn)行審校,在此表示衷心的感謝。
　　在本書(shū)的編寫(xiě)過(guò)程中，參閱了國(guó)內(nèi)外一些經(jīng)典著作，均列于參考書(shū)目中，在此謹(jǐn)向作者表示深切謝意。
　　電子工業(yè)出版社陳曉莉編審對(duì)本書(shū)的出版做了大量的工作并提出了寶貴的意見(jiàn)，使本書(shū)得以順利出版，也在此深表感謝。
　　有關(guān)書(shū)中的不妥和錯(cuò)誤之處，殷切希望廣大讀者予以批評(píng)指正。

　　作者
　　20１４年３月