信息論與編碼是一門比較理論化的科學(xué)，涉及大量的數(shù)學(xué)分析、論證和建模，對數(shù)學(xué)的要求高，涉及概率論、線性代數(shù)、微積分等。對于不善于領(lǐng)悟的同學(xué)，可能會覺得它枯燥無味；而對于善于領(lǐng)悟的同學(xué)，則會有如魚得水的感覺。信息論是對信息問題的抽象，應(yīng)用面和涉及面廣，許多問題都可以歸結(jié)為信息論問題，但是由于其中涉及數(shù)學(xué)建模太多，局限性也多。這對于學(xué)生，特別是對于本科生而言，是具有一定難度的。當(dāng)今的某些課程，包括數(shù)學(xué)等，經(jīng)歷課時數(shù)的壓縮，課時也有所縮短。在這樣的情況下，針對昔日本科生的教學(xué)大綱和教材，對于經(jīng)過擴招以后的大學(xué)生而言，顯得更加枯燥無味、艱澀難懂。為了促進(jìn)學(xué)生對于相關(guān)數(shù)學(xué)問題的理解，我們將信息論與編碼中的關(guān)鍵性、全局性的問題進(jìn)行了提煉，設(shè)計了一些全程問題，并且將復(fù)雜的問題分解為若干問題及其錦囊，通過逐步提示和啟發(fā)的方式來促進(jìn)學(xué)生的理解。當(dāng)然對于一些問題的分解并不太讓人滿意，權(quán)作為拋磚引玉。

　　雖然直觀地看，書本上的數(shù)學(xué)公式枯燥無味，但是如果能夠善于思考和洞察問題的本質(zhì)，就會發(fā)現(xiàn)，數(shù)學(xué)問題是那樣美妙、有趣，數(shù)字的規(guī)律有時候也是嚴(yán)整有序的。

　　根據(jù)學(xué)生對以往的信息論與編碼類教材的反饋意見，我們決定在前人的基礎(chǔ)上改進(jìn)信息論與編碼教材，同時實踐我們在一些教改論文中提出的教材改革、教學(xué)改革和提高學(xué)生創(chuàng)新能力的建議[1-4\]。我們在教學(xué)中發(fā)現(xiàn)學(xué)生有應(yīng)試習(xí)慣，許多學(xué)生并不是通過自己的理解去做題，而是依葫蘆畫瓢，按照類似的題型去套，因此在課后習(xí)題中增加了一些比較靈活、自由的題目。

　　我們在這本教材中試圖做到以下幾點：

　　(1) 充分重視啟發(fā)。將復(fù)雜的數(shù)學(xué)證明簡化為若干小問題，變成若干錦囊來啟發(fā)學(xué)生理解問題。通過極端的例子來啟發(fā)學(xué)生發(fā)現(xiàn)和理解問題。通過現(xiàn)實中經(jīng)常用到的例子來啟發(fā)。

　　(2) 重視實用性，除了理論外，還對各種編碼的具體實現(xiàn)中的問題進(jìn)行了分析，并且給出了一些軟件實現(xiàn)的具體指導(dǎo)。避免教材內(nèi)容過于學(xué)術(shù)化，而沒有考慮到學(xué)生今后在工作中的實際需求。對于信息論與編碼技術(shù)在現(xiàn)實中的各種應(yīng)用也有不少介紹和展望。

　　(3) 充分結(jié)合我們的研究和教學(xué)成果與經(jīng)驗，根據(jù)我們的分析和研究，提供一些新的理解或者證明相關(guān)結(jié)論的方法。

　　(4) 注重各知識點的條理性、銜接性、前后關(guān)系和因果關(guān)系。

　　(5) 詳細(xì)敘述與方向指引并重�！拔嵘�也有涯，而知也無涯。以有涯隨無涯，殆已�！敝�識是無涯的，與此相對應(yīng)的是教材篇幅是受到限制的，學(xué)生的時間也是有限的，即有涯。如何在有涯和無涯之間建立很好的平衡是一個教材的編者必須充分考慮的。在當(dāng)今強調(diào)寬口徑教學(xué)的背景下，一方面要突出重點，針對具有理論和應(yīng)用價值的內(nèi)容進(jìn)行詳細(xì)敘述；另一方面，由于篇幅所限，不可能面面俱到，在教材中指明學(xué)科的脈絡(luò)、發(fā)展方向和前沿，對于某些應(yīng)用面有限的、煩瑣的尖端枝末性的知識，我們盡量推薦一定的教材和資源，以便讀者可以根據(jù)指引找到相關(guān)資料。本書還提出了一些具有潛力的新問題研究方向。

　　(6) 傳授知識與傳授方法并舉。通過舉例等讓學(xué)生體驗到利用新的方法來解決實際問題的途徑。以教材的課后習(xí)題誘導(dǎo)學(xué)生去探索現(xiàn)學(xué)現(xiàn)用甚至自己去搜集資料來解決問題的方法。本書不僅致力于讓學(xué)生學(xué)會信息論與編碼的相關(guān)知識，在許多時候通過啟發(fā)的方式讓學(xué)生能夠?qū)W習(xí)信息論的基本方法，以及新理論的創(chuàng)新的方法和技巧。在值得學(xué)生深思、借鑒和聯(lián)想的地方做一定的標(biāo)記和啟發(fā)性提問。提供通用的和針對信息論與編碼的學(xué)習(xí)和研究的方法、技巧。

　　(7) 對于重要的關(guān)鍵詞提供對應(yīng)的英文術(shù)語，達(dá)到一定的雙語效果，便于讀者進(jìn)一步閱讀英文文獻(xiàn)。

　　(8) 學(xué)術(shù)性與通俗性共存。在兩者之間保持平衡，避免教材的曲高和寡與經(jīng)院化，也避免教材一味追求實用卻缺乏理論深度。目前一些教材存在著學(xué)術(shù)性很強，但是缺乏通俗性的弊端。編者將更多地站在學(xué)生的角度去編寫教材。第一，在編寫教材時，考慮讀者的基礎(chǔ)，盡量對于專業(yè)術(shù)語給予解釋。第二，不要采用模糊不清的表述，寧可多寫，也要把問題寫清楚，對于可能存在歧義的表述，通過各種方式讓歧義消除，語意明確。為了達(dá)到通俗易懂，在一些地方不避煩冗，對于比較專業(yè)和自學(xué)能力強的讀者，可能會覺得比較啰嗦，這是為了表述得更加明確。第三，盡量少用抽象空洞的表述，同時配備通俗易懂的實例或者圖表。第四，對于難于理解的問題，用形象的例子或者比擬來啟發(fā)思維。第五，在描述問題時避免跨度太大或者跨越某些知識而造成理解上的困難。達(dá)到無須教師講解依然具有很好的可讀性的效果，便于自學(xué)。第六，內(nèi)容上要考慮實踐中必須解決的一些問題，考慮現(xiàn)實中的各種因素。第七，一方面減少了某些意義不大、非常煩雜的、數(shù)學(xué)推導(dǎo)過多的內(nèi)容，但是同時也用一些啟發(fā)的錦囊來引導(dǎo)讀者自悟。對于較為復(fù)雜的問題，同時給予專業(yè)性表述和通俗性表述。

　　(9) 合理設(shè)計排版布局。為了保證對于不同讀者和學(xué)生的適用性，顯示教材內(nèi)容的層次性，不同性質(zhì)的內(nèi)容采用不同的字體。對于比較難、選學(xué)的內(nèi)容，在其標(biāo)題后加*號，對于一些啟發(fā)性、評價性的內(nèi)容，解題指導(dǎo)以及理論應(yīng)用于實際方面的討論的內(nèi)容，感想、啟示以及啟發(fā)性提問采用楷體；重要的內(nèi)容采用加粗字體；必要的背景闡釋和補充說明采用仿宋字體。

　　(10) 重視對創(chuàng)新能力的激勵和培養(yǎng)。第一，在合適位置預(yù)留讀者發(fā)表自己看法的空間。為了啟發(fā)和喚醒學(xué)生的創(chuàng)新思維，在教材的適當(dāng)位置（比如編者認(rèn)為某些內(nèi)容還有很大的創(chuàng)新空間時）預(yù)留讀者自己思考和創(chuàng)新的空白位置，并且用文字標(biāo)示出來提醒讀者。在描述具有啟發(fā)意義的創(chuàng)新內(nèi)容時，對于相關(guān)內(nèi)容的重大創(chuàng)新給予點評來啟發(fā)讀者進(jìn)行創(chuàng)新，并且在章節(jié)的末尾或者適當(dāng)位置預(yù)留空間讓讀者自由表達(dá)思想，如可以容納新思想、新假想、未被證實或未完全證實的想法、簡潔但是有用的想法等，或者讓讀者可以評閱、提出自己的困難與添加自己的觀點、建議和改進(jìn)意見，這樣的提示有利于讀者發(fā)揮主觀能動性和養(yǎng)成獨立思考的習(xí)慣，也有利于教師或者編者將這些學(xué)生的評閱和觀點加以整理，以便于修改完善教材。第二，信息論的許多模型都有自己的前提，是有局限性的，在描述編者認(rèn)為非絕對內(nèi)容的時候通過非肯定的描述，避免讓讀者對已有的理論產(chǎn)生正確無疑的看法，從而鼓勵學(xué)生放開眼光，發(fā)散思考，甚至提示學(xué)生去發(fā)現(xiàn)這些潛在的前提。

　　(11) 充分重視學(xué)生的數(shù)學(xué)基礎(chǔ)，除了學(xué)生必須具備的高等數(shù)學(xué)、線性代數(shù)和概率論基礎(chǔ)外，對于其他的數(shù)學(xué)基礎(chǔ)會在相應(yīng)章節(jié)簡要提及。教材的編寫注重通俗性和易讀性，讓數(shù)學(xué)基礎(chǔ)差的同學(xué)在沒有教師指導(dǎo)的情況下能夠自學(xué)，特別是需要考慮擴招帶來的學(xué)生基礎(chǔ)的影響。

　　(12) 合理地設(shè)計習(xí)題。由于創(chuàng)新能力、自學(xué)能力和動手能力在產(chǎn)學(xué)研結(jié)合教育中的重要性，因此教材的習(xí)題也要考慮激發(fā)、提高或者檢驗學(xué)生的創(chuàng)新能力、現(xiàn)學(xué)現(xiàn)用能力、自學(xué)能力和動手能力。除了傳統(tǒng)的答案相對固定的習(xí)題外，還應(yīng)當(dāng)有答案開放、促進(jìn)思維發(fā)散的習(xí)題，讓學(xué)生展開思維的翅膀去創(chuàng)新。在習(xí)題中引入沒有用書本上的概念描述的現(xiàn)實問題，讓學(xué)生現(xiàn)學(xué)現(xiàn)用，增強學(xué)生舉一反三的能力。鼓勵學(xué)生結(jié)合信息論去思考現(xiàn)實中的各種問題。

　　(13) 先立后破。引導(dǎo)學(xué)生進(jìn)入信息論的模型中，進(jìn)而接受和相信信息論。在可能走向迷信的時候，打破這種迷信。在教材的最后，才開始討論信息論的前提條件，讓讀者知道其局限性。

　　(14) 對于一些比較困難的內(nèi)容進(jìn)行簡化，僅僅提及相關(guān)的結(jié)論和基本的原理。

(15) 在將科研成果融入教材的同時，試圖化解教學(xué)之易與科研之難的矛盾。本書在將許多科研成果融入教材時盡量采用容易理解的方式簡化相關(guān)內(nèi)容。

　　本教材依然存在以下方面的問題： 對于信息論的各個模型、定義，有一些未明確說明的假定。在具體的理論轉(zhuǎn)向不同應(yīng)用情形的時候，也存在一些未明確說明的問題，諸如是否適用的問題。比如，當(dāng)一個定理對單個符號適用，轉(zhuǎn)向應(yīng)用于符號序列時，沒有說明其適用性。這是讀者在閱讀信息論與編碼類教材時需要注意的。本教材對于其中一部分給出了說明，但是沒有全部說明。

　　在本書的編寫過程中參考了不少信息論與編碼方面的教材、專著、論文和網(wǎng)絡(luò)資源等，在此作者對這些著作的作者深表感謝。為了減少歧義，對一些題目和知識的條件進(jìn)行了明確的闡述，對于可能不妥的說法也進(jìn)行了改進(jìn)，但是，這些改進(jìn)可能存在不當(dāng)之處。

　　信息論面對的現(xiàn)實中真實的模型、系統(tǒng)、對象和參數(shù)都是極其復(fù)雜、多樣化和不確定的，在信息論中是存在許多簡化和忽略的，這造成某些理論是受到限制的，并不普適，也不唯一，有些教材也存在不一致的說法。在本教材中，編者盡量對一些模糊的對象加以明確，對于一些前提加以限定，但是有時候鑒于考慮得越復(fù)雜、越細(xì)致就會越煩瑣和復(fù)雜化，因此有些地方依然保持現(xiàn)有教材的說法。

　　在不同的教材中，有些術(shù)語、分類和劃分等對象存在一定的不一致、不統(tǒng)一、不確定的情況，有些內(nèi)容本身也存在模糊性，有些劃分要么過于龐雜，要么存在疏漏，有的劃分還有重復(fù)。在本教材中采用以下原則： 列舉別名、明確問題、理清脈絡(luò)、解釋分歧、回避歧義、避免繁雜而無意義的內(nèi)容。但是，這些原則在針對實際情況時也存在欠缺，尚未做得滿意。

　　本書力圖做出多方面的改革和改進(jìn)，但是，這些變革總是存在一定難度的，一部優(yōu)秀的教材應(yīng)該融合產(chǎn)學(xué)研，編者在有些方面心有余而力不足，加上時間有限，可能存在一定的不足。

　　對于學(xué)生的學(xué)習(xí)方面，編者認(rèn)為，雖然本教材設(shè)計了大量的思考題，但是，作者也反對絞盡腦汁、挖空心思式的短期拔苗助長的思維訓(xùn)練方法，真正提高智力需要有安寧、清明的心，寧靜才能致遠(yuǎn)，清明才能洞察。學(xué)生的思考習(xí)慣應(yīng)該是先扶后抑，當(dāng)學(xué)生不習(xí)慣思考的時候，可以培養(yǎng)思考的習(xí)慣；但是思考成為非常強烈的習(xí)慣的時候，這從任何一個角度（智力、身體、心理等）來說對于學(xué)生都是不利的，需要冷靜觀察和抑制思維。

　　在學(xué)習(xí)中，方法是非常重要的，甚至比書本上的死知識更重要，建議多讀數(shù)學(xué)家和密碼學(xué)家的故事，比如香農(nóng)、王小云等。知識的啟發(fā)價值可能遠(yuǎn)遠(yuǎn)超過知識的直接價值。關(guān)于這門課程的學(xué)習(xí)，相對于其他的課程顯得比較艱深抽象，需要較好的數(shù)學(xué)基礎(chǔ)，固然做習(xí)題也是需要的，但是，習(xí)題可能更多的是應(yīng)付考試，對于真正掌握和進(jìn)一步應(yīng)用信息論與編碼的理論意義是不大的，信息論與編碼課程的學(xué)習(xí)與掌握，最重要的還是理解。

　　本教材添加了一些實踐應(yīng)用方面的知識，也涉及許多思想與方法，相比一些教材更“厚”，在教學(xué)中如果課時受限，要根據(jù)需求合理取舍，并將一些內(nèi)容交給學(xué)生自學(xué)。

　　根據(jù)編者的經(jīng)驗，自己獨立去想通一個問題，或者實在想不通的時候，看一部分書本證明再繼續(xù)獨立思考，可能比完全看書本上的分析與證明效果更好。這一點可以總結(jié)為“學(xué)習(xí)得來終覺淺，絕知此事要自悟”。

　　編者認(rèn)為，信息在對于人類的利弊上是中立的，信息只是提供給我們更多的選擇，但是這種選擇到底是有益還是有害，人是不是會利用這種選擇來危害社會，很大的程度上是取決于用信息的人，所以無論科技如何發(fā)達(dá)，永遠(yuǎn)都不能忽視人的道德問題，壞人掌握高科技，無異于南轅北轍。正如復(fù)旦大學(xué)校長所言： “無德學(xué)生越有知識可能越禍害社會�！睂τ趯W(xué)生的道德要求應(yīng)高于學(xué)業(yè)要求，德育更重于智育。

　　現(xiàn)在的大學(xué)教學(xué)中忽視德育，輕視方法與思想，而更側(cè)重理論。但實際上三者的重要性是遞減的。

　　國外的一些大學(xué)教育水平為什么能夠高出國內(nèi)很多，我們參考國外的教材和教學(xué)安排、習(xí)題就可以得出一部分答案： 它們學(xué)生的壓力更大，學(xué)習(xí)內(nèi)容多，但是教師講的少，學(xué)生自學(xué)的內(nèi)容多，題目更加靈活；它們的平時成績往往超過70%，平時的習(xí)題任務(wù)也非常大，而且非常嚴(yán)格；另外，機制保證了學(xué)生更加勤奮，教師的要求更加嚴(yán)格。而在國內(nèi)，在學(xué)習(xí)專業(yè)知識的大學(xué)階段卻反倒松懈下來。提升大學(xué)教育質(zhì)量離不開嚴(yán)格管理，國外的做法值得借鑒。

　　本書共分9章。第1章是緒論，介紹信息、通信系統(tǒng)模型、離散與連續(xù)等內(nèi)容。第2章介紹信息的統(tǒng)計度量，也是信息論的基本概念，包括自信息量、互信息量、平均自信息（熵）、平均互信息等，這一章是后續(xù)章節(jié)的基礎(chǔ)。第3章討論信道及其容量。第4章主要介紹編碼的基本概念與無失真信源編碼。第5章討論信息率失真函數(shù)與限失真編碼。第6章討論信道編碼。第7章討論加密編碼。第8章分析香農(nóng)信息論的局限性，并且對信息論的發(fā)展進(jìn)行展望。第9章介紹一些常用編碼的實現(xiàn)方法和信息論的應(yīng)用。

　　本書由王勇主編，第6章由黃雄華完成，其余均由王勇編寫，蔡國永參與了第9章的編寫。主編審閱了各章內(nèi)容，但是當(dāng)章節(jié)編者與主編存在不同看法時，主要保留編者的觀點。教材中新的錦囊、穿插的思考題、課后思考題由王勇設(shè)計。教材的策劃與改革主要由王勇完成。

　　作者要特別感謝清華大學(xué)出版社的信任與支持！同時感謝付莉做了一部分資料收集工作，并繪制了若干插圖。

　　本書得到中國電子教育學(xué)會“十二·五”高等教育科學(xué)研究立項課題（No.ZDJ11208）、新世紀(jì)廣西高等教育教學(xué)改革工程立項項目（No.2012JGA137）的資助。

　　本書的前修課程包括高等數(shù)學(xué)、概率論和線性代數(shù)。離散數(shù)學(xué)（數(shù)論、近世代數(shù)）也是某些編碼理論的基礎(chǔ)，本書中在相關(guān)章節(jié)對這些基礎(chǔ)簡要提及。

　　本書將會提供一定的增補電子文檔和其他相關(guān)的電子文檔。

　　本書試圖更多地從理解的角度來啟迪讀者，也提出了許多具有啟發(fā)性的思考問題，希望能夠把這本書變成啟迪思維、開啟智慧的素材集，但是編者的理解是有限的，在信息論與編碼領(lǐng)域的理論和實踐方面存在一定的欠缺，限于作者水平有限，書中錯誤和不當(dāng)之處在所難免，歡迎各種批評和建議。我們倡導(dǎo)面向就業(yè)的教學(xué)方式，在教材的編寫上，也希望能夠進(jìn)一步貼近研究和應(yīng)用的實踐，我們歡迎（但是不限于）以下反饋意見：

　　(1) 研究人員對教材的前瞻性提出批評指正；

　　(2) 學(xué)習(xí)過信息論與編碼的畢業(yè)生在從業(yè)多年后對教材的實用性進(jìn)行評價；

　　(3) 還未學(xué)習(xí)過信息論與編碼的本科生（已經(jīng)學(xué)過高等數(shù)學(xué)、線性代數(shù)和概率論）來評論教材的通俗性和易讀性，指出教材中的跳躍度較大、艱澀難懂的地方；

　　(4) 教師和學(xué)生對教材中出現(xiàn)的問題給予批評，對教材的優(yōu)缺點進(jìn)行評價，針對教材中的一些改進(jìn)點提出批評意見；

　　(5) 產(chǎn)業(yè)界和廣大的相關(guān)行業(yè)人士就教材的實用性提出自己的意見，以增強課程與實踐的銜接。如有意見可以發(fā)到hellowyin@126.com，對于有顯著貢獻(xiàn)的讀者，我們會在教材或者其電子材料中注明，并可能拿出一部分稿酬給予獎勵。此外，對于今后的教材再版，我們也積極歡迎產(chǎn)、學(xué)、研等領(lǐng)域的人才參與進(jìn)來，參與者和提出意見者可以提出自己的關(guān)于版權(quán)、署名和稿酬等方面的要求。




王勇
2012年11月于桂林電子科技大學(xué)