信息論基礎與編碼（簡體書）

《信息論基礎與編碼》系統地介紹了信息論基礎與編碼的主要內容，以及在無線通信系統中的主要應用。全書共9章，在介紹了有關信息度量的基礎上，重點討論了無失真信源編碼、限失真信源編碼、信道容量、信道編碼和密碼學的理論知識。全書從簡單的理論入手，結合大量的例題描述信息論與編碼的原理和應用，其中，原理的敘述力求突出概念和思路，盡量免去深奧的純數學推導，與具體的應用相結合。在各章還附有相應的習題，便于學生加深理解。《信息論基礎與編碼》可作為高等院校信息工程、通信工程以及電子信息類學生的教材，也可供低年級研究生或工程技術人員閱讀參考。

《信息論基礎與編碼》是工業和信息化普通高等教育“十二五”規劃教材立項項目。《信息論基礎與編碼》內容豐富，邏輯性強，通俗易懂；理論敘述力求突出重要概念和主體思路，包含大量例題，盡量避免純數學推導，與具體的應用相結合；每章附有習題。《信息論基礎與編碼》可作為高等院校信息工程、通信工程以及電子信息類專業的教材，也可供相關專業低年級研究生或工程技術人員參考。

第1章　概論　1.1　信息的基本概念　1.1.1　信息的定義　1.1.2　信息的性質　1.2　信息論研究的對象和內容　1.2.1　信息論研究的對象　1.2.2　信息論的基本定義　1.2.3　信息論研究的內容　1.3　信息論的發展　第2章　信源與信息熵　2.1　信源的數學模型及分類　2.2　離散信源熵和互信息　2.2.1　信息量　2.2.2　離散信源熵　2.2.3　互信息量　2.2.4　數據處理中信息的變化　2.3　信息熵的性質　2.3.1　非負性　2.3.2　確定性　2.3.3　對稱性　2.3.4　可加性　2.3.5　極值性　2.3.6　最大熵定理　2.3.7　條件熵小于無條件熵　2.4　離散序列信源熵　2.4.1　離散無記憶信源的序列熵　2.4.2　離散有記憶信源的序列熵　2.4.3　馬爾可夫信源及其極限熵　2.5　連續信源熵與互信息　2.5.1　連續信源的信源熵　2.5.2　最大熵定理　2.6　信源的冗余度　習題　第3章　信道與信道容量　3.1　信道的基本概念　3.1.1　信道的數學模型與分類　3.1.2　信道參數　3.1.3　信道容量的定義　3.2　離散信道的容量及其計算　3.2.1　無干擾離散信道　3.2.2　對稱離散無記憶信道容量　3.2.3　準對稱離散無記憶信道容量　3.2.4　一般離散無記憶信道容量　3.3　離散序列信道及其容量　3.4　獨立并聯信道及其容量　3.5　串聯信道容量及數據處理定理　3.6　連續信道及其容量　3.6.1　連續單符號加性信道　3.6.2　多維無記憶加性連續信道　3.6.3　加性高斯白噪聲信道的信道容量　3.7　信源與信道的匹配　習題　第4章　信息率失真函數　4.1　平均失真和信息率失真函數　4.1.1　失真函數　4.1.2　平均失真　4.1.3　信息率失真函數　4.2　信息率失真函數的性質　4.2.1　R(D)函數的定義域　4.2.2　R(D)函數的下凸性　4.2.3　R(D)函數的連續性　4.2.4　R(D)函數的單調遞減性　4.3　離散信源的R(D)函數及其計算　4.4　連續信源的R(D)函數及其計算　4.4.1　幅度連續無記憶信源的R(D)函數　4.4.2　差值誤差測量與香農界　4.4.3　帶記憶的信源的R(D)函數　習題　第5章　信源編碼　5.1　編碼的定義　5.2　無失真信源編碼　5.2.1　定長編碼定理　5.2.2　變長編碼定理　5.2.3　最佳變長編碼　5.3　限失真信源編碼定理　5.4　其他無失真信源編碼方法　5.4.1　算術編碼　5.4.2　游程長度編碼　5.5　矢量量化編碼　5.5.1　最佳標量量化編碼　5.5.2　矢量量化編碼　5.6　預測編碼　5.6.1　線性預測編碼的基本原理　5.6.2　最佳線性預測編碼　5.7　變換編碼　5.7.1　正交變換與正交矩陣　5.7.2　K-L變換　5.7.3　離散傅里葉變換　5.7.4　離散余弦變換　5.7.5　離散沃爾什-哈達瑪變換　5.7.6　離散Haar變換　習題　第6章　信道編碼定理　6.1　基礎知識　6.1.1　譯碼準則　6.1.2　費諾不等式　6.1.3　典型序列及其性質　6.2　信道編碼定理　6.3　信源信道聯合編碼定理　習題　第7章　分組碼　7.1　信道編碼的基本概念　7.1.1　信道編碼的作用與分類　7.1.2　糾錯與檢錯原理　7.1.3　糾錯與檢錯能力　7.2　線性分組碼的基本數學理論　7.2.1　線性空間及其性質　7.2.2　生成矩陣　7.2.3　校驗矩陣　7.2.4　對偶碼和系統碼　7.2.5　差錯圖樣　7.3　線性分組碼的譯碼　7.3.1　線性分組碼的伴隨式譯碼　7.3.2　標準陣列譯碼　7.4　漢明碼及譯碼　7.4.1　漢明碼編碼　7.4.2　漢明碼的伴隨式譯碼　7.4.3　漢明碼的主要性質　7.5　循環碼(CRC)　7.5.1　循環碼基礎　7.5.2　循環碼生成矩陣、生成多項式和監督矩陣　7.5.3　循環碼的編、譯碼　7.6　BCH和RS編碼以及譯碼　7.6.1　BCH碼　7.6.2　RS碼　7.7　線性分組碼的應用　習題　第8章　卷積碼　8.1　卷積碼的基本概念　8.2　卷積碼的編碼　8.2.1　解析法中的碼多項式法描述　8.2.2　矩陣生成法描述　8.2.3　離散卷積法描述　8.2.4　卷積碼的圖形描述法　8.3　卷積碼的譯碼　8.3.1　卷積碼的代數譯碼　8.3.2　Viterbi譯碼算法　8.3.3　序列譯碼　8.3.4　卷積碼的生成函數　8.4　卷積碼的類型　8.4.1　卷積碼中的好碼　8.4.2　幾種類型的卷積碼　8.5　卷積碼的應用　8.5.1　交織編碼　8.5.2　卷積碼在移動通信中的應用　8.6　級聯編碼　習題　第9章　加密編碼　9.1　加密編碼的基礎知識　9.1.1　密碼學的發展概況　9.1.2　密碼學的基本概念　9.2　幾種古典密碼　9.2.1　凱撒密碼　9.2.2　密鑰短語密碼　9.2.3　維吉尼亞密碼　9.3　數據加密標準　9.3.1　DES加密算法　9.3.2　DES的解密過程　9.3.3　DES的安全性　9.4　國際數據加密算法　9.5　RSA公鑰密碼　9.5.1　公鑰密碼的基本概念　9.5.2　RSA公鑰密碼體制　9.5.3　RSA的安全性　9.6　模擬信號加密　9.6.1　模擬置亂加密　9.6.2　數字化加密　習題　參考文獻

自從19世紀20～30年代法拉第發現電磁感應以來，人類社會就開始了無線通信的探索。1832年莫爾斯建立了電報系統，1895馬可尼發明了無線通信，1922年卡松提出邊帶理論，指明信號在調制（編碼）與傳送過程中與頻譜寬度的關系，1922年哈特萊發表《信息傳輸》的文章，首先提出消息是代碼、符號而不是信息內容本身，使信息與消息區分開來，并提出用消息可能數目的對數來度量消息中所含有的信息量，為信息論的創立提供了思路。美國統計學家費希爾從古典統計理論角度研究了信息理論，蘇聯數學家哥爾莫戈洛夫也對信息論做過研究。控制論創始人維納建立了維納濾波理論和信號預測理論，也提出了信息量的統計數學公式。這些研究均為信息論的建立打下了堅實的基礎。1948年貝爾研究所的香農在題為《通信的數學理論》的論文中系統地提出了關于信息的論述，創立了較為系統的信息論學科。維納提出的關于度量信息量的數學公式開辟了信息論的廣泛應用前景。1951年信息論學科獲得美國無線電工程學會承認，為以後的迅速發展打下基礎。20世紀50～60年代是信息論發展的關鍵時期，信源編碼和信道編碼得到了巨大的發展，產生了大量的研究成果，比如霍夫曼編碼、費諾編碼以及信道編碼中的卷積碼、LDPC編碼等，同時，該時期也是信息論向其他各門學科滲透的時期。到20世紀70年代，由于數字計算機的廣泛應用，通信系統的能力也有了很大提高。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破香農信息論（狹義信息論）的范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。20世紀90年代以來，Tinbo碼編碼理論、多天線理論等技術的提出，使得無線通信迅速發展，帶來了人類社會的巨大變化。信息論從誕生到今天已有60多年了，現已成為一門獨立的學科。香農理論的思想、方法，甚至某些結論已滲透到統計數學、計算機科學、物理學、哲學、科學方法論等其他學科中。同時，信息論還和其他學科結合產生了許多交叉學科，比如在經濟、生物等方面已產生了“信息經濟學”、“信息生物學”等邊緣學科；在和量子力學理論結合後，產生了量子信息論、量子編碼理論、量子計算理論等。