信息論與編碼（簡體書）

《普通高等教育"十二五"規劃教材?電子信息科學與工程類專業規劃教材:信息論與編碼》可作為高等學校理工類本科電子技術、信息工程、通信工程、雷達、計算機、信息安全、自動化、儀器儀表等相關專業學生的教材，也可作為信息科學及系統工程等領域科研和技術人員的參考書。

第1章 信息論基礎
1.1 信息的概念
1.2 數字通信系統
1.3 信源及其數學模型
1.3.1 離散無記憶信源
1.3.2 離散有記憶信源
1.3.3 波形信源
1.4 信道及其數學模型
1.4.1 離散無記憶單符號信道
1.4.2 離散無記憶擴展信道
本章小結
思考題與習題
第2章 信息的度量
2.1 自信息量和互信息量
2.1.1 自信息量和條件自信息量
2.1.2 互信息量和條件互信息量
2.2 離散集的平均自信息量
2.2.1 信息熵
2.2.2 熵函數的性質
2.3 離散集的平均互信息量
2.3.1 平均互信息量
2.3.2 平均互信息量的性質
2.3.3 有關平均互信息量的兩條定理
2.4 N維擴展信源的熵和平均互信息量
2.4.1 N維擴展信源的熵
2.4.2 N維擴展信源的平均互信息量
2.4.3 有關N維平均互信息量的兩條定理
本章小結
思考題與習題
第3章 離散信源無失真編碼
3.1 概述
3.1.1 碼的分類
3.1.2 平均碼長的計算
3.1.3 信息傳輸速率
3.2 等長碼及等長編碼定理
3.3 變長碼及變長編碼定理
3.3.1 變長碼
3.3.2 克拉夫特不等式
3.3.3 變長編碼定理
3.4 變長碼的編碼方法
3.4.1 香農編碼法
3.4.2 費諾編碼法
3.4.3 霍夫曼編碼法
本章小結
思考題與習題
第4章 離散信道的信道容量
4.1 信道容量的定義
4.2 離散無記憶信道容量的計算
4.2.1 達到信道容量的充要條件
4.2.2 幾類特殊的信道
4.3 組合信道的容量
4.3.1 獨立并行信道
4.3.2 和信道
4.3.3 串行信道
本章小結
思考題與習題
第5章 有噪信道編碼
5.1 信道編碼的基本概念
5.2 譯碼規則及錯誤概率
5.3 信道編碼定理
5.4 費諾引理及信道編碼逆定理
5.4.1 費諾不等式
5.4.2 信道編碼逆定理
本章小結
思考題與習題
第6章 率失真編碼
6.1 失真測度與平均失真
6.2 信息率失真函數R（D）
6.2.1 率失真函數的定義
6.2.2 率失真函數的值域、定義域
6.2.3 率失真函數的性質
6.3 率失真函數的計算
6.3.1 兩種特殊情況下的求解
6.3.2 R（D）的參數表示法
6.4 率失真信源編碼定理
本章小結
思考題與習題
第7章 線性分組碼
7.1 糾錯碼的基本概念
7.1.1 信道糾錯編碼
7.1.2 差錯類型
7.1.3 差錯控制系統模型及分類
7.1.4 糾錯碼的分類
7.2 群與群陪集分解
7.2.1 群的概念
7.2.2 子群
7.2.3 群的陪集分解
7.3 線性分組碼的編碼
7.3.1 生成矩陣、校驗矩陣
7.3.2 系統碼
7.3.3 對偶碼
7.3.4 編碼的實現
7.4 線性碼的糾檢錯能力
7.4.1 碼的距離和重量
7.4.2 線性碼的糾錯、檢錯能力
7.5 標準陣列和譯碼
7.5.1 標準陣列
7.5.2 陪集分解
7.5.3 譯碼
7.6 漢明碼
7.6.1 漢明碼的構造
7.6.2 漢明限與完備碼
本章小結
思考題與習題
第8章 循環碼
8.1有 限域及其結構
8.1.1 域的定義
8.1.2 有限域的本原元
8.1.3 有限域的結構
8.1.4 最小多項式的共軛根組
8.1.5 有關有限域的小結
8.2 循環碼的一般概念
8.2.1 循環碼的定義
8.2.2 循環碼的多項式描述
8.3 循環碼的生成多項式和生成矩陣
8.3.1 生成多項式
8.3.2 生成矩陣
8.4 循環碼的校驗多項式和校驗矩陣
8.5 循環碼的編碼
8.5.1 利用g（x）實現編碼
8.5.2 利用h（x）實現編碼
8.6 循環碼的譯碼
8.6.1 伴隨式計算
8.6.2 循環碼的糾錯譯碼
8.6.3 Meggit譯碼器
8.7 一些重要的循環碼
8.7.1 循環Hamming碼
8.7.2 BCH碼
本章小結
思考題與習題
第9章 卷積碼
9.1 卷積碼基本概念
9.2 卷積碼的數學描述
9.2.1 卷積碼的矩陣描述
9.2.2 卷積碼的多項式描述
9.3 卷積碼的圖形表示方法
9.3.1 狀態圖
9.3.2 樹圖
9.3.3 網格圖
9.4 Viterbi譯碼
9.4.1 Viterbi譯碼步驟
9.4.2 Viterbi譯碼
本章小結
思考題與習題
附錄A GF（2m）中元素的最小多項式和本原多項式（1
附錄B 熵函數計算用簡明對數表
參考文獻

7.1.1 信道糾錯編碼
近年來，隨著計算機、衛星通信及高速數據網的飛速發展，數據的交換、處理和存儲技術得到了廣泛應用，人們對數據傳輸和存儲系統的可靠性提出了越來越高的要求。因此，如何控制差錯，提高數據傳輸和存儲的可靠性，成為現代數字通信設計工作者所面臨的重要課題。
1948年，香農（C.E.Shannon）提出了關于在有擾信道中傳輸信號的重要理論——香農第二定理。該定理指出，在信息傳輸速率R小于信道容量C的條件下，當碼長n→∞時，總可以找到平均誤碼率pe→0的碼，定理的證明采用隨即編碼技術。香農第二定理雖然為提高數據傳輸的可靠性指出了一個方向，但并沒有給出構造碼的具體方法，因此這一定理只有理論指導意義。糾錯編碼就是后人沿著香農指明的可行方向為尋求有效而可靠的編碼方法而發展起來的一門學科，經過半個多世紀的努力，目前已有了許多有效的編譯碼方法，并形成了一門新的技術——糾錯編碼技術。
這里所講的糾錯編碼即信道編碼，與本書前面討論的信源編碼一樣，都是一種編碼，但兩者的側重點是不同的。信源編碼的側重點是壓縮冗余度或壓縮熵率以得到信息的有效表示，提高信息的傳輸速率。信道編碼的側重點是提高信息傳輸時的抗干擾能力以增加信息傳輸的可靠性。
下面討論碼字序列c通過離散信道時發生的情況。信道可分為無記憶信道和有記憶信道。
在無記憶信道中，噪聲對傳輸碼元的影響是相互獨立的，即每一個差錯的出現與其前后是否有錯無關。模型就是這種信道的一個例子。這里，1錯成0或0錯成1的概率相等，均為p。該模型描述的信道就是第1章介紹的二進制對稱信道。在無記憶信道中，錯誤是隨機產生的，因此被稱為隨機錯誤，無記憶信道也稱為隨機信道（random channel）；深空信道和衛星信道都屬于隨機信道的類型。 在有記憶信道中，各種干擾所造成的錯誤往往不是單個地出現，而是成群、成串地出現，也就是一個錯誤的出現，往往引起其前后碼元的錯誤，表現出錯誤之間有相關性。如高頻、有線信道及數據存儲系統中磁帶、磁盤、光盤或其他存儲體的缺陷或讀寫頭接觸不良所引起的錯誤，都屬于這種類型。這種信道的一個模型。信道有兩種狀態，好狀態S1和壞狀態S2，它們各自被描述為二進制對稱信道，好狀態工作時的誤碼率p1遠遠小于壞狀態工作時的誤碼率p2。由于p1
就實際信道而言，由于其干擾的復雜性，往往是兩種錯誤并存。隨機錯誤與突發錯誤并存的信道，稱為組合信道或復合信道。