相關商品
商品簡介
序
目次
商品簡介
《信息論基礎》是為高等學校信息與計算科學專業本科生編寫的教材。內容包括概率論的基礎知識，香農提出的有關信息量化的基本概念、方法和定理，以及信源的基本編碼理論和信道的基本編碼理論。
序
信息科學是一門涉及面極廣的、有著廣泛應用的科學，其任務是研究信息的定義、性質、傳輸、處理、控制的基本原理和方法，也是現代信息科學和技術的一門基礎理論。它的理論基礎是從通信科學發展起來的信息論，香農提出的信息論是一種統計意義上的信息理論。這一理論對通信技術的發展產生了持久和深刻的影響。因此，目前各高等院校的信息類專業（包括信息與計算科學專業）都把信息論作為本科生的一門重要的專業基礎課。同時，由於信息論的思想和方法己廣泛地滲透到許多其他的學科，信息論的許多結果也有相當的普遍意義，因此信息論在許多其他領域（如計算機科學、系統科學、統計學、經濟學甚至社會學）都獲得了成功的應用，
本書係作者根據多年教學實踐經驗編著而成。書中主要介紹了香農信息論的基本概念、基本方法和主要結果，並用基本的概率論工具闡述香農信息論的基本思想和基本方法。
全書共分5章。第1章是緒論。第2章介紹了概率統計的基礎知識，即使沒有學習過概率統計的同學通過學習該章的內容後，也能夠繼續學習本書的後續內容，第3章介紹了信息量化的基本理論——熵及其性質。為了強調熵的相對性，我們從事件的互信息入手引入有關信息的量化概念，並由此導出事件自信息的概念，從而給出熵的嚴格定義，在介紹每一個概念的時候，我們都希望通過分析具體的例子，幫助讀者理解相應的概念。在熵的概念基礎上，我們著重介紹了平穩離散信源的信源熵的定義和計算理論，第4章介紹了信源的編碼理論和方法，香農提出的典型列集合的概念在編碼理論中起著至關重要的作用。我們用信息論的理論和方法闡述了離散無記憶信源的等長編碼理論和不等長編碼理論，特別詳細地介紹了不等長編碼的理論和方法以及香農編碼的基本方法，並從對策論的角度對比了這兩種方法的實用有效性；該章還介紹了平穩有記憶信源（馬爾可夫信源）的編碼定理，第5章介紹了離散無記憶信道的容量和編碼定理。我們首先從一般的意義上給出了信道容量的定義，這一概念的提出是信息傳輸理論中的一個里程碑，它極大地推動了信息理論的發展。然後我們介紹了幾種簡單易行的信道容量的計算方法。在該章的最後，我們介紹了信道編碼理論的一個重要概念——聯合典型列對，並簡介了信道編碼的基本思想，
感謝吉林大學數學學院信息與計算科學專業的部分同學，他們閱讀了本書的初稿，提出了許多有價值的參考意見。
本書係作者根據多年教學實踐經驗編著而成。書中主要介紹了香農信息論的基本概念、基本方法和主要結果，並用基本的概率論工具闡述香農信息論的基本思想和基本方法。
全書共分5章。第1章是緒論。第2章介紹了概率統計的基礎知識，即使沒有學習過概率統計的同學通過學習該章的內容後，也能夠繼續學習本書的後續內容，第3章介紹了信息量化的基本理論——熵及其性質。為了強調熵的相對性，我們從事件的互信息入手引入有關信息的量化概念，並由此導出事件自信息的概念，從而給出熵的嚴格定義，在介紹每一個概念的時候，我們都希望通過分析具體的例子，幫助讀者理解相應的概念。在熵的概念基礎上，我們著重介紹了平穩離散信源的信源熵的定義和計算理論，第4章介紹了信源的編碼理論和方法，香農提出的典型列集合的概念在編碼理論中起著至關重要的作用。我們用信息論的理論和方法闡述了離散無記憶信源的等長編碼理論和不等長編碼理論，特別詳細地介紹了不等長編碼的理論和方法以及香農編碼的基本方法，並從對策論的角度對比了這兩種方法的實用有效性；該章還介紹了平穩有記憶信源（馬爾可夫信源）的編碼定理，第5章介紹了離散無記憶信道的容量和編碼定理。我們首先從一般的意義上給出了信道容量的定義，這一概念的提出是信息傳輸理論中的一個里程碑，它極大地推動了信息理論的發展。然後我們介紹了幾種簡單易行的信道容量的計算方法。在該章的最後，我們介紹了信道編碼理論的一個重要概念——聯合典型列對，並簡介了信道編碼的基本思想，
感謝吉林大學數學學院信息與計算科學專業的部分同學，他們閱讀了本書的初稿，提出了許多有價值的參考意見。
目次
目錄
前言
第1章 緒論 1
第2章 概率統計的基礎知識 3
2.1 概率空間 3
2.2 條件概率 6
2.3 獨立性 10
2.4 隨機變量 12
2.4.1 隨機變量的基本性質 12
2.4.2 隨機變量的獨立性 14
2.5 隨機變量的數字特徵 15
2.5.1 離散型 15
2.5.2 連續型 16
2.6 大數定律 16
習題2 17
第3章 離散信源的熵和信息量 19
3.1 離散信源 19
3.2 事件的互信息 20
3.3 條件互信息和聯合事件的互信息 23
3.4 事件的自信息 24
3.5 離散隨機變量的平均自信息一一熵 27
3.6 熵的性質 30
3.7 香農熵的公理化定義 35
3.8 隨機變量的鑒別信息和平均互信息 37
3.8.1 隨機變量的鑒別信息 37
3.8.2 隨機變量的互信息 40
3.9 馬爾可夫鏈和數據處理定理 41
3.10 連續隨機變量的互信息和微分熵 43
3.10.1 連續隨機變量的互信息 43
3.10.2 連續隨機變量的熵微分熵 44
3.10.3 微分熵的極大化 46
3.11 凸函數和互信息的凸性 49
3.11.1 凸函數的概念和性質 49
3.11.2 Kuhn-llucker條件 50
3.11.3 互信息的凸性 53
3.12 平穩離散信源 55
3.12.1 平穩離散信源的一般概念 56
3.12.2 平穩信源的熵 57
3.12.3 馬爾可夫信源的熵 60
習題3 62
第4章 離散信源的無錯編碼 65
4.1 漸近等同分割性和離散無記憶信源的等長編碼 65
4.1.1 漸近等司分割性 65
4.1.2 離散無記憶信源的等長編碼 70
4.2 離散無記憶信源的不等長編碼 72
4.2.1 Kraft不等式 74
4.2.2 不等長編碼定理 76
4.2.3 最佳不等長編碼Huffman編碼 78
4.2.4 其他不等飫編碼 81
4.3 平穩信源和馬爾可夫信源的編碼定理 86
4.3.1 平穩信源的編碼 86
4.3.2 馬爾可夫信源的編碼定理 89
習題4 92
第5章 離散無記憶信道的容量和編碼定理 94
5.1 離散無記憶信道及其容量 94
5.1.1 信道容量的定義和舉例 95
5.1.2 對稱離散無記憶信道容量的計算 99
5.1.3 轉移概率矩陣可逆信道的容量計算 103
5.1.4 離散無記憶信道容量的迭代計算 104
5.2 信道的組合 107
5.2.1 積信道（平行組合信道） 108
5.2.2 和信道 110
5.2.3 級聯信道 112
5.3 離散無記憶信道的編碼定理 112
5.3.1 幾個有關定義 113
5.3.2 聯合典型列對 114
5.3.3 信道編碼定理 115
習題5 116
參考文獻 118
前言
第1章 緒論 1
第2章 概率統計的基礎知識 3
2.1 概率空間 3
2.2 條件概率 6
2.3 獨立性 10
2.4 隨機變量 12
2.4.1 隨機變量的基本性質 12
2.4.2 隨機變量的獨立性 14
2.5 隨機變量的數字特徵 15
2.5.1 離散型 15
2.5.2 連續型 16
2.6 大數定律 16
習題2 17
第3章 離散信源的熵和信息量 19
3.1 離散信源 19
3.2 事件的互信息 20
3.3 條件互信息和聯合事件的互信息 23
3.4 事件的自信息 24
3.5 離散隨機變量的平均自信息一一熵 27
3.6 熵的性質 30
3.7 香農熵的公理化定義 35
3.8 隨機變量的鑒別信息和平均互信息 37
3.8.1 隨機變量的鑒別信息 37
3.8.2 隨機變量的互信息 40
3.9 馬爾可夫鏈和數據處理定理 41
3.10 連續隨機變量的互信息和微分熵 43
3.10.1 連續隨機變量的互信息 43
3.10.2 連續隨機變量的熵微分熵 44
3.10.3 微分熵的極大化 46
3.11 凸函數和互信息的凸性 49
3.11.1 凸函數的概念和性質 49
3.11.2 Kuhn-llucker條件 50
3.11.3 互信息的凸性 53
3.12 平穩離散信源 55
3.12.1 平穩離散信源的一般概念 56
3.12.2 平穩信源的熵 57
3.12.3 馬爾可夫信源的熵 60
習題3 62
第4章 離散信源的無錯編碼 65
4.1 漸近等同分割性和離散無記憶信源的等長編碼 65
4.1.1 漸近等司分割性 65
4.1.2 離散無記憶信源的等長編碼 70
4.2 離散無記憶信源的不等長編碼 72
4.2.1 Kraft不等式 74
4.2.2 不等長編碼定理 76
4.2.3 最佳不等長編碼Huffman編碼 78
4.2.4 其他不等飫編碼 81
4.3 平穩信源和馬爾可夫信源的編碼定理 86
4.3.1 平穩信源的編碼 86
4.3.2 馬爾可夫信源的編碼定理 89
習題4 92
第5章 離散無記憶信道的容量和編碼定理 94
5.1 離散無記憶信道及其容量 94
5.1.1 信道容量的定義和舉例 95
5.1.2 對稱離散無記憶信道容量的計算 99
5.1.3 轉移概率矩陣可逆信道的容量計算 103
5.1.4 離散無記憶信道容量的迭代計算 104
5.2 信道的組合 107
5.2.1 積信道（平行組合信道） 108
5.2.2 和信道 110
5.2.3 級聯信道 112
5.3 離散無記憶信道的編碼定理 112
5.3.1 幾個有關定義 113
5.3.2 聯合典型列對 114
5.3.3 信道編碼定理 115
習題5 116
參考文獻 118
您曾經瀏覽過的商品
購物須知
大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大，除封面破損、內頁脫落等較嚴重的狀態，其餘商品將正常出貨。
特別提醒：部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供，需以QR CODE 連結至當地網站註冊“並通過驗證程序”，方可下載使用。
無現貨庫存之簡體書，將向海外調貨：
海外有庫存之書籍，等候約45個工作天;
海外無庫存之書籍，平均作業時間約60個工作天，然不保證確定可調到貨，尚請見諒。
為了保護您的權益，「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。
若要辦理退貨，請在商品鑑賞期內寄回，且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。