多媒體信號編碼與傳輸（簡體書）

本書主要內容包括多媒體基礎知識，多媒體計算機及多媒體音頻/視頻數據處理，多媒體的關鍵技術，超文本、超媒體及多媒體數據庫技術等。全書共9章，包括：概論、基礎知識、感知與質量、量化和編碼、信號壓縮方法、幀內編碼、幀間編碼、語音與音頻編碼、多媒體數據的傳輸與存儲等。全書涵蓋了圖像、視頻和音頻壓縮及表示的理論背景和多方面應用，並通過舉例，使讀者的理解更加深入。

盧鑫，哈爾濱工業大學電子與信息工程學院講師，碩士研究生導師。2013年12月畢業于英國華威大學（University of Warwick）並獲得計算機科學博士學位。主要研究方向包括：視頻編碼標準、數據壓縮、圖像和視頻信號處理及射頻/微波非線性測量理論等。

譯者序
隨著信息處理技術、計算機技術和通信技術的迅猛發展，多媒體技術應運而生，並已經成為一項最具活力、發展速度很快的新興技術之一。多媒體技術突破了計算機、通信、電視等傳統產業間相對獨立發展的界限，將多種前沿技術有機融合在一起。多媒體技術的廣泛應用已經對人們的生產、生活產生了深刻的影響，可以預見，它必將成為科技進步、經濟發展、人們生活質量提高的主要推動力之一。
原著Multimedia Signal Coding and Transmission是Springer出版社“信號與通信技術”系列叢書中的一部優秀著作。它由國際著名學者Jens-Rainer Ohm教授積多年科研和教學經驗編撰而成。Ohm教授是被譽為歐洲“麻省理工學院”的德國亞琛工業大學(RWTH Aachen)通信工程研究所的所長，H.264/AVC、H.265/HEVC標準的主要制定者之一，國際電信聯盟(ITU)聯合視頻協作組(JVC-VC)主席，德國工程師協會信息技術組發言人，國際視頻編碼標準制定過程中的領軍人物及視頻信號處理領域的權威學者。
本書緊密聯繫現代多媒體系統的發展需要，將多媒體信息處理(編碼)與無線及有線通信傳輸融為一體，系統地介紹了多媒體信號與信息處理的基礎理論以及研發、應用的成果。全書共9章，涵蓋了圖像、視頻、語音和音頻的壓縮及表示的理論背景和多方面應用，並通過舉例，使讀者的理解更加深入。內容深入淺出，適合視頻信號處理的初學者閱讀；大多數章節都輔以練習題，適合學生進行課程學習；書中包括視頻信號處理的前沿動態與應用，可為工業多媒體通信系統的研究人員和開發人員提供參考。
第1章概論：主要引入和介紹基本概念。第2章基礎知識：介紹信號與系統的基本知識、傅裡葉變換、多媒體信號的採樣、離散信號處理、統計分析、線性預測、線性塊變換與濾波器組變換等內容。第3章感知與質量：介紹人類的視覺/聽覺特性，引入信號質量評價標準。第4章量化與編碼：介紹標量量化和脈沖編碼調制、編碼理論、量化器的率失真優化、熵編碼、向量量化等知識。第5章信號壓縮方法：包括行程編碼、預測編碼、變換編碼、可伸縮編碼、多描述編碼和分布式信源編碼等。第6章幀內編碼：包括二值圖像編碼、多幅值圖像編碼、無損和近無損圖像編碼、三維圖像編碼、重構濾波與靜止圖像編碼標準等。第 7 章幀間編碼：介紹混合視頻編碼、時空變換編碼、可伸縮視頻編碼、多視圖編碼及視頻編碼標準等內容。第8章語音與音頻編碼：包括語音、音頻、音樂和聲音編碼的方法與標準等。第 9 章多媒體數據的傳輸與儲存：包括數字多媒體服務、網絡接口、媒體儲存與傳輸的相關知識等。
本書由盧鑫、金雪松、顧謙翻譯，其中盧鑫博士翻譯前言、第1章、第2章、第4章、第6章、第7章、第8章、第9章，金雪松博士翻譯第3章，顧謙碩士翻譯第5章、附錄A、附錄B、附錄C、附錄E。顧謙碩士、余唱碩士、周必興碩士協助校對了全書的圖表和公式。趙志傑教授負責全書的審校。
本書在翻譯過程中，得到了多位老師和研究生的幫助與參與。特別需要感謝英國華威大學(University of Warwick)的Graham R. Martin教授為本書的翻譯提供的寶貴意見和建議。感謝同學們的辛苦校對，感謝譯者家人對本書翻譯工作的支持與幫助，感謝楊博編輯在本書出版過程中付出的辛勤勞動。
本書的出版得到了國家自然科學基金重點國際合作研究項目(61720106002)、國家自然科學基金青年基金項目(61401123)、中央高校基本科研業務費專項資金(HIT.NSRIF.201617)、哈爾濱市科技創新人才項目(優秀學科帶頭人2017RAXXJ055)等的支持，在此表示衷心感謝。
由於時間倉促，譯者水平有限，譯文中如有不妥之處，懇請廣大讀者諒解，並提出改進意見，不勝感激！

盧 鑫
於哈爾濱
2017年7月

前言
近幾十年來，數字視聽信息在專業領域及日常生活中可謂無處不在。視聽媒體已經深刻地改變了人們溝通合作、信息獲取、學習、工作以及交互的方式。與此同時，傳統的分發和訪問方式已被互聯網、移動網絡和數字存儲逐漸取代。在此背景下，多媒體通信構建了人與/或機器之間進行通信的全新模式，其特點包括普遍性、綜合性、交互性以及智能性。
多媒體通信系統課程在亞琛工業大學已開設多年，本書連同Multimedia Content Analysis 正是以該課程的講義為基礎，是2004年出版的教材《多媒體通信技術》(Multimedia Communication Technology)的全面升級版。多媒體信號編碼和傳輸是本書討論的主要內容，而另一本書《多媒體數據內容分析》(Multimedia Content Analysis，MCA)則主要圍繞多媒體信號的識別展開。這兩本書中的內容(以及作為這兩本書基礎的課程講義)都是自成體系的，因此不能將其理解為一套圖書的上部和下部。但是，編碼和內容分析之間存在著許多共性問題(兩者都建立在信號處理和信息論的思想基礎上)，因此，讀者經常會發現兩書之間存在交叉引用(包括指向章節號的索引)的情況。關於信號處理(Signal Processing，SP)和信息論(Information Theory，IT)的基本知識有助於對本書內容的理解，因此，第2章和第4章針對相關的基本概念進行了總結。
自《多媒體通信技術》(2004 版)出版以來，視聽數據的壓縮技術又取得了驚人的進展。因此，本書體現了該領域的最新進展，其中包括關於高效視頻編碼(High Efficiency Video Coding，HEVC)標準所運用的編碼思想的更深層次理解，以及三維視頻和音頻數據的壓縮方法，同時本書還簡述了未來可能的發展趨勢。但是，本書無意闡述現有標準的具體實現細節，而是側重于為讀者提供關於基本概念的深入理解，最終為讀者成為掌握該領域新興技術的設計人員提供支持。
本書多數章節都輔以習題加以補充，訪問網址http://www.ient.rwth-aachen.de可以獲得參考答案 。
本書的出版離不開學術和標準化機構中廣大師生、科技人員及同事們的貢獻，以及25年來在圖像、視頻、音頻的處理、編碼和識別領域與本人開展合作的其他人員的努力。為簡潔起見，不進行一一致謝，在此向所有人一併表示感謝。

Jens-Rainer Ohm
於德國亞琛
2014年12月21日

目 錄
第1章 概論 1
1.1 概念和術語 1
1.1.1 信源編碼的信號表示 2
1.1.2 傳輸的優化 4
1.2 信號源與信號的獲取 5
1.3 多媒體信號的數字表示 7
1.3.1 圖像與視頻信號 8
1.3.2 語音和音頻信號 13
1.3.3 壓縮技術的必要性 13
1.4 習題 13
第2章 基礎知識 15
2.1 信號與系統 15
2.1.1 基本信號 15
2.1.2 系統運算 17
2.2 信號與傅裡葉頻譜 19
2.2.1 二維和多維坐標上的頻譜 19
2.2.2 時空信號 21
2.3 多媒體信號的採樣 23
2.3.1 可分離的二維採樣 24
2.3.2 不可分離的二維採樣 26
2.3.3 視頻信號的採樣 30
2.4 離散信號處理 34
2.4.1 線性移不變系統 34
2.4.2 離散傅裡葉變換 34
2.4.3 z變換 35
2.4.4 多維線性移不變系統 37
2.5 統計分析 39
2.5.1 樣點的統計特性 39
2.5.2 聯合統計特性 43
2.5.3 隨機信號的頻譜特性 47
2.5.4 馬爾可夫鏈模型 48
2.5.5 信息論的統計學基礎 50
2.6 線性預測 54
2.6.1 自回歸模型 54
2.6.2 線性預測 60
2.7 線性塊變換 70
2.7.1 正交基函數 70
2.7.2 正交變換的類型 73
2.7.3 變換的效率 84
2.7.4 重疊塊變換 84
2.8 濾波器組變換 86
2.8.1 抽取和插值 87
2.8.2 子帶濾波器的性質 91
2.8.3 濾波器組結構的實現 96
2.8.4 小波變換 101
2.8.5 二維與多維濾波器組 106
2.8.6 金字塔分解 109
2.9 習題 112
第3章 感知與質量 118
3.1 視覺特性 118
3.1.1 眼生理學 118
3.1.2 靈敏度函數 119
3.1.3 彩色視覺 122
3.1.4 雙目視覺與重現 122
3.2 聽覺特性 124
3.2.1 耳生理學 124
3.2.2 靈敏度函數 124
3.3 質量測度 127
3.3.1 客觀信號質量測度 128
3.3.2 主觀評價 133
3.4 習題 137
第4章 量化與編碼 138
4.1 標量量化與脈沖編碼調制 138
4.2 編碼理論 143
4.2.1 信源編碼定理與率失真函數 143
4.2.2 相關信號的率失真函數 144
4.2.3 多維信號的率失真函數 147
4.3 量化器的率失真最優化 148
4.4 熵編碼 152
4.4.1 變長碼字的特性 152
4.4.2 哈夫曼碼的設計 154
4.4.3 系統變長碼 155
4.4.4 算術編碼 159
4.4.5 自適應與基於上下文的熵編碼 163
4.4.6 熵編碼與傳輸誤差 166
4.4.7 倫佩爾-齊夫編碼 167
4.5 向量量化 169
4.5.1 向量量化的基本原理 169
4.5.2 使用均勻碼書的向量量化 172
4.5.3 使用非均勻碼書的向量量化 174
4.5.4 結構化碼書 176
4.5.5 自適應向量量化 180
4.5.6 碼率約束向量量化 182
4.6 網格編碼量化 183
4.7 習題 186
第5章 信號壓縮方法 188
5.1 行程編碼 188
5.2 預測編碼 190
5.2.1 開環和閉環預測系統 190
5.2.2 非線性移變預測 192
5.2.3 傳輸損耗的影響 193
5.2.4 向量預測 193
5.2.5 延遲決策預測編碼 196
5.2.6 多分辨率金字塔中的預測 197
5.3 變換編碼 200
5.3.1 離散變換編碼的增益 201
5.3.2 變換係數的量化 203
5.3.3 變換係數的編碼 206
5.3.4 有損傳輸下的變換編碼 208
5.4 具備多重解碼能力的碼流 208
5.4.1 聯播與轉碼 209
5.4.2 可伸縮編碼 209
5.4.3 多描述編碼 210
5.5 分布式信源編碼 212
5.6 習題 213
第6章 幀內編碼 215
6.1 二值圖像壓縮 215
6.1.1 二級圖像的壓縮 215
6.1.2 二值形狀編碼 218
6.1.3 輪廓編碼 220
6.2 圖像的向量量化 221
6.3 圖像的預測編碼 223
6.3.1 二維預測 223
6.3.2 二維塊預測 224
6.3.3 預測誤差的量化與編碼 226
6.3.4二維DPCM中的誤差擴散 227
6.3.5 二維預測編碼中邊信息的編碼 228
6.4 圖像的變換編碼 230
6.4.1 塊變換編碼 230
6.4.2 變換係數的量化與編碼 232
6.4.3 重疊塊變換編碼 240
6.4.4 子帶和小波變換編碼 241
6.4.5 針對信號特性的變換基局部自適應 246
6.5 無損和近無損圖像編碼 248
6.6 基於合成的圖像編碼 249
6.6.1 基於區域的編碼 250
6.6.2 顏色和紋理合成 252
6.6.3 照明效果的合成 254
6.7 分形圖像編碼 255
6.8 三維圖像編碼 257
6.9 重構濾波 258
6.10 靜止圖像編碼標準 261
6.11 習題 264
第7章 幀間編碼 268
7.1 幀內補償編碼 268
7.2 混合視頻編碼 269
7.2.1 運動補償混合編碼器 269
7.2.2 幀內預測誤差信號的特性 272
7.2.3 量化誤差反饋和誤差擴散 274
7.2.4 運動補償預測中的參考圖像 276
7.2.5 運動補償的精度 287
7.2.6 隔行視頻信號的混合編碼 292
7.2.7 混合編碼器的優化 294
7.2.8 採用子帶/小波變換的混合編碼 296
7.3 時空變換編碼 298
7.3.1 幀間變換與子帶編碼 298
7.3.2 運動補償時域濾波 300
7.3.3 基於MCTF表示的量化與編碼 304
7.4 邊信息的編碼(運動、模式、劃分方式) 306
7.5 可伸縮視頻編碼 312
7.5.1 混合視頻編碼中的可伸縮性 313
7.5.2 可伸縮視頻編碼的標準化 319
7.6 多視圖視頻編碼 322
7.7 基於合成的視頻編碼 328
7.7.1 基於區域的視頻編碼 329
7.7.2 超分辨率合成 331
7.7.3 動態紋理合成 331
7.8 視頻編碼標準 333
7.9 習題 340
第8章 語音與音頻編碼 342
8.1 語音信號編碼 342
8.1.1 線性預測編碼 342
8.1.2 參數(合成)編碼 345
8.1.3 語音編碼標準 346
8.2 一般音頻、音樂與聲音編碼 347
8.2.1 音頻信號的變換編碼 347
8.2.2 基于合成的音頻與聲音信號編碼 350
8.2.3 立體聲與多聲道音頻信號的編碼 352
8.2.4 音樂與聲音編碼標準 358
第9章 多媒體數據的傳輸與存儲 362
9.1 數字多媒體服務 362
9.2 網絡接口 363
9.3 對信道特性的適應性 366
9.3.1 碼率與傳輸控制 367
9.3.2 錯誤控制 370
9.4 媒體傳送、存儲和再現 374
9.4.1 廣播應用 375
9.4.2 通信服務 378
9.4.3 文件存儲 379
9.4.4 互聯網和移動流媒體 380
附錄A 向量與矩陣代數 385
附錄B 符號和變量 391
附錄C 縮略語 395
附錄D 參考文獻 403
附錄E 詞匯表 418