深度學習應用與實戰（簡體書）

本書系統介紹了神經網絡和深度學習，並結合實際應用場景和綜合案例，讓讀者深入了解深度學習。

全書共16章，分為4個部分。第1部分介紹了深度學習基礎算法與應用，主要包括神經網絡和深度學習的相關概念、多層神經網絡的基本原理和具體應用、卷積神經網絡的原理及項目案例實現、優化算法與模型管理。第2部分介紹了深度學習進階算法與應用，主要包括經典的深度卷積神經網絡，ResNet、DenseNet和MobileNet，目標檢測的基本概念和常見算法，循環神經網絡的基本概念和具體應用。第3部分介紹了時空數據模型與應用，主要包括CNN-LSTM混合模型的基本概念和具體應用，多元時間序列神經網絡、注意力機制和Transformer的基本結構和具體應用。第4部分介紹了生成對抗網絡及其應用，主要包括生成對抗網絡的基本概念及其模型的結構和訓練過程，使用檢測模型、識別模型對車牌進行檢測與識別。

本書適合對人工智能、機器學習、神經網絡和深度學習等感興趣的讀者閱讀，也適合作為本科院校和高等職業院校人工智能相關專業的教材。本書可以幫助有一定基礎的讀者查漏補缺，使其深入理解和掌握與深度學習相關的原理及方法，並能提高其解決實際問題的能力。

韓少云是達內科技（中國）有限公司創始人、總裁/CEO。其麾下的達內時代科技集團是國內知名的互聯網-IT教育培訓單位，是一站式互聯網人才基地，專注IT職業教育人才服務多年，擁有300多家培訓中心，幫助學員實現一地學習全國就業。

市面上講解人工智能的書比較多，但要麼是偏重理論的講解，要麼是非常深澀的代碼，對於計算機基礎較差的學員來說，學習成本很高或者學了無益，付出了大量時間，但達不到崗位要求。“人工智能應用與實踐系列”圖書開創性地使用了新的教學方法，通過大量由淺入深、環環相扣的實踐案例，能夠幫助學員迅速理解人工智能的應用，快速掌握工作技能。此外本書還配有超值的600分鐘以上的視頻課程，幫助基礎稍弱或者0基礎的學員迅速提升。

前 言
人工智能的概念在 1956 年達特茅斯學術會議中首次被提出。經過半個多世紀的發展，人工智能從簡單的計算智能過渡到感知智能，一直發展到現在的認知智能。於是，讓計算機“聽懂”或“看懂”人的心聲或意圖，受到了無數優秀學者和科研人員的關注，這背後的技術終發展為計算機科學及人工智能領域的一個重要分支——深度學習。
如今，深度學習已經取得了長足的進展，並且它已經滲透到人們生活的方方面面。人們平時常用的人臉識別、車牌識別、自動駕駛等功能，都是以深度學習為核心的人工智能產品。同時，隨著計算機及相關技術的發展和算力的提高，人工智能已經進入深度學習時代。越來越多的深度學習技術趨於成熟並顯現出巨大的商業價值。
? 圖像分類：圖像分類是指給定一張圖像或一段視頻判斷圖像或視頻中包含什麼類別的目標。目前，圖像分類在很多領域有著廣泛的應用，包括安防領域的人臉識別和智能視頻分析等、交通領域的交通場景識別等。
? 目標檢測：目標檢測的任務是找出圖像中指定的目標（物體），確定它們的類別和位置，是計算機視覺領域的核心研究問題之一。
? 文本生成：文本生成是指系統接收非語言形式的信息作為輸入，生成可讀寫的文字。目前，文本生成的應用有文本摘要、古詩詞生成和文本復述等。
隨著神經網絡和深度學習的不斷發展，國內外深度學習應用型人才的缺口也逐年增大。
究其原因，一方面，近幾年各行業對深度學習領域人才的需求快速增加；另一方面，深度學習是人工智能的核心技術，涉及高等數學、線性代數、信息學、生物學、計算機科學等眾多學科，因此其入門門檻較高，需要掌握人工智能相關的多種理論基礎和模型算法。市面上大多數與深度學習相關的書籍注重理論知識的講解，而講解深度學習案例的書籍相對較少。雖然理論知識是深度學習必不可少的基礎，但案例實戰是幫助讀者更好地理解理論知識的方式。為此，達內時代科技集團將以往與深度學習相關的項目經驗、產品應用和技術知識整理成冊，通過本書來總結和分享深度學習的實踐成果。編著者衷心希望本書能為讀者開啟深度學習之門！
本書內容
本書圍繞神經網絡的基本概念（單層神經網絡、多層神經網絡），深度學習的基礎技術（卷積神經網絡、循環神經網絡）、核心技術（目標檢測、文本生成），編碼器-解碼器模型等內容進行講解，並詳細介紹了多元時間序列神經網絡、注意力機制、Transformer 模型等相關技術，後結合項目案例介紹了生成對抗網絡的內容。本書注重理論聯繫實際，採用大量豐富案例，講解力求深入淺出，幫助讀者快速理解深度學習相關模型和算法的基本原理與關鍵技術。本書既適合高等職業院校和本科院校的學生學習使用，也適合不同行業的深度學習愛好者閱讀。在內容編排上，本書的每章內容都具備一定獨立性，可以幫助讀者掌握使用機器學習算法和深度學習算法處理同一類問題並獨立地解決一類實際問題的能力，建議讀者根據自身情況選擇性閱讀。各章之間循序漸進、形成有機整體，使全書內容不失系統性與完整性。本書分為 4 個部分。
? 第 1 部分（第 1～4 章）：深度學習基礎算法與應用。首先介紹神經網絡和深度學習的相關概念。然後介紹多層神經網絡的基本原理和具體應用。後詳細介紹卷積神經網絡的原理、項目案例實現，以及優化算法與模型管理。
? 第 2 部分（第 5～9 章）：深度學習進階算法與應用。首先介紹經典的深度卷積神經網絡模型。然後介紹 ResNet、DenseNet 和 MobileNet，並結合項目案例完成違規駕駛行為的識別。後介紹目標檢測的基本概念和常見算法及循環神經網絡的基本概念和具體應用。
? 第 3 部分（第 10～14 章）：時空數據模型與應用。首先介紹 CNN-LSTM 混合模型的基本概念和具體應用。然後介紹多元時間序列神經網絡和注意力機制，並使用 DCRNN 和MTGNN 實現交通流量預測。後介紹 Transformer 的基本結構和具體應用，並結合歷史軌跡數據完成車輛行駛軌跡的預測。
? 第 4 部分（第 15~16 章）：生成對抗網絡及其應用。首先介紹生成對抗網絡的基本概念及其模型的結構和訓練過程，並使用 TecoGAN 模型實現視頻超分辨率。然後介紹使用檢測模型、識別模型對車牌進行檢測與識別。
書中理論知識與項目案例的重點和難點部分均採用微視頻的方式進行講解，讀者可掃描每章中的二維碼觀看視頻、查看作業與練習的答案。
另外，更多的視頻等數字化教學資源及動態，讀者可以關注以下微信公眾號，或添加小書童獲取資料與答疑等服務。

致謝
本書是達內時代科技集團人工智能研究院團隊通力合作的結果。全書由韓少云、馮華和刁景濤策劃、組織並負責統稿，參與本書編寫工作的有達內集團及眾多院校的老師，他們對相關章節內容的組織與選編做了大量細致的工作，在此對各位編著者的辛勤付出表示由衷的感謝！
感謝電子工業出版社的老師們對本書的重視，他們一絲不茍的工作態度保證了本書的質量。
為讀者呈現準確、翔實的內容是編著者的初衷，但由於編著者水平有限，書中難免存在不足之處，敬請專家和讀者給予批評指正。
編著者
2023 年 3 月

目 錄
第 1 部分 深度學習基礎算法與應用
第 1 章 單層神經網絡 2
1.1 深度學習的基本概念 2
1.1.1 深度學習的概述 2
1.1.2 神經網絡 3
1.2 深度學習框架 5
1.2.1 常見框架介紹 5
1.2.2 張量 6
1.3 單層神經網絡的概述 6
1.3.1 回歸模型 6
1.3.2 二分類模型 10
1.3.3 多分類模型 13
1.4 單層神經網絡實現鳶尾花分類 17
1.4.1 使用 TensorFlow 實現鳶尾花分類 17
1.4.2 使用 PyTorch 實現鳶尾花分類 20
本章總結 22
作業與練習 22
第 2 章 多層神經網絡 24
2.1 多層神經網絡的概述 24
2.1.1 隱藏層的意義 24
2.1.2 激活函數 25
2.1.3 反向傳播 27
2.1.4 異或處理代碼實現 28
2.2 梯度下降算法 30
2.2.1 批量梯度下降算法 30
2.2.2 隨機梯度下降算法 31
2.2.3 小批量梯度下降算法 31
2.3 正則化處理 31
2.3.1 L1 正則化與 L2 正則化 31
2.3.2 Dropout 正則化 31
2.3.3 提前停止 32
2.3.4 批量標準化 32
2.4 手寫數字識別
2.4.1 MNIST 數據集簡介 32
2.4.2 使用 TensorFlow 實現MNIST 手寫數字分類 33
2.4.3 使用 PyTorch 實現MNIST 手寫數字分類 36
本章總結 39
作業與練習 39
第 3 章 卷積神經網絡 41
3.1 圖像基礎原理 41
3.1.1 像素 41
3.1.2 灰度值 42
3.1.3 彩色圖像表達 42
3.2 卷積的作用及原理 43
3.2.1 卷積的概述 43
3.2.2 卷積運算的原理 43
3.2.3 卷積運算的方式 44
3.2.4 卷積表達的含義 44
3.2.5 卷積相關術語 45
3.3 卷積神經網絡的基本結構 46
3.3.1 卷積神經網絡的網絡結構 46
3.3.2 卷積層 47
3.3.3 ReLU 層 47
3.3.4 池化層 48
3.3.5 全連接層 49
3.4 基於卷積神經網絡實現MNIST 手寫數字識別 49
3.4.1 構建卷積神經網絡模型 49
3.4.2 使用 TensorFlow 實現卷積神經網絡 MNIST手寫數字分類 50
3.4.3 使用 PyTorch 實現卷積神經網絡 MNIST 手寫
數字分類 52
本章總結 55
作業與練習 55
第 4 章 優化算法與模型管理 57
4.1 數據增強 57
4.1.1 數據增強的意義 57
4.1.2 使用 TensorFlow 實現數據增強 58
4.1.3 使用 PyTorch 實現數據增強 59
4.2 梯度下降優化 60
4.2.1 梯度下降優化的必要性 60
4.2.2 Momentum 優化器 60
4.2.3 Adagrad 優化器 60
4.2.4 RMSprop 優化器 61
4.2.5 Adam 優化器 62
4.3 模型的保存與加載 62
4.3.1 TensorFlow 模型保存與加載 62
4.3.2 PyTorch 模型保存與加載 63
4.4 項目案例：車輛識別 64
4.4.1 汽車數據集 65
4.4.2 項目案例實現 65
本章總結 70
作業與練習 70
第 2 部分 深度學習進階算法與應用
第 5 章 深度卷積神經網絡 74
5.1 深度卷積神經網絡的概述 74
5.2 AlexNet 75
5.2.1 AlexNet 的網絡結構 75
5.2.2 構建 AlexNet 模型 77
5.3 VGG 79
5.3.1 VGG 的網絡結構 79
5.3.2 構建 VGG 模型 80
5.4 NiN 81
5.4.1 NiN 的網絡結構 81
5.4.2 構建 NiN 模型 83
5.5 GoogLeNet 85
5.5.1 GoogLeNet 的網絡結構 85
5.5.2 構建 GoogLeNet 模型 88
5.6 項目案例：車輛多屬性識別 90
5.6.1 多屬性識別 91
5.6.2 項目案例實現 91
本章總結 100
作業與練習 100
第 6 章 高效的卷積神經網絡 102
6.1 ResNet 102
6.1.1 ResNet 的網絡結構 102
6.1.2 構建 ResNet 模型 103
6.2 DenseNet 109
6.2.1 DenseNet 的網絡結構 110
6.2.2 構建 DenseNet 模型 111
6.3 MobileNet 112
6.3.1 MobileNet 的網絡結構 112
6.3.2 構建 MobileNet 模型 113
6.4 項目案例：違規駕駛行為識別 114
本章總結 126
作業與練習 126
第 7 章 目標檢測 128
7.1 目標檢測的概述 128
7.2 兩階段目標檢測 129
7.2.1 R-CNN 129
7.2.2 Fast R-CNN 和Faster R-CNN 130
7.2.3 Mask R-CNN 132
7.3 一階段目標檢測 133
7.3.1 YOLO 系列 133
7.3.2 SSD 137
7.4 項目案例：車輛檢測 137
本章總結 144
作業與練習 144
第 8 章 循環神經網絡 145
8.1 循環神經網絡的概述 145
8.2 LSTM 神經網絡 147
8.2.1 LSTM 神經網絡的網絡結構 147
8.2.2 LSTM 門機制 147
8.3 GRU 神經網絡 148
8.3.1 GRU 神經網絡的網絡結構 148
8.3.2 GRU 門機制 148
8.4 項目案例：文本生成 149
本章總結 159
作業與練習 159
第 9 章 深度循環神經網絡 160
9.1 深度循環神經網絡的概述 160
9.1.1 深度循環神經網絡的特點 160
9.1.2 雙向 LSTM 神經網絡 162
9.2 項目案例：短時交通流量預測 163
9.2.1 解決方案 163
9.2.2 項目案例實現 164
本章總結 177
作業與練習 177
第 3 部分 時空數據模型與應用
第 10 章 CNN-LSTM 混合模型 180
10.1 編碼器-解碼器模型 180
10.1.1 模型結構 180
10.1.2 構建編碼器-解碼器模型 182
10.2 項目案例：基於時空特徵的交通事故預測 183
10.2.1 數據集和評價指標 184
10.2.2 項目案例實現 184
本章總結 193
作業與練習 193
第 11 章 多元時間序列神經網絡 195
11.1 圖 195
11.1.1 結構和信號 196
11.1.2 圖結構 197
11.1.3 圖神經網絡 197
11.2 圖卷積網絡 198
11.2.1 基本原理 198
11.2.2 數學運算 199
11.2.3 使用 GCN 模型實現圖像識別 200
11.3 多元時間序列神經網絡的概述 205
11.3.1 DCRNN 205
11.3.2 seq2seq 模型 207
11.4 項目案例：基於 DCRNN實現交通流量預測 209
11.4.1 解決方案 209
11.4.2 項目案例實現 210
本章總結 226
作業與練習 227
第 12 章 MTGNN 與交通流量預測 228
12.1 基於 MTGNN 實現交通流量預測 228
12.1.1 MTGNN 的網絡結構 229
12.1.2 MTGNN 時空卷積 229
12.2 PyTorch-Lightning 231
12.2.1 安裝 231
12.2.2 基本使用 231
12.3 項目案例：基於 MTGNN實現交通流量預測 232
本章總結 245
作業與練習 246
第 13 章 注意力機制 247
13.1 注意力機制的概述 247
13.1.1 機器翻譯中的注意力機制 248
13.1.2 自注意力機制的概述 251
13.2 項目案例：視頻異常檢測 253
本章總結 266
作業與練習 266
第 14 章 Transformer 268
14.1 Transformer 的概述 268
14.1.1 Transformer 的簡介 269
14.1.2 Transformer 的總體結構 269
14.2 Self-Attention 機制 271
14.2.1 Self-Attention 機制的原理 271
14.2.2 Self-Attention 的計算過程 272
14.2.3 Positional Encoding 和LayerNorm 273
14.3 項目案例：軌跡預測 275
14.3.1 解決方案 275
14.3.2 車輛軌跡預測數據集 276
14.3.3 實現過程 278
本章總結 290
作業與練習 290
第 4 部分 生成對抗網絡及其應用
第 15 章 生成對抗網絡 294
15.1 生成對抗網絡的概述 294
15.1.1 GAN 模型的結構 294
15.1.2 GAN 模型的訓練過程 295
15.2 TecoGAN 模型 296
15.2.1 TecoGAN 模型的結構 297
15.2.2 TecoGAN 損失函數 297
15.2.3 TecoGAN 評價指標 298
15.3 項目案例：視頻超分辨率 298
本章總結 306
作業與練習 306
第 16 章 車牌檢測與識別 307
16.1 項目案例：車牌檢測與識別 307
16.1.1 數據集 308
16.1.2 MTCNN 模型 309
16.1.3 LPRNet 311
16.2 項目案例實現 312
本章總結 323
作業與練習 324