深度學習原理與應用（簡體書）

前 言

本書從深度學習的歷史和數學知識出發，系統性地介紹了深度學習的原理、關鍵技術及相關應用。其中，重點介紹了卷積神經網絡、反饋神經網絡、自編碼器、循環神經網絡、生成對抗網絡等業界流行的深度學習技術，以及業界主流的深度學習技術框架以及知名的自動化機器學習平臺產品，旨在幫助讀者更直觀體驗到深度學習技術的革新與精妙之處。本書共包括十二章，主要內容如下：

第一章主要介紹深度學習的基本概念、方法分類及歷史淵源。

第二章介紹理解深度學習所需的基本數據概念，包括線性代數、微積分、概率論與數理統計相關的數據知識。

第三章介紹神經網絡的基本概念和訓練學習的算法。

第四、五、六、七、八章分別介紹了卷積神經網絡、反饋神經網絡、自編碼器、循環神經網絡和生成對抗網絡的基本原理、網絡結構和應用案例。

第九章介紹了深度學習實戰過程中的注意事項和應用技巧。

第十章介紹了當前主流的深度學習開發框架（如TensorFlow和Caffe）的原理和應用。

第十一章介紹了自動化機器學習的概念和幾類知名平臺的產品使用。

第十二章在回顧當前深度學習技術的發展現狀的同時，展望了深度學習技術的應用前景和技術發展趨勢。

本書力求將深度學習的概念和原理講細講透，對書中的每個公式都有詳細的推導過程，語言通俗易懂，又不失嚴謹，並輔以大量圖形說明，書中的應用實例都經過實際驗證，適合各類讀者閱讀和參考。在閱讀本書時，建議采用通讀和精讀相結合的學習方法：第一遍通讀全書時，以厘清基本概念，初步掌握深度學習方法和應用場景為主；第二遍可針對書中介紹的算法公式加深理解，細究其推導過程，並選擇感興趣的例子去進一步實踐。

目 錄
第1章 深度學習概述 1
1．1 什麼是深度學習 1
1．2 為什麼會出現深度學習 6
1．3 深度學習方法的分類 8
1．4 人工神經網絡的發展簡史 9
思考題 15
第2章 必備的數學知識 16
2．1 線性代數 16
2．1．1 矩陣 16
2．1．2 向量 21
2．2 微積分 22
2．2．1 微分 22
2．2．2 積分 26
2．3 概率統計 27
2．3．1 隨機事件 27
2．3．2 概率的定義 28
2．3．3 條件概率和貝葉斯公式 28
2．3．4 常用概率模型 29
2．3．5 隨機變量與概率分布 30
2．3．6 隨機變量的數字特征 31
2．3．7 典型的概率分布 33
2．3．8 統計與概率 36
2．3．9 樣本與總體 37
2．3．10 統計量與抽樣分布 37
2．3．11 參數估計 38
第3章 神經網絡 40
3．1 生物神經元 40
3．2 M-P模型 41
3．3 前饋神經網絡 42
3．4 感知器 43
3．4．1 單層感知器 43
3．4．2 多層感知器 45
3．5 神經網絡的學習 46
3．5．1 數據驅動 46
3．5．2 損失函數 47
3．5．3 激活函數 50
3．5．4 似然函數 55
3．5．5 梯度與梯度下降法 58
3．5．6 學習率 61
3．5．7 學習規則 62
3．6 誤差反向傳播算法 63
3．7 隨機梯度下降法 69
3．8 神經網絡學習算法的基本步驟 70
思考題 71
第4章 卷積神經網絡 72
4．1 卷積神經網絡的結構 72
4．2 輸入層 76
4．3 卷積層 76
4．4 池化層 82
4．5 全連接層 84
4．6 輸出層 84
4．7 卷積神經網絡的訓練方法 85
4．8 卷積神經網絡的可視化 88
4．8．1 特征圖可視化 88
4．8．2 卷積核可視化 94
4．8．3 類激活圖可視化 97
4．8．4 可視化工具（Deep Visualization Toolbox） 98
4．9 典型的卷積神經網絡 99
4．9．1 LeNet神經網絡 99
4．9．2 AlexNet 103
4．9．3 VGGNet 104
4．9．4 GoogLeNet 106
4．9．5 ResNet 108
4．9．6 基於AlexNet的人臉識別 108
思考題 118
第5章 反饋神經網絡 119
5．1 Hopfield神經網絡 119
5．2 離散型Hopfield神經網絡 121
5．2．1 離散型Hopfield神經網絡的結構 121
5．2．2 離散型Hopfield神經網絡的狀態變化規律 122
5．2．3 離散型Hopfield神經網絡的穩態判別函數 123
5．2．4 離散型Hopfield神經網絡的聯想記憶 126
5．2．5 離散型Hopfield神經網絡的模式識別例子 127
5．2．6 離散型Hopfield神經網絡的權重設置 128
5．2．7 離散型Hopfield神經網絡的不足 130
5．3 連續型Hopfield神經網絡 131
5．3．1 連續型Hopfield神經網絡結構及其穩定性分析 131
5．3．2 連續型Hopfield神經網絡解決旅行商問題 133
5．4 玻爾茲曼機 135
5．3 受限玻爾茲曼機 141
5．4 對比散度算法 146
5．5 深度信念網絡 148
思考題 150
第6章 自編碼器 151
6．1 自編碼器 151
6．2 降噪自編碼器 153
6．3 稀疏自編碼器 155
6．4 棧式自編碼器 156
6．5 變分自編碼器 158
思考題 161
第7章 循環神經網絡 162
7．1 循環神經網絡概述 162
7．2 隱馬爾可夫鏈 163
7．3 循環神經網絡架構 164
7．4 LSTM 166
7．4．1 基於LSTM預測彩票 170
7．4．2 基於LSTM生成古詩詞 180
思考題 188
第8章 生成對抗網絡 189
8．1 生成對抗網絡概述 189
8．2 生成對抗網絡 190
8．3 條件生成對抗網絡 193
8．4 深度對抗生成網絡 195
8．5 基於DCGAN生成人臉圖片 196
8．5．1 準備數據集 196
8．5．2 構建模型 197
思考題 204
第9章 學習有關的處理技巧 205
9．1 訓練樣本 205
9．2 數據預處理 206
9．3 Dropout與DropConnect 209
9．4 正則化 212
9．5 權重的初值設置 213
思考題 214
第10章 深度學習開發工具 215
10．1 TensorFlow 215
10．1．1 安裝TensorFlow 216
10．1．2 TensorFlow運行環境 217
10．1．3 TensorFlow基本要素 218
10．1．4 TensorFlow運行原理 219
10．1．5 TensorFlow編程識別手寫數字實例 221
10．1．6 TensorBoard可視化工具 225
10．2 Caffe 226
10．2．1 Caffe的安裝 228
10．2．2 Caffe的應用實例 231
思考題 232
第11章 自動化機器學習 233
11．1 AutoML簡介 234
11．2 AutoML與傳統方法的對比 234
11．3 現有AutoML平臺產品 235
11．3．1 谷歌Cloud AutoML 235
11．3．2 百度EasyDL 235
11．3．3 阿裡云PAI 238
第12章 深度學習的未來 242
12．1 物體識別 242
12．2 物體檢測 243
12．3 圖像分割 251
12．4 回歸問題 253
12．4．1 人體姿態估計 253
12．4．2 面部器官檢測 255
12．5 圖像標注生成 255
12．6 圖像風格變換 257
12．7 自動駕駛 258
12．8 強化學習 259
12．9 深度學習的最新應用 260
12．9．1 AlphaGo圍棋機器人 260
12．9．2 人機對話 262
12．9．3 視頻換臉 263
12．9．4 無人機自動控制 265
12．9．5 機器人行動協同 267
12．9．6 醫療自動診斷 269
12．10 深度學習的發展趨勢分析 271
12．10．1 深度學習技術現狀 271
12．10．2 深度學習發展趨勢 271
參考答案 273
參考文獻 277