深度學習與TensorFlow實戰（簡體書）

本書主要講解深度學習和TensorFlow的實戰知識，全書分為10章，主要內容如下：第1章為深度學習概述，包括深度學習的基礎知識、深度學習的生產力實現―TensorFlow、數據模型、TensorFlow項目介紹、TensorFlow工作環境的安裝與運行；第2章為機器學習概述，講解機器學習的定義、任務、性能、經驗、學習算法、線性回歸實例和TensorFlow的完整運行腳本；第3章介紹從生物神經元到感知器的內容，講解基於MCP神經元實現布爾邏輯、感知器、使用感知器做分類等；第4章介紹人工神經網絡，講述的內容包括從感知器到多層感知器、帶有權值的MCP神經元―感知器、反向傳播神經網絡、使用人工神經網絡分類mnist；第5章介紹Logistic回歸與Softmax回歸；第6章介紹卷積神經網絡，講述感知器模式識別、卷積操作、卷積神經網絡的結構、使用TensorFlow實現卷積神經網絡的實例；第7章介紹循環神經網絡，包括循環神經網絡的特徵、有限狀態機、從MCP神經網絡到循環神經網絡等；第8章介紹LSTM循環神經網絡，包括梯度彌散現象、長短期記憶網絡、通過TensorFlow實現一個簡單的LSTM；第9章深入討論TensorFlow，講解機器學習框架、計算圖、神經網絡與計算圖、TensorFlow中的數據流圖、使用GPU、數據可視化工具TensorBoard等；第10章為TensorFlow案例實踐，包括構建TensorFlow的圖片分類系統、準備代碼和訓練集、構造模型計算圖、訓練模型、評估模型的性能、多GPU訓練等。
本書旨在幫助具有較少數學基礎並期望在深度學習上有所作為的學習者，希望為他們提供一個快速上手深度學習的實戰教程。本書適合閱讀的讀者包括相關專業的本科生或研究生，以及不具有機器學習或統計知識背景但想要快速補充深度學習知識，以便在實際產品或平臺中應用的軟件工程師。

李建軍，對深度學習和Tensorflow概念和工具都有著很深的理解和研究，開發了一系列的案例，並在教學實踐加以應用。有著豐富的實戰經驗、以及應用Tensorflow和深度學習的項目背景。

前言　Ⅰ
第1章　深度學習概述　1
1.1　人類的人工智能之夢　1
1.2　從遙想到實踐　3
1.3　三大人工智能學派　3
1.3.1　符號學派　3
1.3.2　行為學派　3
1.3.3　連接學派　4
1.4　連接學派中的神經網絡　4
1.5　神經網絡的“新稱謂”―深度學習　7
1.6　深度學習的生產力實現―
TensorFlow　8
1.6.1　TensorFlow之Tensor　9
1.6.2　TensorFlow之Flow　10
1.6.3　TensorFlow之簡單的
數據模型　11
1.7　TensorFlow項目介紹　13
1.8　TensorFlow工作環境的安裝和運行　14
1.8.1　Ubuntu環境下基於Virtualenv的
安裝方法　15
1.8.2　基於Mac OS的安裝方法　16
1.8.3　簡單運行一下TensorFlow　16
第2章　機器學習概述　18
2.1　什麼是機器學習　18
2.1.1　機器學習的定義　18
2.1.2　任務　19
2.1.3　性能　20
2.1.4　經驗　24
2.2　學習算法　24
2.2.1　表示　25
2.2.2　評價　25
2.2.3　優化　27
2.3　以線性回歸為例　28
2.3.1　線性回歸的任務T　28
2.3.2　線性回歸的經驗E　28
2.3.3　線性回歸的表示R　30
2.3.4　線性回歸的評價E　30
2.3.5　線性回歸的優化O　31
2.3.6　小結　32
2.3.7　TensorFlow的完整運行腳本　33
2.4　本章小結　35
第3章　從生物神經元到感知器　36
3.1　感知器的前身　36
3.1.1　生物神經元　36
3.1.2　一個基礎的神經元―
McCulloch-Pitts　Units　37
3.1.3　基於MCP神經元實現
布爾邏輯　37
3.1.4　帶有權值的MCP神經元　39
3.1.5　通過帶有權值的MCP神經元對
空間進行線性劃分　40
3.2　感知器　41
3.2.1　感知器簡介　41
3.2.2　感知器的激活函數　42
3.3　使用感知器分類　43
3.3.1　感知器的二分類　43
3.3.2　經驗E―Iris鳶尾花數據集　44
3.3.3　感知器的表示R　45
3.3.4　感知器的評價E　45
3.3.5　感知器的優化O　46
3.3.6　實踐感知器　47
3.4　本章小結　49
第4章　人工神經網絡　50
4.1　從感知器到多層感知器　50
4.1.1　再次回到MCP神經元　50
4.1.2　帶有權值的MCP神經元―
感知器　57
4.1.3　兩層感知器形成“凸域”問題　61
4.1.4　非凸域優化　64
4.2　反向傳播神經網絡　65
4.2.1　一個生動的比喻　65
4.2.2　計算圖基礎―前向傳播　66
4.2.3　計算圖―帶有參數w、b的
前向傳播　68
4.2.4　計算圖―帶有參數w、b的
反向傳播　69
4.3　使用人工神經網絡對mnist數據進行
分類　71
4.4　本章小結　73
第5章　Logistic回歸與Softmax回歸　74
5.1　信息論　74
5.1.1　編碼　74
5.1.2　編碼效率　74
5.1.3　編碼代價　75
5.1.4　最優編碼　77
5.1.5　信息量和熵　78
5.1.6　交叉熵　80
5.2　Logistic回歸　81
5.2.1　線性回歸回顧　81
5.2.2　Logistic回歸回顧　84
5.2.3　Logistic人工神經網絡稀疏化
表徵　87
5.2.4　sigmoid激活函數與信息熵　90
5.2.5　最大熵模型　91
5.3　Softmax回歸　96
5.3.1　從Logistic回歸到Softmax
回歸　96
5.3.2　Softmax回歸的參數冗餘　96
5.3.3　Softmax回歸與Logistic回歸的
關係　97
5.3.4　Softmax回歸與k個二元
分類器　98
5.4　本章小結　98
第6章　卷積神經網絡　99
6.1　感知器模式識別　99
6.1.1　通過感知器識別一幅簡單的
圖像　99
6.1.2　感知器的魯棒性　101
6.1.3　生物視神經與感受野　103
6.1.4　Minsky感知器與
局部感受野　105
6.1.5　從魯賓杯角度理解
局部感受野　108
6.1.6　單個感知器模式識別的
局限性　110
6.1.7　多層感知器的模式識別　112
6.2　卷積操作　116
6.2.1　卷積的數學定義　116
6.2.2　局部感受野與卷積　116
6.2.3　卷積操作的用途　118
6.3　卷積神經網絡的結構　119
6.3.1　卷積操作中局部感受野的
跨度　120
6.3.2　白邊　122
6.3.3　池化操作　123
6.3.4　卷積神經網絡的層級結構　124
6.3.5　通過卷積神經網絡處理彩色
圖像的模型　126
6.4　使用TensorFlow實現卷積神經網絡的
小例子　129
6.5　本章小結　131
第7章　循環神經網絡　132
7.1　循環神經網絡：一種循環的人工
神經網絡　132
7.1.1　回到黑箱模型　132
7.1.2　時間序列性　134
7.2　有限狀態機　135
7.2.1　有限狀態機的布爾邏輯　135
7.2.2　有限狀態機的結構　136
7.3　從MCP神經網絡到循環神經網絡　138
7.3.1　MCP神經網絡與有限
狀態機的等效性　138
7.3.2　前饋神經網絡與MCP
神經網絡的等效性　140
7.3.3　循環神經網絡與前饋
神經網絡的等效性　142
7.3.4　循環神經網絡的描述　145
7.3.5　循環神經網絡的參數學習―
BPTT　147
7.4　本章小結　151
第8章　LSTM循環神經網絡　152
8.1　梯度彌散現象　152
8.1.1　梯度彌散的緣由　152
8.1.2　梯度彌散帶來的“健忘”　155
8.2　長短期記憶網絡　157
8.2.1　LSTM的結構　157
8.2.2　LSTM單元如何緩解
梯度彌散　161
8.3　通過TensorFlow實現一個
簡單的LSTM　162
8.4　本章小結　165
第9章　深入TensorFlow　166
9.1　機器學習框架回顧　166
9.2　計算圖　167
9.2.1　計算圖的前饋計算　167
9.2.2　計算圖的反饋計算　168
9.3　神經網絡與計算圖　170
9.3.1　神經網絡與計算圖的轉換　170
9.3.2　神經網絡計算圖的前饋計算與
反饋計算　172
9.4　TensorFlow中的數據流圖　176
9.4.1　張量　176
9.4.2　操作　177
9.4.3　變量和占位符　178
9.4.4　三段式編程　179
9.4.5　會話　180
9.5　使用GPU　183
9.5.1　單機CPU+GPU　183
9.5.2　單機CPU+多GPU　184
9.5.3　分布式計算　185
9.6　數據可視化工具TensorBoard　188
9.6.1　生成靜態計算圖　188
9.6.2　統計動態數據流　190
9.6.3　使用TensorBoard實現訓練
可視化　190
9.7　本章小結　193
第10章　TensorFlow案例實踐　194
10.1　構建TensorFlow的圖片分類系統　194
10.2　準備代碼和訓練集　195
10.3　構造模型計算圖　199
10.4　訓練模型　207
10.5　評估模型的性能　210
10.6　多GPU訓練　213
10.7　本章小結　218