深度學習（簡體書）

IanGoodfellow，谷歌公司(Google)的研究科學家，2014年蒙特利爾大學機器學習博士。他的研究興趣涵蓋大多數深度學習主題，特別是生成模型以及機器學習的安全和隱私。IanGoodfellow在研究對抗樣本方面是一位有影響力的早期研究者，他發明了生成式對抗網絡，在深度學習領域貢獻卓越。

YoshuaBengio，蒙特利爾大學計算機科學與運籌學系(DIRO)的教授，蒙特利爾學習算法研究所(MILA)的負責人，CIFAR項目的共同負責人，加拿大統計學習算法研究主席。YoshuaBengio的主要研究目標是了解產生智力的學習原則。他還教授“機器學習”研究生課程(IFT6266)，并培養了一大批研究生和博士后。

AaronCourville，蒙特利爾大學計算機科學與運籌學系的助理教授，也是LISA實驗室的成員。目前他的研究興趣集中在發展深度學習模型和方法，特別是開發概率模型和新穎的推斷方法。AaronCourville主要專注于計算機視覺應用，在其他領域，如自然語言處理、音頻信號處理、語音理解和其他AI相關任務方面也有所研究。

中文版審校者簡介

張志華，北京大學數學科學學院統計學教授，北京大學大數據研究中心和北京大數據研究院數據科學教授，主要從事機器學習和應用統計學的教學與研究工作。

譯者簡介

趙申劍，上海交通大學計算機系碩士研究生，研究方向為數值優化和自然語言處理。

黎彧君，上海交通大學計算機系博士研究生，研究方向為數值優化和強化學習。

符天凡，上海交通大學計算機系碩士研究生，研究方向為貝葉斯推斷。

李凱，上海交通大學計算機系博士研究生，研究方向為博弈論和強化學習。

第1章引言1

11本書面向的讀者7

12深度學習的歷史趨勢8

121神經網絡的眾多名稱和命運變遷8

122與日俱增的數據量12

123與日俱增的模型規模13

124與日俱增的精度、復雜度和對現實世界的沖擊15

第1部分應用數學與機器學習基礎

第2章線性代數19

21標量、向量、矩陣和張量19

22矩陣和向量相乘21

23單位矩陣和逆矩陣22

24線性相關和生成子空間23

25范數24

26特殊類型的矩陣和向量25

27特征分解26

28奇異值分解28

29Moore-Penrose偽逆28

210跡運算29

211行列式30

212實例：主成分分析30

第3章概率與信息論34

31為什么要使用概率34

32隨機變量35

33概率分布36

331離散型變量和概率質量函數36

332連續型變量和概率密度函數36

34邊緣概率37

35條件概率37

36條件概率的鏈式法則38

37獨立性和條件獨立性38

38期望、方差和協方差38

39常用概率分布39

391Bernoulli分布40

392Multinoulli分布40

393高斯分布40

394指數分布和Laplace分布41

395Dirac分布和經驗分布42

396分布的混合42

310常用函數的有用性質43

311貝葉斯規則45

312連續型變量的技術細節45

313信息論47

314結構化概率模型49

第4章數值計算52

41上溢和下溢52

42病態條件53

43基于梯度的優化方法53

431梯度之上：Jacobian和Hessian矩陣56

44約束優化60

45實例：線性最小二乘61

第5章機器學習基礎63

51學習算法63

511任務T63

512性能度量P66

513經驗E66

514示例：線性回歸68

52容量、過擬合和欠擬合70

521沒有免費午餐定理73

522正則化74

53超參數和驗證集76

531交叉驗證76

54估計、偏差和方差77

541點估計77

542偏差78

543方差和標準差80

544權衡偏差和方差以最小化均方誤差81

545一致性82

55最大似然估計82

551條件對數似然和均方誤差84

552最大似然的性質84

56貝葉斯統計85

561最大后驗(MAP)估計87

57監督學習算法88

571概率監督學習88

572支持向量機88

573其他簡單的監督學習算法90

58無監督學習算法91

581主成分分析92

582k-均值聚類94

59隨機梯度下降94

510構建機器學習算法96

511促使深度學習發展的挑戰96

5111維數災難97

5112局部不變性和平滑正則化97

5113流形學習99

第2部分深度網絡：現代實踐

第6章深度前饋網絡105

61實例：學習XOR107

62基于梯度的學習110

621代價函數111

622輸出單元113

63隱藏單元119

631整流線性單元及其擴展120

632logisticsigmoid與雙曲正切函數121

633其他隱藏單元122

64架構設計123

641萬能近似性質和深度123

642其他架構上的考慮126

65反向傳播和其他的微分算法126

651計算圖127

652微積分中的鏈式法則128

653遞歸地使用鏈式法則來實現反向傳播128

654全連接MLP中的反向傳播計算131

655符號到符號的導數131

656一般化的反向傳播133

657實例：用于MLP訓練的反向傳播135

658復雜化137

659深度學習界以外的微分137

6510高階微分138

66歷史小記139

第7章深度學習中的正則化141

71參數范數懲罰142

711L2參數正則化142

712L1正則化144

72作為約束的范數懲罰146

73正則化和欠約束問題147

74數據集增強148

75噪聲魯棒性149

751向輸出目標注入噪聲150

76半監督學習150

77多任務學習150

78提前終止151

79參數綁定和參數共享156

791卷積神經網絡156

710稀疏表示157

711Bagging和其他集成方法158

712Dropout159

713對抗訓練165

714切面距離、正切傳播和流形正切分類器167

第8章深度模型中的優化169

81學習和純優化有什么不同169

811經驗風險最小化169

812代理損失函數和提前終止170

813批量算法和小批量算法170

82神經網絡優化中的挑戰173

821病態173

822局部極小值174

823高原、鞍點和其他平坦區域175

824懸崖和梯度爆炸177

825長期依賴177

826非精確梯度178

827局部和全局結構間的弱對應178

828優化的理論限制179

83基本算法180

831隨機梯度下降180

832動量181

833Nesterov動量183

84參數初始化策略184

85自適應學習率算法187

851AdaGrad187

852RMSProp188

853Adam189

854選擇正確的優化算法190

86二階近似方法190

861牛頓法190

862共軛梯度191

863BFGS193

87優化策略和元算法194

871批標準化194

872坐標下降196

873Polyak平均197

874監督預訓練197

875設計有助于優化的模型199

876延拓法和課程學習199

第9章卷積網絡201

91卷積運算201

92動機203

93池化207

94卷積與池化作為一種無限強的先驗210

95基本卷積函數的變體211

96結構化輸出218

97數據類型219

98高效的卷積算法220

99隨機或無監督的特征220

910卷積網絡的神經科學基礎221

911卷積網絡與深度學習的歷史226

第10章序列建模：循環和遞歸網絡227

101展開計算圖228

102循環神經網絡230

1021導師驅動過程和輸出循環網絡232

1022計算循環神經網絡的梯度233

1023作為有向圖模型的循環網絡235

1024基于上下文的RNN序列建模237

103雙向RNN239

104基于編碼-解碼的序列到序列架構240

105深度循環網絡242

106遞歸神經網絡243

107長期依賴的挑戰244

108回聲狀態網絡245

109滲漏單元和其他多時間尺度的策略247

1091時間維度的跳躍連接247

1092滲漏單元和一系列不同時間尺度247

1093刪除連接248

1010長短期記憶和其他門控RNN248

10101LSTM248

10102其他門控RNN250

1011優化長期依賴251

10111截斷梯度251

10112引導信息流的正則化252

1012外顯記憶253

第11章實踐方法論256

111性能度量256

112默認的基準模型258

113決定是否收集更多數據259

114選擇超參數259

1141手動調整超參數259

1142自動超參數優化算法262

1143網格搜索262

1144隨機搜索263

1145基于模型的超參數優化264

115調試策略264

116示例：多位數字識別267

第12章應用269

121大規模深度學習269

1211快速的CPU實現269

1212GPU實現269

1213大規模的分布式實現271

1214模型壓縮271

1215動態結構272

1216深度網絡的專用硬件實現273

122計算機視覺274

1221預處理275

1222數據集增強277

123語音識別278

124自然語言處理279

1241n-gram280

1242神經語言模型281

1243高維輸出282

1244結合n-gram和神經語言模型286

1245神經機器翻譯287

1246歷史展望289

125其他應用290

1251推薦系統290

1252知識表示、推理和回答292

第3部分深度學習研究

第13章線性因子模型297

131概率PCA和因子分析297

132獨立成分分析298

133慢特征分析300

134稀疏編碼301

135PCA的流形解釋304

第14章自編碼器306

141欠完備自編碼器306

142正則自編碼器307

1421稀疏自編碼器307

1422去噪自編碼器309

1423懲罰導數作為正則309

143表示能力、層的大小和深度310

144隨機編碼器和解碼器310

145去噪自編碼器詳解311

1451得分估計312

1452歷史展望314

146使用自編碼器學習流形314

147收縮自編碼器317

148預測稀疏分解319

149自編碼器的應用319

第15章表示學習321

151貪心逐層無監督預訓練322

1511何時以及為何無監督預訓練有效有效323

152遷移學習和領域自適應326

153半監督解釋因果關系329

154分布式表示332

155得益于深度的指數增益336

156提供發現潛在原因的線索337

第16章深度學習中的結構化概率模型339

161非結構化建模的挑戰339

162使用圖描述模型結構342

1621有向模型342

1622無向模型344

1623配分函數345

1624基于能量的模型346

1625分離和d-分離347

1626在有向模型和無向模型中轉換350

1627因子圖352

163從圖模型中采樣353

164結構化建模的優勢353

165學習依賴關系354

166推斷和近似推斷354

167結構化概率模型的深度學習方法355

1671實例：受限玻爾茲曼機356

第17章蒙特卡羅方法359

171采樣和蒙特卡羅方法359

1711為什么需要采樣359

1712蒙特卡羅采樣的基礎359

172重要采樣360

173馬爾可夫鏈蒙特卡羅方法362

174Gibbs采樣365

175不同的峰值之間的混合挑戰365

1751不同峰值之間通過回火來混合367

1752深度也許會有助于混合368

第18章直面配分函數369

181對數似然梯度369

182隨機最大似然和對比散度370

183偽似然375

184得分匹配和比率匹配376

185去噪得分匹配378

186噪聲對比估計378

187估計配分函數380

1871退火重要采樣382

1872橋式采樣384

第19章近似推斷385

191把推斷視作優化問題385

192期望最大化386

193最大后驗推斷和稀疏編碼387

194變分推斷和變分學習389

1941離散型潛變量390

1942變分法394

1943連續型潛變量396

1944學習和推斷之間的相互作用397

195學成近似推斷397

1951醒眠算法398

1952學成推斷的其他形式398

第20章深度生成模型399

201玻爾茲曼機399

202受限玻爾茲曼機400

2021條件分布401

2022訓練受限玻爾茲曼機402

203深度信念網絡402

204深度玻爾茲曼機404

2041有趣的性質406

2042DBM均勻場推斷406

2043DBM的參數學習408

2044逐層預訓練408

2045聯合訓練深度玻爾茲曼機410

205實值數據上的玻爾茲曼機413

2051Gaussian-BernoulliRBM413

2052條件協方差的無向模型414

206卷積玻爾茲曼機417

207用于結構化或序列輸出的玻爾茲曼機418

208其他玻爾茲曼機419

209通過隨機操作的反向傳播419

2091通過離散隨機操作的反向傳播420

2010有向生成網絡422

20101sigmoid信念網絡422

20102可微生成器網絡423

20103變分自編碼器425

20104生成式對抗網絡427

20105生成矩匹配網絡429

20106卷積生成網絡430

20107自回歸網絡430

20108線性自回歸網絡430

20109神經自回歸網絡431

201010NADE432

2011從自編碼器采樣433

20111與任意去噪自編碼器相關的馬爾可夫鏈434

20112夾合與條件采樣434

20113回退訓練過程435

2012生成隨機網絡435

20121判別性GSN436

2013其他生成方案436

2014評估生成模型437

2015結論438

參考文獻439

索引486