神經網絡與深度學習應用實戰（簡體書）

本書結合實際應用介紹神經網絡和深度學習等技術領域相關信息，從結構上重點介紹了前饋型神經網絡、反饋型神經網絡，以及自組織競爭型神經網絡，並針對當下深度學習中比較重要的網絡進行了詳細介紹，包括卷積神經網絡、循環（遞歸）神經網絡、深度信念網絡、生成對抗網絡，以及深度強化學習。本書不僅能讓讀者對當前神經網絡和深度學習技術有體系的認知，更能讓讀者在人工智能領域進行一些深入思考。

前言
本書結合實際應用介紹神經網絡和深度學習等技術領域相關信息，從結構上重點介紹了前饋型神經網絡、反饋型神經網絡，以及自組織競爭型神經網絡，並針對當下深度學習中比較重要的網絡進行了詳細介紹，包括卷積神經網絡、循環（遞歸）神經網絡、深度信念網絡、生成對抗網絡，以及深度強化學習。本書不僅能讓讀者對當前神經網絡和深度學習技術有體系的認知，更能讓讀者在人工智能領域進行一些深入思考。
讀者對象
? 對神經網絡、深度學習以及人工智能有興趣的讀者；
? 對算法以及機器學習領域有興趣的讀者；
? 互聯網行業不同層次的從業者；
? 軟件工程或計算機相關專業的在校學生。
本書特色
書中內容緊密結合當前一線工程師工作研究成果，是對當前神經網絡和深度學習的完整性原理介紹和實踐分析。本書充分利用了最新技術發展的應用成果，不僅結合原理分析，還結合案例進行輔助理解。
本書介紹的相關深度學習技術廣泛應用於各個領域，可以在自然語言處理、計算機視覺、文本分析等領域中應用，在當前甚至未來三到五年，都具有實際意義。
本書結構
本書按照由淺入深、循序漸進的順序對神經網絡和深度學習的內容進行介紹。全書共分為三篇，分別從基礎、進階、高階三個層次逐步展開，總共12章，各章的主要內容如下。
第1章闡述了在當前時代背景下，神經網絡和人工智能的發展歷程，針對未來人工智能極可能改變的領域進行了深入介紹，並介紹了深度學習與機器學習的關係，以及深度學習與人工智能的關係。
第2章介紹了神經網絡和深度學習的數學基礎，從向量、矩陣、導數、數值計算、概率分佈、參數估計等方面進行了詳細介紹，為學習後續內容奠定基礎。
第3章重點介紹了機器學習的基礎內容，神經網絡和深度學習都屬�機器學習中的內容，包括擬合問題、交叉檢驗、產生式與判別式模型等，有助於加強對神經網絡和深度學習的理解。
第4章介紹了神經網絡的基礎，包括神經網絡中常見的學習方法以及神經網絡的優化方法，闡述了常見的神經網絡類型以及深度學習中的網絡類型，並介紹了深度學習與多層神經網絡的關係。
第5章重點介紹了前饋型神經網絡，它是神經網絡中極為重要的一種網絡類型。本章從單層感知器開始，逐步深入介紹了BP神經網絡以及徑向基函數神經網絡，重點介紹了反向傳播算法。
第6章詳細介紹了反饋型神經網絡，它是一種帶聯想記憶的神經網絡。本章重點介紹了Hopfiled神經網絡、Elman神經網絡以及遞歸神經網絡。對於遞歸神經網絡還進行了更為深入的介紹，包括其反向傳播算法以及各類改進的結構。
第7章重點介紹了自組織競爭型神經網絡，從傳統的系統聚類法、基於劃分的聚類算法、基於密度的聚類算法、基於層次的聚類算法開始，詳細介紹了自組織競爭型神經網絡中的典型代表――自組織映射網絡，還介紹了自適應共振理論以及對偶傳播網絡。
第8章介紹了卷積神經網絡，卷積神經網絡是目前圖像處理中比較優秀的神經網絡。本章重點介紹了卷積神經網絡中的卷積、卷積核等重要基礎概念，詳細闡述了卷積神經網絡中各層的工作原理，並介紹了常見的間距神經網絡結構。
第9章介紹了循環神經網絡，循環神經網絡與遞歸神經網絡有一定的相似性。本章介紹了一般的循環神經網絡，包括單向循環神經網絡、雙向循環神經網絡以及深度循環神經網絡。重點介紹了長短時記憶網絡。
第10章介紹了深度信念網絡，深度信念網絡是由受限玻爾茲曼機組成的網絡結構。本章重點介紹了受限玻爾茲曼機的邏輯結構和工作原理，並介紹了深度信念網絡的訓練過程。
第11章介紹了生成對抗網絡，生成對抗網絡是未來會有較大突破的網絡結構之一。本章從一般的生成對抗網絡入手進行介紹，然後介紹了各類改進版本，包括DCGAN、CGAN、WGAN等，並對生成對抗網絡的未來做了一定猜想。
第12章介紹了深度強化學習，深度強化學習是一種有別于傳統的有監督學習和無監督學習的學習方式。本章重點介紹了強化學習的工作原理、馬爾科夫決策過程等，並結合強化學習的各類算法進行了詳細的介紹。
上述章節中，郭武彪完成了第6章內容的編寫，陳相禮完成了第9章內容的編寫，楊華完成了第11章內容的編寫以及本書格式校驗，其餘章節內容由劉凡平完成編寫，並對本書內容進行了校驗。
由於時間倉促及編者水平有限，書中難免存在錯誤和不足之處，懇請廣大讀者多多理解，並批評指正，也可以通過郵箱（liufanping@iveely.com）聯繫我們。

致謝
本書的內容基本都來自我們的工作經驗，感謝曹楊、黃誠，正是你們的支持和鼓勵，以及工作中的栽培和肯定，才能使得我們（陳相禮、郭武彪、楊華、劉凡平）有能力和勇氣寫出這本書。還有那些曾經一起學習和共事的朋友，你們給予我們很多無私的幫助，使得我們在和你們相處的過程中能夠快速地成長，感謝一路上有你們的陪伴，正是有了你們，沿途的風景才格外的美麗。
衷心感謝我們的家人，感謝你們在過去的時間裡對我們的理解和支持，為我們營造了一個良好的寫作環境，並鼓勵我們堅持認真寫作，使得本書能夠順利完成。
本書編寫過程中還得到了很多朋友的支持和幫助，限於篇幅，雖然不能一一對你們表示感謝，但是對你們同樣心懷感激。
最後，感謝這個時代，給予每一個有理想的人，賦予實現人生價值的機會！

基礎篇第1章時代崛起21.1概要21.1.1基本概念21.1.2深度學習與機器學習的關係41.1.3深度學習與人工智能的關係51.2歷史發展51.2.1神經網絡發展歷史51.2.2人工智能發展歷史71.3應用領域81.3.1智能個人助理81.3.2智能安防91.3.3無人駕駛91.3.4電商零售111.3.5智慧醫療111.3.6金融服務121.3.7智能教育131.4未來猜想141.4.1人文的快速發展141.4.2人類也是“機器人”141.4.3新的不平等現象151.5本章小結16第2章數學理論基礎172.1向量172.1.1相關概念172.1.2向量的線性相關性182.1.3向量的外積182.1.4向量夾角與余弦相似性182.1.5實例：基於向量夾角的文本相似性分析192.2矩陣202.2.1矩陣乘法202.2.2克羅內克積212.3導數222.3.1概述222.3.2一般運算法則222.3.3鏈式求導法則232.4數值計算232.4.1誤差232.4.2距離242.4.3數值歸一化262.5概率分佈262.5.1二項分佈262.5.2超幾何分佈272.5.3泊松分佈272.5.4指數分佈282.5.5正態分佈292.6參數估計292.6.1概率292.6.2貝葉斯估計302.6.3最大似然估計312.6.4最大後驗估計322.7回歸分析332.7.1線性回歸332.7.2邏輯回歸362.8判定問題392.8.1P問題392.8.2NP問題392.8.3NPComplete問題402.8.4NPHard問題402.9本章小結41第3章機器學習概要423.1機器學習的類型423.1.1有監督學習423.1.2無監督學習433.1.3強化學習433.2機器學習中常見的函數443.2.1激活函數443.2.2損失函數473.2.3核函數483.3機器學習中的重要參數493.3.1學習速率493.3.2動量係數503.3.3偏置項503.4擬合問題513.4.1過擬合現象513.4.2欠擬合現象523.4.3解決過擬合問題的一般方法523.4.4實例：擬合與二元一次方程求