揭秘深度強化學習（簡體書）

深度強化學習（Deep Reinforcement Learning，DRL）是深度學習算法和強化學習算法的巧妙結合，它是一種新興的通用人工智能算法技術，也是機器學習的前沿技術，DRL 算法潛力無限，AlphaGo是目前該算法*成功的使用案例。DRL 算法以馬爾科夫決策過程為基礎，是在深度學習強大的非線性函數的擬合能力下構成的一種增強算法。深度強化學習算法主要包括基于動態規劃（DP）的算法以及基于策略優化的算法，本書的目的就是要把這兩種主要的算法（及設計技巧）講解清楚，使算法研究人員能夠熟練地掌握。《揭秘深度強化學習人工智能機器學習技術叢書》共10 章，首先以AlphaGo 在圍棋大戰的事跡開始，引起對人工智能發展和現狀的介紹，進而介紹深度強化學習的基本知識。然后分別介紹了強化學習（重點介紹蒙特卡洛算法和時序差分算法）和深度學習的基礎知識、功能神經網絡層、卷積神經網絡（N）、循環神經網絡（RNN），以及深度強化學習的理論基礎和當前主流的算法框架。*后介紹了深度強化學習在不同領域的幾個應用實例。引例、基礎知識和實例相結合，方便讀者理解和學習。《揭秘深度強化學習 人工智能機器學習技術叢書》內容豐富，講解全面、語言描述通俗易懂，是深度強化學習算法入門的*選擇。本書適合計算機專業本科相關學生、人工智能領域的研究人員以及所有對機器學習和人工智能算法感興趣的人員。

《揭秘深度強化學習 人工智能機器學習技術叢書》是一本詳細介紹深度強化學習算法的入門類圖書，涉及深度學習和強化學習的相關內容，是人工智能*前沿的研究方向。非常適合想在下一代技術領域立足的人工智能和機器學習算法從業者學習和參考。機器學習的一個分支是神經網絡；神經網絡模擬人的大腦，形成神經網絡模型，它可以包括很多層次，一般來講層次越深學習效果越好，很多層的神經網絡就是深度學習。在傳統的機器學習中，主要分為非監督學習（unsupervisedlearning）、監督學習（supervisedleaning）和強化學習。強化學習是對決策的學習，簡單來講，強化學習就是用獎勵機制，自己調節參數，讓算法越來越聰明。深度強化學習，研究的是如何通過深度學習的方法來解決強化學習的問題。也就是深度學習和強化學習的結合。《揭秘深度強化學習 人工智能機器學習技術叢書》一書囊括了強化學習基礎知識、馬爾科夫決策過程、無模型強化學習、模仿學習、深度學習基礎知識、神經網絡基本組成、反向傳播算法、功能神經網絡層、循環神經網絡、卷積神經網絡（N）的基礎和結構、循環神經網絡（RNN）、深度強化學習基礎、蒙特卡洛搜索樹、策略梯度算法、深度強化學習算法框架、深度Q學習、雙Q學習、異步優越性策略子-評價算法、深度強化學習應用實例等。深度強化學習算法可應用于量化投資、游戲智能、機器人決策、自動駕駛、無人機等。

章 深度強化學習概覽 1.1 什麼是深度強化學習？ 1.1.1 俯瞰強化學習 1.1.2 來一杯深度學習 1.1.3 Hello，深度強化學習 1.2 深度強化學習的學習策略 1.3 本書的內容概要 參考文獻 第2章 強化學習基礎 2.1 真相--經典的隱馬爾科夫模型（HMM） 2.1.1 HMM引例 2.1.2 模型理解與推導 2.1.3 隱馬爾科夫應用舉例 2.2 逢考必過—馬爾科夫決策過程（MDP） 2.2.1 MDP生活化引例 2.2.2 MDP模型 2.2.3 MDP模型引例 2.2.4 模型理解 2.2.5 探索與利用 2.2.6 值函數和動作值函數 2.2.7 基于動態規劃的強化問題求解 2.3 糟糕，考試不給題庫—無模型強化學習 2.3.1 蒙特卡洛算法 2.3.2 時序差分算法 2.3.3 異步強化學習算法 2.4 學霸來了--強化學習之模仿學習2.4.1 模仿學習（Imitation Learning） 2.4.2 逆強化學習 本章總結 參考第3章 深度學習基礎 3.1 深度學習簡史3.1.1 神經網絡發展史 3.1.2 深度學習的分類 3.1.3 深度學習的應用 3.1.4 深度學習存在的問題 3.2 深度學習基礎概念 3.2.1 深度學習總體感知 3.2.2 神經網絡的基本組成 3.2.3 深度學習訓練 3.2.4 梯度下降法 3.2.5 反向傳播算法（BP） 3.3 數據預處理 3.3.1 主成分分析（PCA）3.3.2 獨立成分分析（ICA）3.3.3 數據白化處理 3.4 深度學習硬件基礎 3.4.1 深度學習硬件基礎 3.4.2 GPU簡介 3.4.3 CUDA編程 本章總結 參考第4章 功能神經網絡層 4.1 激活函數單元 4.2 池化層Pooling layer 4.3 參數開關Dropout 4.4 批量歸一化層（Batch normalization layer） 4.5 全連接層4.6 卷積神經網絡4.7 全卷積神經網絡 4.8 循環（遞歸）神經網絡（RNN）4.9 深度學習的 本章總結 參考第5章 卷積神經網絡（N） 5.1 卷積神經網絡 N 基礎 5.1.1 卷積神經網絡的歷史 5.1.2 卷積神經網絡的核心 5.2 卷積神經網絡 N 結構 5.2.1 深度卷積神經網絡N 5.2.2 深度卷積神經網絡N可視化 5.3 經典卷積神經網絡架構分析 5.3.1 一切的開始--LeNet 5.3.2 王者回歸--AlexNet 5.3.3 起飛的時候--VGG 5.3.4 致敬經典GoogLeNet 5.3.5 沒有深只有更深--ResNet5.4 對抗網絡 5.4.1 對抗網絡（GAN） 5.4.2 WGAN 5.5 RN 5.6 N的應用實例 本章總結 參考第6章 循環神經網絡（RNN） 6.1 RNN概覽 6.2 長期依賴（Long-Term Dependencies）問題 6.3 LSTM 的變體 本章總結 參考第7章：如何寫自己的N—C語言實現深度學習 7.1 如何寫自己的CMake文件7.2 如何寫自己神經網絡 7.2.1 激活函數 7.2.2 池化函數 7.2.3 全連接層 7.3 卷積神經網絡7.3.1 N網絡的構建 7.3.2 N前向傳播 7.3.3 N的反向傳播 7.4 文件解析本章總結 第8章 深度強化學習 8.1 初識深度強化學習 8.1.1 深度強化學習概覽 8.1.2 記憶回放（Memory-Replay）機制8.1.3 蒙特卡羅搜索樹 8.2 深度強化學習（DRL）中的值函數算法 8.2.1 DRL中值函數的作用 8.2.2 DRL中值函數理論推導 8.3 深度強化學習中的策略梯度（Policy Gradient） 8.3.1 策略梯度的作用和優勢 8.3.2 策略梯度的理論推導 8.3.3 REINFORCE算法 8.3.4 策略梯度的優化算法 8.3.5 策略子－評判算法（Actor-Critic）8.4 深度強化學習網絡結構 參考 第9章 深度強化學習算法框架 9.1 深度Q學習 9.2 雙Q學習 9.3 異步深度強化學習 9.4 異步優越性策略子-評價算法 9.5 DDPG 算法： 9.6 值迭代網絡 本章總結 參考 0章 深度強化學習應用實例 10.1 Flappy Bird 應用 10.2 Play Pong 應用 10.3 深度地形-自適應應用（Deep Terrain-adaptive應用） 10.4 AlphaGo 25410.4.1 獨立算法的研究部分10.4.2 AlphaGo算法 本章總結 參考 附錄： 常用的深度學習框架 F.1. 谷歌TensorFlow F.1.1 TensorFlow 簡介F.1.2 TensorFlow 基礎 F.2 輕量級MXNet F.2.1 MX介紹 F.2.2 MX基礎 F.3 來至UCLA 的Caffe F.3.1 Caffe 簡介 F3.2 Caffe基礎 F.4 悠久的 Theano F.4.1 Theano簡介 F.4.2 Theano基礎 F.5 30s 入門的Keras 參考