基於深度學習的自然語言處理（簡體書）

本書重點介紹了神經網絡模型在自然語言處理中的應用。首先介紹有監督的機器學習和前饋神經網絡的基本知識，如何將機器學習方法應用在自然語言處理中，以及詞向量表示（而不是符號表示）的應用。然後介紹更多專門的神經網絡結構，包括一維卷積神經網絡、循環神經網絡、條件生成模型和基於注意力的模型。後，討論樹形網絡、結構化預測以及多任務學習的前景。

約阿夫‧戈爾德貝格，以色列巴伊蘭大學計算機科學系高級講師。

目錄
Neural Network Methods for Natural Language Processing
譯者序
前言
致謝
第1章引言
1.1自然語言處理的挑戰
1.2神經網絡和深度學習
1.3自然語言處理中的深度學習
1.4本書的覆蓋面和組織結構
1.5本書未覆蓋的內容
1.6術語
1.7數學符號
注釋
第一部分有監督分類與前饋神經網絡
第2章學習基礎與線性模型
2.1有監督學習和參數化函數
2.2訓練集、測試集和驗證集
2.3線性模型
2.3.1二分類
2.3.2對數線性二分類
2.3.3多分類
2.4表示
2.5獨熱和稠密向量表示
2.6對數線性多分類
2.7訓練和最優化
2.7.1損失函數
2.7.2正則化
2.8基於梯度的最優化
2.8.1隨機梯度下降
2.8.2實例
2.8.3其他訓練方法
第3章從線性模型到多層感知器
3.1線性模型的局限性：異或問題
3.2非線性輸入轉換
3.3核方法
3.4可訓練的映射函數
第4章前饋神經網絡
4.1一個關於大腦的比喻
4.2數學表示
4.3表達能力
4.4常見的非線性函數
4.5損失函數
4.6正則化與丟棄法
4.7相似和距離層
4.8嵌入層
第5章神經網絡訓練
5.1計算圖的抽象概念
5.1.1前向計算
5.1.2反向計算（導數、反向傳播）
5.1.3軟件
5.1.4實現流程
5.1.5網絡構成
5.2實踐經驗
5.2.1優化算法的選擇
5.2.2初始化
5.2.3重啟與集成
5.2.4梯度消失與梯度爆炸
5.2.5飽和神經元與死神經元
5.2.6隨機打亂
5.2.7學習率
5.2.8minibatch
第二部分處理自然語言數據
第6章文本特徵構造
6.1NLP分類問題中的拓撲結構
6.2NLP問題中的特徵
6.2.1直接可觀測特徵
6.2.2可推斷的語言學特徵
6.2.3核心特徵與組合特徵
6.2.4n元組特徵
6.2.5分佈特徵
第7章NLP特徵的案例分析
7.1文本分類：語言識別
7.2文本分類：主題分類
7.3文本分類：作者歸屬
7.4上下文中的單詞：詞性標注
7.5上下文中的單詞：命名實體識別
7.6上下文中單詞的語言特徵：介詞詞義消歧
7.7上下文中單詞的關係：弧分解分析
第8章從文本特徵到輸入
8.1編碼分類特徵
8.1.1獨熱編碼
8.1.2稠密編碼（特徵嵌入）
8.1.3稠密向量與獨熱表示
8.2組合稠密向量
8.2.1基於窗口的特徵
8.2.2可變特徵數目：連續詞袋
8.3獨熱和稠密向量間的關係
8.4雜項
8.4.1距離與位置特徵
8.4.2補齊、未登錄詞和詞丟棄
8.4.3特徵組合
8.4.4向量共享
8.4.5維度
8.4.6嵌入的詞表
8.4.7網絡的輸出
8.5例子：詞性標注
8.6例子：弧分解分析
第9章語言模型
9.1語言模型任務
9.2語言模型評估：困惑度
9.3語言模型的傳統方法
9.3.1延伸閱讀
9.3.2傳統語言模型的限制
9.4神經語言模型
9.5使用語言模型進行生成
9.6副產品：詞的表示
第10章預訓練的詞表示
10.1隨機初始化
10.2有監督的特定任務的預訓練
10.3無監督的預訓練
10.4詞嵌入算法
10.4.1分布式假設和詞表示
10.4.2從神經語言模型到分布式表示
10.4.3詞語聯繫
10.4.4其他算法
10.5上下文的選擇
10.5.1窗口方法
10.5.2句子、段落或文檔
10.5.3句法窗口
10.5.4多語種
10.5.5基於字符級別和子詞的表示
10.6處理多字單元和字變形
10.7分布式方法的限制
第11章使用詞嵌入
11.1詞向量的獲取
11.2詞的相似度
11.3詞聚類
11.4尋找相似詞
11.5同中選異
11.6短文檔相似度
11.7詞的類比
11.8改裝和映射
11.9實用性和陷阱
第12章案例分析:一種用於句子意義推理的前饋結構
12.1自然語言推理與 SNLI數據集
12.2文本相似網絡
第三部分特殊的結構
第13章n元語法探測器：卷積神經網絡
13.1基礎卷積池化
13.1.1文本上的一維卷積
13.1.2向量池化
13.1.3變體
13.2其他選擇：特徵哈希
13.3層次化卷積
第14章循環神經網絡：序列和棧建模
14.1RNN抽象描述
14.2RNN的訓練
14.3RNN常見使用模式
14.3.1接收器
14.3.2編碼器
14.3.3傳感器
14.4雙向RNN
14.5堆疊RNN
14.6用於表示棧的RNN
14.7文獻閱讀的注意事項
第15章實際的循環神經網絡結構
15.1作為RNN的CBOW
15.2簡單RNN
15.3門結構
15.3.1長短期記憶網絡
15.3.2門限循環單元
15.4其他變體
15.5應用到RNN的丟棄機制
第16章通過循環網絡建模
16.1接收器
16.1.1情感分類器
16.1.2主謂一致語法檢查
16.2作為特徵提取器的RNN
16.2.1詞性標注
16.2.2RNNCNN文本分類
16.2.3弧分解依存句法分析
第17章條件生成
17.1RNN生成器
17.2條件生成（編碼器解碼器）
17.2.1序列到序列模型
17.2.2應用
17.2.3其他條件上下文
17.3無監督的句子相似性
17.4結合注意力機制的條件生成
17.4.1計算複雜性
17.4.2可解釋性
17.5自然語言處理中基於注意力機制的模型
17.5.1機器翻譯
17.5.2形態屈折
17.5.3句法分析
第四部分其他主題
第18章用遞歸神經網絡對樹建模
18.1形式化定義
18.2擴展和變體
18.3遞歸神經網絡的訓練
18.4一種簡單的替代――線性化樹
18.5前景
第19章結構化輸出預測
19.1基於搜索的結構化預測
19.1.1基於線性模型的結構化預測
19.1.2非線性結構化預測
19.1.3概率目標函數（CRF）
19.1.4近似搜索
19.1.5重排序
19.1.6參考閱讀
19.2貪心結構化預測
19.3條件生成與結構化輸出預測
19.4