基於混合方法的自然語言處理：神經網絡模型與知識圖譜的結合（簡體書）

IBM研究員Ken Barker及谷歌知識圖譜Denny Vrandecic作序推薦，介紹神經網絡和知識圖譜的結合在NLP中的應用

對於自然語言處理而言，基於神經網絡和基於知識圖譜這兩種方法各有千秋。神經網絡方法非常強大，並一直處於當前NLP排行榜的頂端位置。然而，它們也有軟肋，比如訓練資料的數量和質量，模型與人類如何使用語言以及人類對世界的理解之間的聯繫等。另外，基於結構化知識表示的自然語言處理系統雖然不能完全解決這些問題，但往往比較適合解決其中的一些問題。然而，它們可能需要相當多的知識工程工作，以持續組織這樣的結構化表示。
本書的主要前提是，資料驅動的方法和基於知識圖譜的方法可以相得益彰，取長補短。儘管許多人提倡在NLP和人工智能的許多其他領域結合應用這兩種範式，但事實是，直到現在，這種結合還不常見，原因可能是缺乏實現這一目標的原則性方法和指導方針，也可能是缺乏令人信服的成功案例。
而人工智能的研究，特別是在自然語言處理和知識圖譜領域，已經達到了成熟的水準，並滲透到其他領域，引起了深刻的社會和商業變革。因此，本書特別側重於討論實踐方面的主題，旨在為感興趣的讀者提供必要的手段，使讀者能夠掌握將神經網絡方法和基於知識圖譜的方法結合到自然語言處理中的實踐方法，建立彌合兩者之間差距的橋樑。
總的來說，對於對神經網絡和基於知識圖譜的方法在自然語言處理領域的結合感興趣的讀者而言，本書非常有用。有結構化知識表示背景的讀者，例如有語義網、知識獲取、知識表示和推理社區方面的背景，總的來說也就是那些基於邏輯方法研究人工智能的讀者，可以在本書中找到實用指南。同樣，我們希望本書對那些主要背景在機器學習和深度學習領域的讀者同樣有用，他們可能正在尋找利用結構化知識庫優化NLP下遊結果的方法。
因此，來自上述領域的工業界和學術界的讀者將在本書中找到混合自然語言處理的實用資源。在本書中，我們將展示如何利用互補表示，這些表示源於對非結構化文本語料庫以及知識圖譜中明確描述的實體和關係的分析，整合這些表示，並使用由此產生的特徵來有效地解決不同領域的自然語言處理任務。在本書中，讀者可以在示例、練習以及關鍵領域的實際應用（如虛假信息分析和科學文獻的機器閱讀理解）上使用實際的可執行代碼。
在本書中，對於無論是基於知識圖譜、神經網絡還是基於其他形式的機器學習的自然語言處理方法、技術和工具箱，我們並沒有提供詳盡的說明。我們認為這些內容已經在參考文獻中得到了充分的闡述。相反，我們專注於讀者真正需要掌握的主要構建模組，以便讀者能夠吸收和應用本書的主要思想。事實上，本書所有章節都是獨立的，一般讀者在理解時不會遇到太大困難。因此，本書可以作為一本簡潔而富有洞察力的手冊，專注於協調基於知識圖譜的方法和神經網絡方法在自然語言處理中應用的主要挑戰上。我們希望你會喜歡。
本書目標
本書為讀者提供了一個自然語言處理的混合方法的原則性實用指南，主要涉及神經網絡方法和知識圖譜的結合。本書解決了一些與混合自然語言處理系統相關的問題，包括：
神經網絡方法如何以具有成本效益和可實踐的方式擴展像知識圖譜一樣預先捕獲顯式表示的知識？反過來又如何呢？
結合神經網絡和基於知識圖譜的方法的自然語言處理混合方法的主要構建模組和技術是什麼？
如何將神經網絡表示與結構化的、基於知識圖譜的表示無縫集成？
這種混合方法能否產生更好的知識圖譜和神經網絡表示？
如何檢查和評估混合方法所產生的混合表示的質量？
混合方法對NLP任務的性能有什麼影響？對其他資料形式（比如圖像或圖表）的處理有什麼影響以及其相互作用有什麼影響？
基於以上問題，本書首先介紹了主要的構建模組，然後描述了它們如何相互緊密地關聯，進而支援實際自然語言處理應用程式的有效實現。為了說明本書描述的思想，我們包含了一套全面的實驗和練習，涉及可以根據任務領域和語料庫進行選擇的不同算法。
本書各章概述
接下來，我們介紹本書的章節結構安排：
第1章介紹本書的創作靈感及在當前的自然語言處理學科背景下本書的總體目標。
第2章介紹單詞、語義/概念和知識圖譜嵌入，它們是生成混合自然語言處理系統的主要構建模組。我們探討各種不同的方法：簡單的詞嵌入學習、從語料庫和語義網絡中學習語義和概念嵌入，以及根本不使用語料庫直接從知識圖譜中學習概念嵌入的方法。
第3章重點研究詞嵌入，並根據所使用的方法和語料庫來分析其中包含的信息。除了預訓練的靜態嵌入，重點放在神經網絡語言模型和上下文的嵌入上。
第4章引導讀者通過一個可執行的Jupyter Notebook，重點介紹一個特定的詞嵌入算法，如Swivel[164]及其實現，以說明如何方便地從文本語料庫中生成詞嵌入。
第5章與第4章的方式類似，本章利用一個像WordNet這樣的現有知識圖譜，利用HolE等特定的知識圖譜算法生成圖譜嵌入，還提供了一個可執行的Jupyter Notebook。
第6章提出一種利用知識圖譜從文本語料庫中聯合學習單詞和概念嵌入的方法Vecsigrafo[39]。與第5章中描述的方法不同，Vecsigrafo不僅從知識圖譜中學習，也從訓練語料庫中學習。我們將看到這種方法的一些優

推薦序一
推薦序二
譯者序
前言
第一部分　預備知識和構建模組
第1章　混合自然語言處理簡介 2
1.1　知識圖譜、嵌入和語言模型簡史 2
1.2　自然語言處理中知識圖譜和神經網絡方法的結合 4
第2章　單詞、意義和知識圖譜嵌入 6
2.1　引言 6
2.2　分散式單詞表示 6
2.3　詞嵌入 7
2.4　意義和概念嵌入 8
2.5　知識圖譜嵌入 9
2.6　本章小結 13
第3章　理解詞嵌入和語言模型 14
3.1　引言 14
3.2　語言模型 15
3.2.1　統計語言模型 15
3.2.2　神經語言模型 16
3.3　NLP遷移學習的預訓練模型微調 16
3.3.1　ELMo 16
3.3.2　GPT 17
3.3.3　BERT 17
3.4　機器人檢測中預訓練語言模型的微調 18
3.4.1　實驗結果與討論 21
3.4.2　使用Transformer庫對BERT進行微調 21
3.5　本章小結 27
第4章　從文本中捕獲意義作為詞嵌入 28
4.1　引言 28
4.2　下載一個小文本語料庫 29
4.3　一種學習詞嵌入的算法 29
4.4　使用Swivel prep生成共現矩陣 30
4.5　從共現矩陣中學習嵌入 31
4.6　讀取並檢查存儲的二進位嵌入 32
4.7　練習：從古騰堡工程中創建詞嵌入 33
4.7.1　下載語料庫並進行預處理 33
4.7.2　學習嵌入 34
4.7.3　檢查嵌入 34
4.8　本章小結 34
第5章　捕獲知識圖譜嵌入 35
5.1　引言 35
5.2　知識圖譜嵌入 35
5.3　為WordNet創建嵌入 37
5.3.1　選擇嵌入算法：HolE 37
5.3.2　將WordNet知識圖譜轉換為所需輸入 39
5.3.3　學習嵌入 44
5.3.4　檢查嵌入結果 44
5.4　練習 47
5.4.1　練習：在自己的知識圖譜上訓練嵌入 47
5.4.2　練習：檢查WordNet 3.0的預計算嵌入 47
5.5　本章小結 48
第二部分　神經網絡與知識圖譜的結合
第6章　從文本語料庫、知識圖譜和語言模型中構建混合表達 50
6.1　引言 50
6.2　準備工作和說明 51
6.3　Vecsigrafo的概念及構建方式 51
6.4　實現 53
6.5　訓練Vecsigrafo 54
6.5.1　標記化和詞義消歧 56
6.5.2　詞彙表和共現矩陣 58
6.5.3　從共現矩陣學習嵌入 62
6.5.4　檢查嵌入 64
6.6　練習：探索一個預先計算好的Vecsigrafo 66
6.7　從Vecsigrafo到Transigrafo 68
6.7.1　安裝設置 70
6.7.2　訓練Transigrafo 71
6.7.3　擴展知識圖譜的覆蓋範圍 73
6.7.4　評估 Transigrafo 73
6.7.5　檢查Transigrafo中的義項嵌入 75
6.7.6　探索Transigrafo嵌入的穩定性 77
6.7.7　額外的反思 81
6.8　本章小結 81
第7章　質量評估 82
7.1　引言 82
7.2　評估方法的概述 83
7.3　練習1：評估單詞和概念嵌入 84
7.3.1　可視化探索 84
7.3.2　內在評估 85
7.3.3　詞彙預測圖 87
7.3.4　外在評估 90
7.4　練習2：評價通過嵌入獲取的關係知識 90
7.4.1　下載embrela項目 91
7.4.2　下載生成的資料集 91
7.4.3　載入待評估的嵌入 92
7.4.4　學習模型 94
7.4.5　分析模型的結果 94
7.4.6　數據預處理：合並且增加欄位 96
7.4.7　計算範圍閾值和偏差資料集檢測 97
7.4.8　發現統計上有意義的模型 99
7.4.9　關聯式知識的評估結論 101
7.5　案例研究：評估和對比Vecsigrafo嵌入 101
7.5.1　比較研究 101
7.5.2　討論 111
7.6　本章小結 114
第8章　利用Vecsigrafo捕獲詞法、語法和語義信息 116
8.1　引言 116
8.2　方法 118
8.2.1　Vecsigrafo：基於語料的單詞–概念嵌入 118
8.2.2　聯合嵌入空間 119
8.2.3　嵌入的評估 119
8.3　評估 120
8.3.1　資料集 121
8.3.2　單詞相似度 121
8.3.3　類比推理 124
8.3.4　單詞預測 125
8.3.5　科學文檔的分類 127
8.4　討論 129
8.5　練習：使用surface form對科學文獻進行分類 130
8.5.1　導入所需的庫 130
8.5.2　下載surface form的詞嵌入和SciGraph論文 131
8.5.3　讀取並準備分類資料集 131
8.5.4　surface form的詞嵌入 133
8.5.5　創建嵌入層 134
8.5.6　訓練一個卷積神經網絡 134
8.6　本章小結 136
第9章　知識圖譜的詞嵌入空間對齊與應用 137
9.1　引言 137
9.2　概述及可能的應用 138
9.2.1　知識圖譜的補全 139
9.2.2　超越多語言性：跨模態的詞嵌入 139
9.3　詞嵌入空間的對齊技術 140
9.3.1　線性對齊 140
9.3.2　非線性對齊 146
9.4　練習：尋找古代英語和現代英語的對應 146
9.4.1　下載小型文本語料庫 146
9.4.2　學習基於老莎士比亞語料庫的Swivel詞嵌入 147
9.4.3　在WordNet之上載入UMBC的Vecsigrafo 149
9.4.4　練習的結論 149
9.5　本章小結 150
第三部分　應用
第10章　一種虛假信息分析的混合方法 152
10.1　引言 152
10.2　虛假信息檢測 153
10.2.1　定義和背