自然語言處理從入門到實戰（簡體書）

雖說自然語言處理（Natural Language Processing, NLP）技術的歷史並不悠久，卻有著自身成熟的理論體系，覆蓋多門學科，比如數學、計算機科學、語言學、認知心理學等基礎知識，同時它又是一門應用性極強的技術，在很多領域都具備落地性。這種理論加實際操作能力的要求對初學者形成了雙重困難。通俗地闡述基本的、必備的理論知識，克服困難，使讀者能夠快速從容地上手實際項目，成為一名初級自然語言處理工程師，這是本書的目標。
本書濃縮編者多年的知識積累和實務工作經驗奉獻於讀者朋友。書中采用大量的圖示與代碼案例分析，將枯燥復雜的理論知識用平實的語言娓娓道來，讓讀者在熟悉的場景中能夠動態地理解專業知識。在具體內容安排上，拋開深奧的理論化條文，除了必備的基礎理論、知識介紹外，不貪多求全，強調實務操作、快速上手——從如何對文本數據進行預處理、基礎分析到實用的自然語言處理實踐任務如文本摘要生成、聊天系統等，讓讀者循序漸進地入門系統的自然語言處理技術。隨著本書的講解，讀者的自然語言處理學習之旅一定會成為一番難忘的快樂體驗。
本書特色
1內容安排實用實在、詳略得當，符合初學者的認知規律
本書內容涵蓋了從自然語言數據處理、基礎任務（如分詞、詞性標注、命名實體識別等）到實戰性任務（如文本分類、文本摘要、聊天系統等）所必須掌握的知識，從內容結構上非常注重知識的實用性和可操作性。必須掌握的細節處不吝筆墨，輔以圖表以及代碼加深讀者印象；對僅需要大致了解處簡要介紹一些相關理論及前沿動態。這樣的安排使得初學者能夠掌握必備知識，了解並思考學術前沿及行業應用，符合初學者對自然語言處理知識的認知規律。
2行文簡單直白，以實例引導理論，特別適合初學者閱讀
本書行文簡單直白，全程都有相應的實例作為引導，對於比較難的內容盡量以舉例的形式幫助讀者理解。在介紹這些知識時，並不是教條式的，填鴨式的講解，而是盡量以平實化的語言講解相關理論，猶如幫助一位老朋友，一步步地成為初級自然語言處理工程師。
3設置思考題以及項目代碼，激發初學者的熱情與興趣
本書的每一章都設置有相應的思考題，並在附錄中提供了相關參考答案；讀者可以自測對章節內容的學習的掌握程度。此外，本書章節介紹的代碼實例，相關的電子版本會隨書贈予，使讀者能夠進行實踐操作，更加深入地理解知識。這些實踐內容是學習自然語言處理過程中必不可少的環節，通過思考題以及代碼的操作練習，能夠使讀者朋友快速地入門自然語言處理。



自然語言處理從入門到實戰





本書內容及體系結構




第一部分自然語言處理核心技術


第1章自然語言處理初探
本章主要為讀者朋友介紹，在這短短不到一百年的時間裡，自然語言處理早期的發展歷程，近些年突飛猛進的發展，以及自然語言處理的基本任務，在各行各業中的應用和基本的工具框架。

第2章自然語言處理與機器學習

本章主要介紹一些常見機器學習模型的原理、對比分析各類機器學習模型的優缺點以及機器學習工具庫的使用。

第3章自然語言處理與神經網絡

本章將為大家揭開深度學習的神秘面紗，主要介紹神經網絡的基本結構以及一些常見的訓練過程中的優化方案。




第二部分自然語言處理基本任務

第4章文本預處理

本章主要介紹文本預處理的基礎項目以及相關工具、關鍵詞提取的一些常用的方法以及數據不平衡的處理方法。

第5章文本的表示技術

本章將縱向梳理文本表示技術的發展脈絡，分析各類表示方法的優缺點。

第6章序列標注
本章將為大家介紹一些常見的序列標注場景以及不同場景下的應用模型。

第7章關係抽取
本章主要講解關係抽取的主要方法、前沿研究以及相關的應用框架。



第三部分自然語言處理高級任務


第8章知識圖譜
本章主要介紹知識圖譜的相關概念、技術、應用等。

第9章文本分類
本章主要介紹基本的文本分類方法以及相關工具的應用。

第10章文本摘要
本章主要介紹自動文本摘要中的兩大類型，抽取式（extractive）摘要和生成式（abstractive）摘要，並且通過代碼搭建演示兩個簡單版本的抽取式摘要生成器。

第11章機器翻譯
本章主要介紹機器翻譯的歷史、相關技術原理、現狀與不足等，通過本章的學習，讀者將了解機器翻譯的源起、統計機器翻譯的原理、神經機器翻譯的原理以及常見的改進版本的神經機器翻譯模型。

第12章聊天系統

本章節主要介紹聊天系統的基本類型及應用、關鍵技術，並且用代碼演示開發一款簡單的閑聊系統。

第四部分自然語言處理求職
第13章自然語言處理技術的現在、未來及擇業

最後一章為有志於入門或從事自然語言處理的讀者提供更多的、與自然語言處理相關的常識性及實用性內容，比如學術界、工業界等方面的研究現狀、未來發展熱點、如何準備面試等。


本書讀者物件
 有一定的編程及機器學習基礎，想入門自然語言處理的讀者
 因為興趣，想系統性地了解自然語言處理的讀者
 準備求職自然語言處理初級崗位的讀者
雖說自然語言處理（Natural Language Processing, NLP）技術的歷史並不悠久，卻有著自身成熟的理論體系，覆蓋多門學科，比如數學、計算機科學、語言學、認知心理學等基礎知識，同時它又是一門應用性極強的技術，在很多領域都具備落地性。這種理論加實際操作能力的要求對初學者形成了雙重困難。通俗地闡述基本的、必備的理論知識，克服困難，使讀者能夠快速從容地上手實際項目，成為一名初級自然語言處理工程師，這是本書的目標。
本書濃縮編者多年的知識積累和實務工作經驗奉獻於讀者朋友。書中采用大量的圖示與代碼案例分析，將枯燥復雜的理論知識用平實的語言娓娓道來，讓讀者在熟悉的場景中能夠動態地理解專業知識。在具體內容安排上，拋開深奧的理論化條文，除了必備的基礎理論、知識介紹外，不貪多求全，強調實務操作、快速上手——從如何對文本數據進行預處理、基礎分析到實用的自然語言處理實踐任務如文本摘要生成、聊天系統等，讓讀者循序漸進地入門系統的自然語言處理技術。隨著本書的講解，讀者的自然語言處理學習之旅一定會成為一番難忘的快樂體驗。
本書特色
1內容安排實用實在、詳略得當，符合初學者的認知規律
本書內容涵蓋了從自然語言數據處理、基礎任務（如分詞、詞性標注、命名實體識別等）到實戰性任務（如文本分類、文本摘要、聊天系統等）所必須掌握的知識，從內容結構上非常注重知識的實用性和可操作性。必須掌握的細節處不吝筆墨，輔以圖表以及代碼加深讀者印象；對僅需要大致了解處簡要介紹一些相關理論及前沿動態。這樣的安排使得初學者能夠掌握必備知識，了解並思考學術前沿及行業應用，符合初學者對自然語言處理知識的認知規律。
2行文簡單直白，以實例引導理論，特別適合初學者閱讀
本書行文簡單直白，全程都有相應的實例作為引導，對於比較難的內容盡量以舉例的形式幫助讀者理解。在介紹這些知識時，並不是教條式的，填鴨式的講解，而是盡量以平實化的語言講解相關理論，猶如幫助一位老朋友，一步步地成為初級自然語言處理工程師。
3設置思考題以及項目代碼，激發初學者的熱情與興趣
本書的每一章都設置有相應的思考題，並在附錄中提供了相關參考答案；讀者可以自測對章節內容的學習的掌握程度。此外，本書章節介紹的代碼實例，相關的電子版本會隨書贈予，使讀者能夠進行實踐操作，更加深入地理解知識。這些實踐內容是學習自然語言處理過程中必不可少的環節，通過思考題以及代碼的操作練習，能夠使讀者朋友快速地入門自然語言處理。



自然語言處理從入門到實戰





前言




本書內容及體系結構




第一部分自然語言處理核心技術


第1章自然語言處理初探
本章主要為讀者朋友介紹，在這短短不到一百年的時間裡，自然語言處理早期的發展歷程，近些年突飛猛進的發展，以及自然語言處理的基本任務，在各行各業中的應用和基本的工具框架。

第2章自然語言處理與機器學習

本章主要介紹一些常見機器學習模型的原理、對比分析各類機器學習模型的優缺點以及機器學習工具庫的使用。

第3章自然語言處理與神經網絡

本章將為大家揭開深度學習的神秘面紗，主要介紹神經網絡的基本結構以及一些常見的訓練過程中的優化方案。




第二部分自然語言處理基本任務

第4章文本預處理

本章主要介紹文本預處理的基礎項目以及相關工具、關鍵詞提取的一些常用的方法以及數據不平衡的處理方法。

第5章文本的表示技術

本章將縱向梳理文本表示技術的發展脈絡，分析各類表示方法的優缺點。

第6章序列標注
本章將為大家介紹一些常見的序列標注場景以及不同場景下的應用模型。

第7章關係抽取
本章主要講解關係抽取的主要方法、前沿研究以及相關的應用框架。



第三部分自然語言處理高級任務


第8章知識圖譜
本章主要介紹知識圖譜的相關概念、技術、應用等。

第9章文本分類
本章主要介紹基本的文本分類方法以及相關工具的應用。

第10章文本摘要
本章主要介紹自動文本摘要中的兩大類型，抽取式（extractive）摘要和生成式（abstractive）摘要，並且通過代碼搭建演示兩個簡單版本的抽取式摘要生成器。

第11章機器翻譯
本章主要介紹機器翻譯的歷史、相關技術原理、現狀與不足等，通過本章的學習，讀者將了解機器翻譯的源起、統計機器翻譯的原理、神經機器翻譯的原理以及常見的改進版本的神經機器翻譯模型。

第12章聊天系統

本章節主要介紹聊天系統的基本類型及應用、關鍵技術，並且用代碼演示開發一款簡單的閑聊系統。

第四部分自然語言處理求職
第13章自然語言處理技術的現在、未來及擇業

最後一章為有志於入門或從事自然語言處理的讀者提供更多的、與自然語言處理相關的常識性及實用性內容，比如學術界、工業界等方面的研究現狀、未來發展熱點、如何準備面試等。


本書讀者物件
 有一定的編程及機器學習基礎，想入門自然語言處理的讀者
 因為興趣，想系統性地了解自然語言處理的讀者
 準備求職自然語言處理初級崗位的讀者

目錄








第一部分了解自然語言處理


第1章自然語言處理初探
11自然語言處理概述
111自然語言處理早期發展史
112新世紀的裡程碑事件
12自然語言處理的挑戰
121詞義消歧
122指代消解
123上下文理解
124語義與語用的不對等
13自然語言處理的應用領域
131醫療
132教育
133媒體
134金融
135法律
14自然語言處理的常見工具
141基礎任務工具包
142科學計算及機器學習框架
143深度學習框架
本章小結
思考題
第二部分自然語言處理核心技術

第2章自然語言處理與機器學習
21邏輯回歸
211邏輯回歸基本原理
212邏輯回歸在實踐中的注意要點
213邏輯回歸的優勢與不足
22樸素貝葉斯
221樸素貝葉斯基本原理
222樸素貝葉斯的類型
223樸素貝葉斯的優勢與不足
23Kmeans算法
231Kmeans算法基本原理
232Kmeans算法實踐
233Kmeans算法的優勢與不足
24決策樹
241決策樹的屬性劃分
242隨機森林的基本原理
243隨機森林在應用中的注意細節
25主成分分析
251梯度上升法解PCA
252協方差矩陣解PCA
253實戰PCA
本章小結
思考題

第3章自然語言處理與神經網絡
31神經網絡初探
311神經元結構
312常見的激活函數
313誤差反向傳播算法
32常見的神經網絡結構
321多層感知機
322循環神經網絡的基本原理
323卷積神經網絡的基本原理
324神經網絡的優勢與不足
33神經網絡算法的改進與提升
331防止過擬合的方法
332訓練速度與精度的提高方法
333注意力機制
本章小結
思考題
第三部分自然語言處理基本任務

第4章文本預處理
41文本預處理的基礎項目
411文本規範化
412語義分析
413分詞
414文本糾錯
42關鍵詞提取
421基於特征統計
422基於主題模型
423基於圖模型
43數據不平衡的處理
431常見方法
432數據不平衡問題實戰
本章小結
思考題

第5章文本的表示技術
51詞袋模型
511基於頻次的詞袋模型
512基於TFIDF的詞袋模型
513相關工具的使用
52Word2Vec詞向量
521Word2Vec的基本原理
522Word2Vec模型細節及代碼演示
523應用工具訓練Word2Vec
53改進後的詞表征
531GloVe模型
532FastText模型
533ELMo模型
54句向量
541基於詞向量的平均
542沿用Word2Vec思想
543有監督方式
本章小結
思考題

第6章序列標注
61序列標注基礎
611序列標注的應用場景
612基線方式
613序列標注任務的難點
62基於概率圖的模型
621隱馬爾科夫模型（HMM）
622最大熵馬爾科夫模型（MEMM）
623條件隨機場模型（CRF）
624天氣預測實例
63基於深度學習的方式
631數據表征形式
632序列處理模型
本章小結
思考題

第7章關係抽取
71關係抽取基礎
711關係抽取概述
712關係抽取的主要方法
713深度學習與關係抽取
714強化學習與關係抽取
72基於半監督的關係抽取模式：Snowball系統
721Patterns及Tuples的生成
722Patterns及Tuples的評估
723Snowball的實現細節
73關係抽取工具——DeepDive
731DeepDive概述
732DeepDive工作流程
733概率推斷與因子圖
本章小結
思考題
第四部分自然語言處理高級任務

第8章知識圖譜
81知識圖譜基本概念
811從語義網絡到知識圖譜
812知識的結構化、存儲及查詢
813幾個開源的知識圖譜
82知識圖譜的關鍵構建技術
821本體匹配
822實體鏈接
823知識推理
83知識圖譜應用
831反欺詐
832個性化推薦
833知識庫問答
本章小結
思考題

第9章文本分類
91文本分類的常見方法
911機器學習
912模型融合
913深度學習
92文本分類的不同應用場景
921二分類
922多分類
923多標簽多分類
93案例：搭建一款新聞主題分類器
931數據預處理
932訓練與預測
933改進
本章小結
思考題

第10章文本摘要
101抽取式摘要
1011傳統方法
1012基於深度學習的方法
1013抽取式摘要的訓練數據問題
102生成式摘要
1021基礎模型
1022前沿模型中的技巧
1023強化學習與生成式摘要
103案例：搭建網球新聞摘要生成器
1031基於詞頻統計的摘要生成器
1032基於圖模型的摘要生成器
1033結果分析
本章小結
思考題

第11章機器翻譯
111傳統機器翻譯
1111源起
1112基於規則
1113基於大規模語料
112統計機器翻譯
1121相關流派
1122基於信源信道的統計機器翻譯
1123案例：外星語的翻譯實戰
113神經機器翻譯
1131基本原理
1132改進機制
1133前沿與挑戰
本章小結
思考題

第12章聊天系統
121聊天系統的類型
1211閑聊式機器人
1212知識問答型機器人
1213任務型聊天機器人
122聊天系統的關鍵技術
1221檢索技術
1222意圖識別和詞槽填充
1223對話管理
1224強化學習與多輪對話
123案例：閑聊機器人實戰
1231技術概要
1232基本配置及數據預處理
1233閑聊機器人模型的搭建
1234模型訓練、預測以及優化
本章小結
思考題
第五部分自然語言處理求職

第13章自然語言處理技術的現在、未來及擇業
131自然語言處理組織及人才需求介紹
1311學術界
1312工業界
1313人才需求現狀
132未來與自然語言處理
1321自然語言處理熱點技術方向
1322自然語言處理的應用暢想
1323自然語言處理帶來的行業衝擊
133面試題
1331數據結構與算法
1332數學基礎
1333機器學習與深度學習
1334自然語言處理專業
1335實際問題解決及技術領域見解
本章小結
思考題


附錄A思考題參考答案

附錄B面試題答案目錄








第一部分了解自然語言處理


第1章自然語言處理初探
11自然語言處理概述
111自然語言處理早期發展史
112新世紀的裡程碑事件
12自然語言處理的挑戰
121詞義消歧
122指代消解
123上下文理解
124語義與語用的不對等
13自然語言處理的應用領域
131醫療
132教育
133媒體
134金融
135法律
14自然語言處理的常見工具
141基礎任務工具包
142科學計算及機器學習框架
143深度學習框架
本章小結
思考題
第二部分自然語言處理核心技術

第2章自然語言處理與機器學習
21邏輯回歸
211邏輯回歸基本原理
212邏輯回歸在實踐中的注意要點
213邏輯回歸的優勢與不足
22樸素貝葉斯
221樸素貝葉斯基本原理
222樸素貝葉斯的類型
223樸素貝葉斯的優勢與不足
23Kmeans算法
231Kmeans算法基本原理
232Kmeans算法實踐
233Kmeans算法的優勢與不足
24決策樹
241決策樹的屬性劃分
242隨機森林的基本原理
243隨機森林在應用中的注意細節
25主成分分析
251梯度上升法解PCA
252協方差矩陣解PCA
253實戰PCA
本章小結
思考題

第3章自然語言處理與神經網絡
31神經網絡初探
311神經元結構
312常見的激活函數
313誤差反向傳播算法
32常見的神經網絡結構
321多層感知機
322循環神經網絡的基本原理
323卷積神經網絡的基本原理
324神經網絡的優勢與不足
33神經網絡算法的改進與提升
331防止過擬合的方法
332訓練速度與精度的提高方法
333注意力機制
本章小結
思考題
第三部分自然語言處理基本任務

第4章文本預處理
41文本預處理的基礎項目
411文本規範化
412語義分析
413分詞
414文本糾錯
42關鍵詞提取
421基於特征統計
422基於主題模型
423基於圖模型
43數據不平衡的處理
431常見方法
432數據不平衡問題實戰
本章小結
思考題

第5章文本的表示技術
51詞袋模型
511基於頻次的詞袋模型
512基於TFIDF的詞袋模型
513相關工具的使用
52Word2Vec詞向量
521Word2Vec的基本原理
522Word2Vec模型細節及代碼演示
523應用工具訓練Word2Vec
53改進後的詞表征
531GloVe模型
532FastText模型
533ELMo模型
54句向量
541基於詞向量的平均
542沿用Word2Vec思想
543有監督方式
本章小結
思考題

第6章序列標注
61序列標注基礎
611序列標注的應用場景
612基線方式
613序列標注任務的難點
62基於概率圖的模型
621隱馬爾科夫模型（HMM）
622最大熵馬爾科夫模型（MEMM）
623條件隨機場模型（CRF）
624天氣預測實例
63基於深度學習的方式
631數據表征形式
632序列處理模型
本章小結
思考題

第7章關係抽取
71關係抽取基礎
711關係抽取概述
712關係抽取的主要方法
713深度學習與關係抽取
714強化學習與關係抽取
72基於半監督的關係抽取模式：Snowball系統
721Patterns及Tuples的生成
722Patterns及Tuples的評估
723Snowball的實現細節
73關係抽取工具——DeepDive
731DeepDive概述
732DeepDive工作流程
733概率推斷與因子圖
本章小結
思考題
第四部分自然語言處理高級任務

第8章知識圖譜
81知識圖譜基本概念
811從語義網絡到知識圖譜
812知識的結構化、存儲及查詢
813幾個開源的知識圖譜
82知識圖譜的關鍵構建技術
821本體匹配
822實體鏈接
823知識推理
83知識圖譜應用
831反欺詐
832個性化推薦
833知識庫問答
本章小結
思考題

第9章文本分類
91文本分類的常見方法
911機器學習
912模型融合
913深度學習
92文本分類的不同應用場景
921二分類
922多分類
923多標簽多分類
93案例：搭建一款新聞主題分類器
931數據預處理
932訓練與預測
933改進
本章小結
思考題

第10章文本摘要
101抽取式摘要
1011傳統方法
1012基於深度學習的方法
1013抽取式摘要的訓練數據問題
102生成式摘要
1021基礎模型
1022前沿模型中的技巧
1023強化學習與生成式摘要
103案例：搭建網球新聞摘要生成器
1031基於詞頻統計的摘要生成器
1032基於圖模型的摘要生成器
1033結果分析
本章小結
思考題

第11章機器翻譯
111傳統機器翻譯
1111源起
1112基於規則
1113基於大規模語料
112統計機器翻譯
1121相關流派
1122基於信源信道的統計機器翻譯
1123案例：外星語的翻譯實戰
113神經機器翻譯
1131基本原理
1132改進機制
1133前沿與挑戰
本章小結
思考題

第12章聊天系統
121聊天系統的類型
1211閑聊式機器人
1212知識問答型機器人
1213任務型聊天機器人
122聊天系統的關鍵技術
1221檢索技術
1222意圖識別和詞槽填充
1223對話管理
1224強化學習與多輪對話
123案例：閑聊機器人實戰
1231技術概要
1232基本配置及數據預處理
1233閑聊機器人模型的搭建
1234模型訓練、預測以及優化
本章小結
思考題
第五部分自然語言處理求職

第13章自然語言處理技術的現在、未來及擇業
131自然語言處理組織及人才需求介紹
1311學術界
1312工業界
1313人才需求現狀
132未來與自然語言處理
1321自然語言處理熱點技術方向
1322自然語言處理的應用暢想
1323自然語言處理帶來的行業衝擊
133面試題
1331數據結構與算法
1332數學基礎
1333機器學習與深度學習
1334自然語言處理專業
1335實際問題解決及技術領域見解
本章小結
思考題


附錄A思考題參考答案

附錄B面試題答案