會話式AI：自然語言處理與人機交互（簡體書）

內容簡介這是一部講解如何基於NLP技術和人機交互技術實現聊天機器人的著作。
兩位作者聊天機器人領域均有多年大型項目的實戰經驗，這本書不僅講解了NLP和人機交互的核心技術，而且從技術、算法、實戰3個維度講解聊天機器人的原理、實現與工程實踐。
本書有3個特點：前瞻性強，專注於NLP和人機交互的前沿技術，以及會話式AI技術在熱門場景中的工程實踐。
實戰性強，每章都提供實戰代碼，大部分代碼簡單修改後便可在實際場景中使用；數據集並非簡單構造，而是具有真實性。
對比性強，結合應用場景，對比不同技術的優劣，既能指導讀者進行技術選型，又能加深讀者對不同技術的理解。
本書一共12章，分為三大部分：第壹部分 基礎篇(第1-2章)首先系統介紹了人機交互技術和聊天機器人技術的必備基礎，然後講解了深度學習工具的使用以及NLP開發環境的搭建第二部分 算法篇(第3-8章)這部分是核心內容，主要講解中文自然語言處理的各種算法，包括分詞技術、數據預處理、詞向量技術、序列標注與中文 NER、文本深度學習、循環神經網絡等。
第三部分 實戰篇(第9-12章)主要講解了語言模型與對話生成、知識圖譜問答、自然語言推理、實體語義理解這4種人機交互方面的高階技術，涵蓋信息抽取、槽位填充、語義理解、聊天機器人、問答系統、多輪對話技術等知識點。

作者簡介

杜振東

國家標準委人工智能技術專家和AIIA（中國人工智能產業發展聯盟）技術專家。擁有8年機器學習與文本挖掘相關技術經驗，6年中文自然語言處理相關項目實戰經驗，擅長PyTorch、TensorFlow等主流深度學習框架，擅長運用NLP前沿技術解決真實項目的難題。

在意圖識別、新聞推薦、多輪人機交互領域有數年實戰經驗。參與百萬級用戶金融資訊新聞推薦項目，作為算法主要負責人及整體框架設計者，主導全新智能新聞推薦系統的落地，並優化線上推薦算法，相較原有系統精度提高10%。

曾在AIIA和國家人工智能標準化總體組參與了多個人工智能標準的制定和人工智能報告的撰寫。

塗銘

數據架構師和人工智能技術專家，曾就職于阿裡，現就職於騰訊。對大數據、自然語言處理、圖像識別、Python、Java等相關技術有深入的研究，積累了豐富的實踐經驗。

在工業領域曾參與了燃煤優化、設備故障診斷以及正泰光伏電池片和組件EL圖像檢測項目；在自然語言處理方面，曾擔任導購機器人項目的架構師，主導開發機器人的語義理解、短文本相似度匹配、上下文理解，以及通過自然語言檢索產品庫，在項目中構建了NoSQL+文本檢索等大數據架構，也同時負責問答對的整理和商品屬性的提取，帶領NLP團隊構建了語義解析層。

合著有暢銷書《Python自然語言處理實戰：核心技術與算法》和《深度學習與圖像識別：原理與實踐》。

騰訊、國家標準委AI專家撰寫，詳解NLP和人際交互，從算法、實戰3維度講解聊天機器人原理、實現與工程實踐

前言
第1章 人機交互導論 1
1.1 圖靈測試 1
1.1.1 圖靈測試相關背景 1
1.1.2 圖靈測試的定義 2
1.1.3 圖靈測試引發的思考 3
1.2 專家系統 3
1.2.1 專家系統的定義 3
1.2.2 專家系統的框架 4
1.2.3 專家系統的發展 6
1.3 人機交互 6
1.3.1 人機交互簡介 6
1.3.2 人機交互模塊的發展 7
1.3.3 自然語言理解 9
1.3.4 對話管理 10
1.3.5 自然語言生成 10
1.4 機器人形態 11
1.4.1 聊天機器人 12
1.4.2 任務型機器人 13
1.4.3 面向FAQ的問答機器人 13
1.4.4 面向KB的問答機器人 14
1.5 本章小結 14
第2章 人機對話前置技術 15
2.1 深度學習框架 15
2.1.1 Theano 15
2.1.2 TensorFlow 16
2.1.3 Keras 17
2.1.4 PyTorch 17
2.2 搭建NLP開發環境 18
2.2.1 下載和安裝Anaconda 18
2.2.2 conda的使用 21
2.2.3 中文分詞工具――Jieba 22
2.2.4 PyTorch的下載與安裝 24
2.2.5 Jupyter Notebook遠程訪問 25
2.3 TorchText的安裝與介紹 26
2.4 本章小結 29
第3章 中文分詞技術 30
3.1 分詞的概念和分類 30
3.2 規則分詞 31
3.2.1 正向最大匹配 31
3.2.2 逆向最大匹配 32
3.2.3 雙向最大匹配 33
3.3 統計分詞 35
3.4 混合分詞 44
3.5 Jieba分詞 44
3.6 準確率評測 47
3.6.1 混淆矩陣 48
3.6.2 中文分詞中的P、R、F1計算 49
3.7 本章小結 51
第4章 數據預處理 52
4.1 數據集介紹 52
4.2 數據預處理 53
4.3 TorchText預處理 55
4.3.1 torchtext.data 55
4.3.2 torchtext.datasets 56
4.3.3 構建詞表 57
4.3.4 構建迭代器 58
4.4 本章小結 60
第5章 詞向量實戰 61
5.1 詞向量的由來 61
5.1.1 one-hot模型 61
5.1.2 神經網絡詞向量模型 63
5.2 word2vec 67
5.2.1 初探word2vec 67
5.2.2 深入CBOW模型 68
5.2.3 Skip-gram模型介紹 69
5.2.4 word2vec模型本質 70
5.3 glove 71
5.3.1 初探glove 71
5.3.2 glove模型原理 72
5.4 word2vec實戰 74
5.4.1 預處理模塊 74
5.4.2 模型框架 78
5.4.3 模型訓練 79
5.4.4 模型評估 82
5.5 glove實戰 83
5.5.1 預處理模塊 83
5.5.2 模型框架 85
5.5.3 模型訓練 86
5.5.4 模型評估 87
5.6 本章小結 87
第6章 序列標注與中文NER實戰 88
6.1 序列標注任務 88
6.1.1 任務定義及標簽體系 88
6.1.2 任務特點及對比 90
6.1.3 任務應用場景 92
6.2 序列標注的技術方案 94
6.2.1 隱馬爾可夫模型 94
6.2.2 條件隨機場 94
6.2.3 循環神經網絡 96
6.2.4 Bert 97
6.3 序列標注實戰 99
6.3.1 中文NER數據集 99
6.3.2 數據預處理 100
6.3.3 模型訓練框架 102
6.3.4 模型評估 103
6.4 BiLSTM 104
6.4.1 參數介紹 104
6.4.2 BiLSTM模型框架 104
6.4.3 模型效果評估 106
6.5 BiLSTM-CRF 107
6.5.1 參數介紹 107
6.5.2 BiLSTM-CRF模型框架 107
6.5.3 模型評價 112
6.6 本章小結 112
第7章 文本分類技術 113
7.1 TFIDF與樸素貝葉斯 113
7.1.1 TFIDF 113
7.1.2 樸素貝葉斯 115
7.1.3 實戰案例之新聞分類 116
7.2 TextCNN 118
7.2.1 TextCNN網絡結構解析 118
7.2.2 實戰案例之新聞分類 121
7.3 FastText 129
7.3.1 模型架構 129
7.3.2 層次softmax 130
7.3.3 n-gram子詞特徵 130
7.3.4 安裝與實例解析 131
7.4 後臺運行 134
7.5 本章小結 134
第8章 循環神經網絡 135
8.1 RNN 135
8.1.1 序列數據 135
8.1.2 神經網絡需要記憶 136
8.1.3 RNN基本概念 136
8.1.4 RNN的輸入輸出類型 138
8.1.5 雙向循環神經網絡 139
8.1.6 深層循環神經網絡 140
8.1.7 RNN的問題 141
8.1.8 RNN PyTorch實現 141
8.2 LSTM 143
8.2.1 LSTM網絡結構解析 143
8.2.2 LSTM PyTorch實現 147
8.3 GRU 149
8.3.1 GRU網絡結構解析 149
8.3.2 GRU PyTorch實現 151
8.4 TextRNN 152
8.4.1 基本概念 152
8.4.2 實戰案例之新聞分類 153
8.5 TextRCNN 154
8.5.1 基本概念 154
8.5.2 實戰案例之新聞分類 155
8.6 實戰案例之詩歌生成 155
8.6.1 數據預處理 156
8.6.2 模型結構 158
8.6.3 模型訓練 158
8.6.4 詩歌生成 159
8.7 本章小結 161
第9章 語言模型與對話生成 162
9.1 自然語言生成介紹 162
9.2 序列生成模型 163
9.2.1 seq2seq的基本框架 164
9.2.2 Encoder-Decoder框架的缺點 165
9.3 經典的seq2seq框架 166
9.3.1 基於RNN的seq2seq 166
9.3.2 基於CNN的seq2seq 167
9.4 Attention機制 169
9.4.1 序列模型RNN 169
9.4.2 Attention機制的原理 170
9.4.3 Self-Attention模型 171
9.4.4 Transfomer模型介紹 171
9.5 Bert――自然語言處理的新範式 173
9.5.1 Bert結構 174
9.5.2 預訓練任務 175
9.6 聊天機器人實戰 1