聊天機器人：入門、進階與實戰（簡體書）

這是一部能指導初學者輕松進入聊天機器人領域並快速實現進階的實戰型著作。 4位作者都是資深的NLP技術專家，在聊天機器人領域有豐富的工程實踐經驗，曾在唯品會等公司有大規模的成功實踐。這本書原理、技術、實戰3個層面講解了聊天機器人的數學與統計原理、NLP模型和技術、算法與實現、工程架構，以及案例實踐。 全書共13章，可分為三大部分。 □□部分（□□章） 基礎篇 簡單介紹了數學和統計的基本理論，如概率統計和應用數學等。 第二部分（第2~9章） 技術篇 著重講解了NLP的模型和技術，它們是構成對話系統的基礎，一些模型可以用在自然語言理解模塊（NLU）和自然語言生成模塊（NLG），同時幫助讀者整理對話系統的工程架構知識。 第三部分（□□0~12章） 實例篇 通過對三個典型的對話系統案例的講解，讓讀者完整了解架構、設計和實現對話系統的流程和方法。

★劉宇 數據科學技術總監 ，畢業於清華大學，現就職於獵聘網。 在NLP算法領域有7年以上的開發經驗，目前的研究重點是深度學習在NLP方面的實際應用，熱衷於鉆研NLP算法技術在對話系統、搜索系統等實際場景下的應用。對機器學習、大數據應用與開發、深度學習等也頗有研究。精通Java、C++、Python等主流編程語言，熟悉軟件架構和開發原則。 ★崔燕紅 資深人工智能技術專家，畢業於開普敦大學，博士，現任北京泰迪熊科技公司首席數據算法科學家。 曾在唯品會NLP部門擔任主任研究員。精通Java 語言，有6年Java 相關開發經驗，熟悉Python語言，在時間序列分析、全局優化算法、機器學習、NLP、深度學習領域卓有建樹。 ★郭師光 資深大數據和人工智能技術專家，畢業於俄克拉荷馬大學，博士。 曾在斯倫貝謝公司從事研發工作，研究領域涉及數據建模、油氣藏的智能模式識別等。後在唯品會研究院擔任資深研發，研究項目主要包括深度學習算法、搜索意圖識別等。現於北京信息科技大學任職，主要研究方向包括大數據、智能對話系統、圖像識別以及深度學習模型的商業化應用。累計發表SCI檢索論文和□□會議論文十餘篇。 ★黨習歌 NLP算法工程師，畢業於北京郵電大學，計算機專業碩士。 現就職於唯品會智能應用部。精通Java，在NLP算法領域有3年以上開發經驗。目前主要研究NLP在對話系統、搜索等場景的應用，對機器學習、NLP算法、數學模型等頗有研究。

為什麼要寫這本書 2015年我跳出一家傳統的軟件公司，重新做回文本挖掘的相關工作。那個時候心中的執念是想把自己讀碩士時的研究方向繼續下去。跳出人生的舒適區，發現周圍的技術真的是日新月異，從而感嘆自己的落伍和脫節。於是開始從□簡單的分詞做起，職業生涯起起伏伏，在那段歲月中依然保持著心中的執念和對求知的渴望。有幸的是，在這個過程中結識了一些業內的好友，在他們的不斷指引下，感覺每天都小有進步。在學習的過程中，我正好也趕上了自然語言處理技術的浪潮，在AI技術深入人心的階段入行實是我人生的一大幸事！ 對話系統是自然語言處理（NLP）領域的一顆璀璨明珠，它源於專家庫系統。從技術的角度講，它集結了自然語言理解（NLU）技術和自然語言生成（NLG）技術,而自然語言處理又恰恰是人工智能（AI）□難破解的領域。就是在那段時間裡，我萌發了要做對話系統的想法。萬事開頭難，在這個過程中翻閱了不少參考資料，但是發現一個問題，市場上專門寫對話系統的書寥寥無幾，介紹自然語言處理的專業書籍也特別少。所以只能翻看一些論文，但論文的理論性很強，實操性又太差，對初學者和基礎薄弱者來講很不友好。當時市場上流行的自然語言處理的書籍可以分以下幾種類型：□□，經典的教材，如宗成慶老師的《統計自然語言處理》；第二，經典實操教材，如《Python自然語言處理》；第三，經典的翻譯教材，如《統計自然語言處理基礎》。而講解中文自然語言處理的實操性的書籍著實太少了。 2018年冬天的一個午後，我和郭師光幾個人一起吃飯，茶餘飯後聊起聊天機器人，大家有很多共同的想法。在自然語言處理、深度學習以及人工智能領域，大家都積累了一些經驗，所以我就提議：大家能不能圍繞自然語言處理和對話系統寫一本書，寫寫大家對自然語言處理技術以及對話系統的認識，幫初學者歸納總結一些在中文文本挖掘方面的知識點和成功經驗。我的提議很快得到了崔燕紅博士的響應和支持,就這樣，本書的創作團隊正式成立。不過，在創作過程中也遇到了很多問題。對話系統本身要求技術人員對算法和工程都要有一個清晰和完整的認識，而且需要有很強的工程實踐能力。我在書中這部分的講解過程中提到，在不同公司的應用場景和數據集上做優化就會誕生不同的對話系統。但是，對話系統也有一些共同的部分，比如通用的自然語言處理方法、通用的架構，以及針對不同業務場景所采用的相同的解決方法。所以本書旨在幫助讀者梳理相關知識點和思考問題的方式。許多個不眠之夜的奮筆疾書，許多個節假日的思考和資料的查閱，將我們的分享像涓涓細流，澆灌在每一個讀者心間，我想我們的這些努力就是□大的價值。

推薦序一

推薦序二

前言

□□章概率統計與應用數學的基礎知識

1.1概率的定義

1.2條件概率與貝葉斯公式

1.3隨機變量與分布函數

1.4概率分布與參數估計

1.5隨機過程與馬爾可夫模型

1.6信息熵

1.7本章小結

第2章語言模型與多元文法

2.1詞袋模型

2.2N-Gram模型

2.2.1N-Gram簡介

2.2.2N-Gram算法

2.2.3N-Gram用途

2.3數據平滑

2.3.1加法平滑方法

2.3.2Good-Turing估計法

2.3.3組合平滑方法

第3章序列標注模型

3.1中文分詞

3.1.1條件隨機場

3.1.2條件隨機場進行中文分詞

3.2詞性標注

3.2.1詞性標注的標準

3.2.2利用隱馬爾可夫進行詞性標注

3.3命名實體識別

3.3.1利用條件隨機場模型進行命名實體識別

3.3.2命名實體識別在對話系統中的作用

3.4序列標注模型

3.5本章小結

第4章文本分析

4.1關鍵詞抽取

4.1.1詞頻-逆文檔頻次算法

4.1.2Text Rank

4.2文本分類

4.2.1貝葉斯文本分類模型

4.2.2決策樹文本分類模型

4.2.3SVM文本分類模型

4.3主題模型

4.3.1基礎知識回顧

4.3.2吉布斯采樣

4.3.3隱狄利克雷分配模型

4.4本章小結

第5章深度學習模型

5.1基於深度學習的自然語言模型

5.1.1神經網絡自然語言模型與詞向量

5.1.2A Neural Probabilistic Language Model

5.1.3CBOW和Skip-Gram

5.1.4Huffman編碼與Huffman tree

5.1.5CBOW-Hierarchical Softmax

5.1.6Skip-Gram-Hierarchical Softmax

5.1.7FastText

5.1.8詞的全局向量表示

5.2卷積網絡CNN

5.2.1卷積網絡CNN理論

5.2.2利用CNN進行文本分類

5.3循環網絡RNN

5.3.1循環網絡RNN（LSTM，GRU）理論

5.3.2利用RNN 進行情感分析

5.3.3Sequence-to-Sequence with Attention Model

5.4Transformer

5.4.1ResNet（Residual Network）殘差網絡模型

5.4.2Attention is all you need（Transformer）

5.5預訓練模型

5.5.1Embeddings from Language Models（ELMo）

5.5.2BERT

第6章對話機器人的發展綜述

6.1對話機器人發展史

6.1.1對話機器人的近況

6.1.2開放域

6.1.3垂直領域

6.1.4對話機器人的未來發展趨勢

6.2人工智能在對話機器人中的應用

6.2.1深度學習在機器人方面的應用

6.2.2強化學習在機器人方面的應用

6.2.3知識圖譜在機器人方面的應用

第7章自然語言理解與知識圖譜

7.1知識圖譜的表示：三元組模型

7.2知識抽取

7.2.1知識抽取-命名實體識別

7.2.2利用CRF模型識別 NER

7.2.3利用BiLSTM+CRF模型進行命名實體識別

7.3知識抽取-實體關係抽取：Relation Extraction

7.4知識圖譜的構建

第8章答案生成與多輪對話

8.1預測會話與答案生成

8.1.1信息檢索：利用搜索來預測答案

8.1.2句型模板匹配標準問題生成答案

8.1.3根據知識圖譜推理得到答案

8.2多輪對話

8.2.1多輪對話概述

8.2.2任務型多輪對話的控制和生成

8.2.3多主題多輪對話

第9章對話系統的工程架構

9.1對話系統的工程技術

9.1.1常用技術

9.1.2對話系統的分類

9.1.3主要系統軟件介紹

9.1.4系統運維相關

9.2對話系統的架構實現

9.2.1阿裡小蜜

9.2.2百度對話系統

9.2.3垂直領域對話系統的架構

9.2.4開放領域對話系統的架構

9.3本章小結

□□0章實戰場景之一——客服機器人

10.1客服機器人架構

10.1.1功能需求

10.1.2系統邏輯架構圖

10.2客服機器人設計

10.2.1FAQ的設計

10.2.2導購機器人的設計

10.2.3實例分析

10.3本章小結

□□1章實戰場景之二——開放域的QA問答

11.1開放領域問答機器人的架構

11.2開放領域問答機器人的開發流程和方案

11.3開放領域問答機器人的開發案例

□□2章實戰場景之三——聊天機器人

12.1Seq2Seq以及Attention機制

12.2Beam Search

12.3基於Seq2Seq的聊天機器人開發流程

12.3.1語料準備

12.3.2定義Encoder和Decoder

12.3.3模型訓練和評估模塊

12.3.4模型預測和Beam Search模塊

12.4本章小結