工業級知識圖譜：方法與實踐（簡體書）

序

21世紀以來，隨著深度學習的廣泛應用和計算機算力的提升，人工智能（AI）進入了大數據時代。如何把大數據結構化、語義化，進而構建大規模的知識圖譜成為AI發展及其大規模應用的重要環節。同時，近十年來，隨著行業數字化和產業互聯網的發展，蘊含深度行業知識的行業知識圖譜的構建需求也越來越迫切。知識圖譜已經成為人工智能的重要基石之一，同時也是行業數字化的重要組成部分。本書系統闡述知識圖譜構建與應用的前沿理論與大規模實踐，恰逢其時。

從技術角度出發，知識圖譜主要涉及如何利用信息抽取、知識融合、知識建模等技術從大數據中挖掘和發現知識，如何利用知識推理技術學習並生產新的知識，如何利用知識表示與存儲技術描述和組織知識，以及如何利用知識推理和查詢技術使得知識能夠服務上層的業務應用。從應用角度出發，知識圖譜除了服務傳統的搜索、對話等應用，更多地在業務智能決策、控制業務風險、優化業務效率等多方面得到了應用。

本書介紹了知識圖譜的方法與實踐，共7章，內容豐富。從理論深度上看，書中討論了知識圖譜的整體技術架構及各個模塊的理論研究，即知識建模、知識獲取、知識融合、知識推理，同時探討了知識圖譜的前沿技術話題。從工業實踐上看，書中圍繞著千億級商品知識圖譜這一真實工業實踐案例，針對各個模塊詳細闡述了系統中的算法細節、工程系統實現方法及相關的業務應用。本書作者來自常年深耕知識圖譜領域的學者和一線工業實踐者，他們都參與了千億級商品知識圖譜的構建及大規模產業化應用。因此，本書具有很強的知識性和實用性。

本書可以作為計算機科學和人工智能專業學生和研究人員，以及大數據和人工智能從業者的參考書。在知識圖譜實踐類書籍不多的情況下，期待本書對知識圖譜這一領域的更廣泛應用帶來一定的推動作用。

墻輝（玄難）

來未來科技（浙江）有限公司CEO

前 言

人工智能技術及其應用已經深入各個行業，從業人員的規模呈爆發式增長。知識圖譜是人工智能的重要基石之一，是大數據深入發展的時代產物，也是大數據經過挖掘、結構化、語義化之後的知識關聯網絡。知識圖譜既為深度學習提供先驗知識，也為用戶提供智能服務。知識圖譜廣泛應用於智能對話、搜索推薦、業務智能等領域，在很多業務實踐中具有重要意義。與此同時，由於構建知識圖譜的信息來源包括結構化或半結構化的數據，以及文本數據或多媒體數據，涉及自然語言處理領域裡的信息提取技術、多模態技術和信息融合技術等，需要進行很多的工程開發工作，因此面臨很多挑戰。

為什麼寫作本書

我們應該如何構建知識圖譜？如何在工業界應用知識圖譜？目前，可供從業人員系統性參考的實踐案例資料還比較少。作為專業從事知識圖譜技術工作以及在工業界進行過大規模實踐的團隊，我們長期專注於知識圖譜技術在工業界的發展，希望能讓更多的從業者或對知識圖譜感興趣的學生了解這一前沿技術及落地方法。為此，我們將以往的項目經驗、產品應用和前沿技術知識整理成冊，希望通過本書來總結和分享我們的知識圖譜工業實踐成果。

本書源於阿裡巴巴千億級知識圖譜構建與產業化應用的工作總結，阿裡巴巴與清華大學、浙江大學、中科院軟件所、中科院自動化所和蘇州大學共同開展的阿裡巴巴藏經閣（知識引擎）研究計劃，以及在該計劃下發表的數十篇國際頂級學術論文的理論研究成果，以及阿裡巴巴-浙江大學前沿技術聯合研究中心（AZFT）知識引擎聯合實驗室持續多年的合作研究工作。本書介紹的成果獲得錢偉長中文信息處理科學技術一等獎。

本書主要內容

本書是知識圖譜大規模工業實踐的經驗總結，且包含了知識圖譜的前沿學術研究。本書以阿裡巴巴的實戰經驗為中心，以深厚的理論成果為支撐，詳細闡述知識圖譜的方方面面。首先介紹工業場景下知識圖譜的現狀、存在的問題和架構設計；然後從知識表示、知識融合、知識獲取、知識推理、知識存儲和知識圖譜前沿方向等方面入手，介紹大規模商品知識圖譜的構建方法；最後結合阿裡巴巴的業務實踐，詳細介紹知識圖譜的產品設計、技術實現和業務應用細節。通過閱讀本書，讀者不僅可以從零開始認識知識圖譜，了解知識圖譜技術方法和前沿技術方向，而且可以熟悉知識圖譜工業實踐的實現路徑，清楚知識圖譜的應用方向和方法。

雖然市面上已經出版了多部優秀的知識圖譜學術著作，但偏向於實踐應用的圖書還非常稀缺。本書從工業問題和工業應用入手，應用前沿技術方法，定義並解決面臨的技術問題。同時我們也會介紹如何結合內部產品完成技術實現和在線部署。本書力爭做到既側重真實場景下的工業實踐，又有深厚的理論研究，將科研與工業實踐有機結合。

如何閱讀本書

這是一本對知識圖譜實踐有借鑒意義的圖書，讀者應該怎樣閱讀這本書呢？在閱讀本書之前，讀者應該對人工智能領域的業務應用和基本模型有一定了解。

第一遍先通讀全書，主要厘清知識圖譜的相關概念、知識圖譜的工業應用方向和各個子領域的技術框架。

第二遍可以針對感興趣的章節詳細閱讀，了解清楚這些子領域的前沿技術研究方向和成果，以及工業實踐的技術細節。

第三遍可以結合自己在工作和學習中遇到的相關問題，根據本書的抽象方法做一些實踐工作。

真誠期望本書能對知識圖譜感興趣的學生的學業和未來職業發展有所幫助，對從業人員的工作有一定的指導作用。

本書作者

本書由張偉、陳華鈞、張亦弛所著，參與本書編寫工作的還有：阿裡巴巴的吳夙慧、陳強、張力、林枝萍、戴健、黃志文、巢佳媛、王梁、鈄懷嘯、張鵬遠、王炎、石珺、王沛、楊耀晟、陳輝，浙江大學的張文、鄧淑敏、葉橄強、文博、康矯健、張寧豫、李濼秋、葉鵬、朱渝珊、許澤眾、餘海陽、李娟、畢禎、周虹廷，在此對各位編者的辛勤付出表示衷心的感謝！

致謝

首先要特別感謝通過阿裡巴巴藏經閣（知識引擎）研究計劃與我們一起完成知識圖譜大規模工業實踐的合作單位和老師，包括清華大學的李涓子老師及其團隊、中科院軟件所的孫樂老師及其團隊、蘇州大學的張民老師及其團隊、中科院自動化所的趙軍老師及其團隊。同時感謝阿裡巴巴-浙江大學前沿技術聯合研究中心（AZFT）給予的大力支持。

感謝宋亞東先生和電子工業出版社博文視點對本書的重視，以及為本書出版所做的一切。

由於作者水平有限，書中不足之處在所難免，敬請專家和讀者給予批評指正。

作 者

2021年7月

目 錄

第1章 工業級知識圖譜概述 / 1

1.1 知識圖譜概述 / 2

1.1.1 通用知識圖譜 / 2

1.1.2 行業知識圖譜 / 3

1.2 工業級知識圖譜實戰原則 / 4

1.2.1 實踐中的典型問題 / 4

1.2.2 實戰原則 / 4

1.3 阿裡巴巴知識引擎技術架構 / 8

1.3.1 平臺產品：知識建模與管理 / 9

1.3.2 平臺產品：知識生產 / 11

1.3.3 業務、平臺產品：知識服務 / 16

1.4 本章小結 / 19

第2章 商品知識的表示和建模 / 20

2.1 知識表示簡介 / 21

2.1.1 基於符號邏輯的知識表示方法 / 21

2.1.2 面向互聯網的知識表示方法 / 23

2.1.3 基於連續向量的知識表示 / 25

2.2 行業知識建模 / 27

2.2.1 基於專家的知識建模 / 27

2.2.2 基於機器學習的知識建模 / 29

2.3 商品知識建模實踐 / 32

2.3.1 術語抽取 / 33

2.3.2 商品概念及上下位關係生成 / 36

2.4 構建商品知識體系 / 37

2.4.1 通用域知識圖譜 / 37

2.4.2 阿裡商品域知識體系 / 39

2.5 商品知識建模應用場景 / 48

2.5.1 服務國家和社會機構應用 / 48

2.5.2 零售業務應用 / 49

2.6 小結 / 50

2.6.1 知識建模技術的未來發展 / 50

2.6.2 知識體系設計的未來發展 / 51

第3章 商品知識融合 / 53

3.1 知識融合概述 / 54

3.1.1 知識融合的主要難點 / 54

3.1.2 知識融合的基本步驟 / 55

3.2 本體對齊 / 57

3.2.1 基於語言學特征的方法 / 58

3.2.2 基於結構特征的方法 / 61

3.2.3 商品知識圖譜本體對齊算法 / 63

3.3 實體對齊 / 70

3.3.1 實體對齊的流程 / 70

3.3.2 實體對齊的技術路線 / 71

3.3.3 商品知識圖譜實體對齊實踐 / 80

3.4 信息融合 / 91

3.4.1 無監督的信息融合方法 / 92

3.4.2 有監督和半監督的信息融合方法 / 99

3.4.3 商品知識圖譜信息融合算法實踐 / 100

3.5 跨語言知識融合 / 103

3.5.1 跨語言知識融合的挑戰 / 103

3.5.2 跨語言實體對齊的技術路線 / 104

3.5.3 基於規則的跨語言實體對齊方法 / 104

3.5.4 基於翻譯的跨語言實體對齊方法 / 105

3.5.5 基於表示學習的跨語言實體對齊方法 / 107

3.6 知識融合質量評估體系 / 110

3.6.1 知識融合評估指標介紹 / 110

3.6.2 離線融合效果評估 / 112

3.6.3 在線融合效果評估 / 117

3.7 本章小結 / 119

第4章 商品知識獲取 / 120

4.1 知識獲取概述 / 121

4.1.1 知識獲取相關任務 / 121

4.1.2 知識獲取相關測評會議 / 123

4.2 命名實體識別 / 125

4.2.1 命名實體識別概覽 / 125

4.2.2 標注體系及常用數據集 / 126

4.2.3 基於規則的命名實體識別 / 128

4.2.4 基於統計模型的命名實體識別 / 128

4.2.5 基於神經網絡的實體識別 / 130

4.3 實體鏈接 / 133

4.3.1 實體鏈接概述 / 133

4.3.2 候選實體生成 / 133

4.3.3 候選實體排序 / 135

4.3.4 端到端的實體鏈接方法 / 138

4.4 關係抽取 / 139

4.4.1 關係抽取概述 / 139

4.4.2 基於模板的關係抽取方法 / 140

4.4.3 基於監督學習的關係抽取方法 / 140

4.4.4 基於半監督學習的關係抽取方法 / 149

4.4.5 基於無監督學習的關係抽取方法 / 154

4.5 槽填充與屬性補全 / 156

4.5.1 槽填充與屬性補全概述 / 156

4.5.2 基於模板的方法 / 158

4.5.3 基於關係分類的方法 / 160

4.6 面向半結構化數據的知識獲取 / 160

4.6.1 百科類網站數據抽取 / 160

4.6.2 面向Web網頁的知識獲取 / 161

4.7 低資源條件下知識獲取 / 162

4.7.1 基於監督學習和弱監督學習的方法 / 163

4.7.2 基於遷移學習的方法 / 163

4.7.3 基於元學習的方法 / 164

4.7.4 基於知識增強的方法 / 165

4.8 電商領域知識獲取實踐 / 166

4.8.1 電商知識獲取框架 / 166

4.8.2 面向場景導購的知識獲取示例 / 169

4.8.3 低資源商品知識獲取示例 / 177

4.9 本章小結 / 180

第5章 商品知識推理 / 182

5.1 知識推理概述 / 183

5.1.1 知識推理的作用 / 183

5.1.2 專家系統與知識推理 / 184

5.1.3 神經網絡與知識推理 / 185

5.2 基於符號邏輯的知識推理 / 186

5.2.1 基於本體的知識推理方法 / 187

5.2.2 基於規則的知識推理方法 / 191

5.2.3 基於規則學習的知識圖譜推理 / 197

5.3 基於表示學習的知識推理 / 200

5.3.1 基於分布式表示的知識推理 / 200

5.3.2 基於神經網絡的知識推理 / 210

5.4 基於圖數據庫的商品知識推理引擎工程實踐 / 218

5.4.1 技術框架簡介 / 219

5.4.2 與傳統規則推理引擎的對比 / 223

5.5 可解釋的商品知識圖譜推理應用實踐 / 226

5.5.1 電商應用背景 / 226

5.5.2 技術實踐方案 / 228

5.5.3 實驗結果及案例分析 / 233

5.6 基於強化學習的商品規則學習與推理應用實踐 / 236

5.6.1 電商應用背景 / 236

5.6.2 技術實踐方案 / 238

5.6.3 實驗結果及案例分析 / 240

5.7 本章小結 / 241

第6章 知識圖譜的存儲、服務與質量 / 243

6.1 知識圖譜的存儲 / 244

6.1.1 數據模型 / 244

6.1.2 存儲系統選型 / 247

6.1.3 圖查詢語言 / 252

6.1.4 關鍵技術與選擇 / 254

6.2 知識圖譜的服務 / 257

6.2.1 基於知識圖譜的搜索 / 258

6.2.2 基於知識圖譜的推薦 / 264

6.2.3 搜索推薦在業務智能中的應用 / 274

6.2.4 基於知識圖譜的問答系統 / 278

6.3 知識圖譜質量保障 / 281

6.3.1 質量保障架構 / 281

6.3.2 測試原則與方法 / 282

6.4 本章小結 / 284

第7章 大規模商品知識圖譜

預訓練 / 285

7.1 知識預訓練概述 / 286

7.1.1 預訓練語言模型 / 286

7.1.2 知識圖譜中的結構化上下文信息 / 288

7.1.3 基於知識增強的預訓練模型 / 289

7.1.4 預訓練知識圖譜模型與預訓練語言模型的區別 / 293

7.2 商品知識圖譜靜態預訓練模型 / 294

7.2.1 預訓練知識圖譜查詢框架 / 294

7.2.2 預訓練知識圖譜查詢模塊 / 295

7.2.3 預訓練知識圖譜查詢服務 / 296

7.2.4 在任務模塊中使用查詢服務 / 297

7.3 商品知識圖譜動態預訓練模型 / 299

7.3.1 上下文模塊和整合模塊 / 299

7.3.2 預訓練階段和微調階段 / 301

7.4 商品知識圖譜預訓練實踐案例 / 303

7.4.1 基於知識圖譜預訓練的商品分類 / 304

7.4.2 基於知識圖譜預訓練的商品對齊 / 309

7.4.3 基於知識圖譜預訓練的商品推薦 / 312

7.4.4 基於商品知識預訓練的實體識別 / 316

7.4.5 基於商品知識預訓練的關係抽取與屬性補齊 / 318

7.4.6 基於商品知識預訓練的標題生成 / 324

7.5 總結與展望 / 325

參考文獻 / 326

7.1 知識預訓練概述

知識圖譜雖然包含大量有價值的信息，但通常以三元組形式的結構化數據存儲，機器無法直接讀取和使用。表示學習能將知識圖譜中的實體和關係映射到連續空間中用向量表示，並能利用向量的代數運算，很好地建模知識圖譜中的結構特征。向量表示被廣泛應用在知識圖譜相關任務及NLP任務上，且都取得了不錯的效果。針對不同的建模任務和目標，相關工作已經提出了不同的知識圖譜表示學習方法。隨著GPT、BERT、XLNET等預訓練語言模型在多項自然語言處理領域任務上刷新了之前的最好效果，預訓練受到了各界的廣泛關注。預訓練在本質上是表示學習的一種，其核心思想是“預訓練和微調”方法，具體包括以下步驟：首先利用大量的自然語言數據訓練一個語言模型，獲取文本中包含的通用知識信息；然後在下遊任務微調階段，針對不同的下遊任務，設計相應的目標函數，基於相對較少的監督數據，便可得到不錯的效果。

受預訓練語言模型的啟發，我們將“預訓練和微調”的思想應用到了商品知識圖譜表示中。商品知識圖譜包含億級的節點信息，同時還包含豐富的結構信息，這對如何高效地建模商品知識圖譜帶來了挑戰。大規模商品知識圖譜預訓練包含三個主要方向：商品知識圖譜靜態預訓練、商品知識圖譜動態預訓練和知識增強的預訓練語言模型。其中，商品知識圖譜靜態預訓練和商品知識圖譜動態預訓練是對商品知識圖譜自身信息的表示學習，而知識增強的預訓練語言模型則側重於非結構化文本場景。不同的預訓練方法有不同的業務場景，細節將在後續章節詳細闡述。知識圖譜預訓練對於具有億級節點的阿裡巴巴商品知識圖譜極為重要，因為它能夠避免對龐大的商品知識圖譜重復訓練，從而能夠更高效、快速地為下遊任務場景提供服務。

7.1.1 預訓練語言模型

隨著深度學習的發展，神經網絡已廣泛用於解決自然語言處理（NLP）任務。深度學習模型能在一系列NLP任務裡獲得很好的實驗效果，但同時模型參數數量也在快速增長，所以需要更大的數據集來防止過擬合。但是由於標注數據成本極高，對於大多數自然語言處理任務來說，構建大規模的有標簽數據集是一項巨大的挑戰，尤其是對於語法和語義等相關任務。

人類的語言是高度抽象且富含知識的，文本數據只是人類大腦對信息進行處理後的一個載體，所以沉澱的文本數據本身具有大量有價值的信息。互聯網上沉澱了大規模的自然文本數據，基於這些海量文本，可以設計自監督訓練任務，學習好的表示模型，然後將這些表示模型用於其他任務。基於這種思想，最近幾年提出的預訓練語言模型（Pre-trained Language Model）在許多自然語言處理任務中都被證明有效，並且能夠顯著提升相關任務的實驗結果。

預訓練語言模型可以學習通用的語言表示，捕捉語言中內含的結構知識，特別是針對下遊任務標注數據量少的低資源場景，采用“預訓練+微調”的模式，能夠顯著提升效果。預訓練語言模型的輸入通常是一個文本序列片段，神經編碼器會編碼輸入序列，針對每個輸入單元，會編碼得到對應的向量表示。區別於傳統Word2Vec詞向量，預訓練得到的向量表示是上下文相關的，因為向量是編碼器根據輸入動態計算得到的，所以能夠捕捉上下文語義信息。相對於傳統詞向量的靜態性，預訓練得到的向量表示具有一定的多義詞表達能力。至於更高語義級別的文本表示，如句子表示、文檔表示等，都是當前前沿研究的內容。

McCann等人利用機器翻譯（Machine Translation，MT）任務從注意序列到序列模型預訓練了一個深度LSTM編碼器，並通過預訓練編碼器輸出的上下文向量（Context Vectors，CoVe）可以提高多種常見自然語言處理任務的性能。Peters等人采用雙向語言模型（Bidirectional Language Model，BiLM）預訓練的兩層LSTM編碼器，包括前向語言模型和後向語言模型。而通過預訓練的BiLM輸出的上下文表示，ELMo模型在學得來自語言模型的向量表示後，在自然語言處理任務領域發揮了巨大的作用。

但是，這些預訓練語言模型通常用作特征提取器來生成上下文詞向量，當這些詞向量被用到下遊任務的主要模型中時是固定的，而模型中的其他參數仍需要從頭開始訓練。Ramachandran等人發現，可以通過無監督的預訓練顯著改善Seq2Seq模型效果。編碼器和解碼器的權重都使用兩種語言模型的預訓練權重初始化，然後使用標記的數據微調。ULMFiT模型嘗試將微調用於文本分類（Text Classification，TC）的預訓練語言模型，並在六種廣泛使用的文本分類數據集上取得了更好的效果。

最近一段時間，深層預訓練語言模型在學習通用語言表示形式方面顯示出了強大的能力。例如，基於生成式預訓練模型的OpenAI GPT和基於Transformer的雙向編碼器的BERT 模型，以及越來越多的自監督預訓練語言模型能夠從大規模文本語料庫中獲取更多知識，在大量自然語言處理任務中獲得了成功。

以BERT模型為例，預訓練語言模型首先在大型數據集上根據一些無監督任務進行訓練，包括下一個語句預測任務（Next Sentence Prediction，NSP）和掩碼語言模型任務（Masked Language Model），這部分被稱為預訓練。接著在微調階段，根據後續下遊任務，例如文本分類、詞性標注和問答系統等，對基於預訓練的語言模型進行微調，使得BERT模型無須調整結構，只調整輸入/輸出數據和訓練部分的參數，就可以在不同的任務上取得很好的效果。圖7‑1（a）展示了BERT模型在預訓練階段的結構，圖7-1（b）展示了在多個不同數據集和任務上進行微調的結構示意圖。BERT模型具有很好的兼容性、擴展性，並在多種自然語言處理下遊任務上達到頂尖的實驗效果。