構建企業級推薦系統：算法、工程實現與案例分析（簡體書）

為什麼要寫這本書

最早開始規劃寫這本書是在2018年6月，當時的動機主要有如下3點：

首先，我希望做一些知識梳理和價值沉澱的工作。自2009年畢業開始，我一直從事的都是與大數據、算法相關的工作，對於推薦系統也有近10年的實踐經驗，特別是最近9年一直在同一家公司（即我現在所在的公司“電視貓”）做推薦系統相關的工作。在從事推薦系統的工作中我遇到過很多坑，積累了一些經驗，拓展了解決問題的思路，也有了一些自己的想法。因此，希望通過寫一本書來對自己的知識做一次全面的梳理和沉澱。

其次，給自己一定的壓力，培養自己的寫作習慣。我曾經看到過一句話，大致意思是說“一個人對世界的貢獻，在於他輸出了什麼而不是吸收了什麼”，這句話對我的觸動比較大，平時我非常喜歡看書，但是很少輸出，我是一個不太愛整理的人，所學的知識和技能大都記錄在自己的腦海裡，不夠體系化，所以我希望通過寫一本書來培養自己良好的寫作習慣，做一個有輸出的人。

最後，我希望給推薦系統從業者或即將從事推薦系統開發的讀者提供一定的幫助。我算是從零開始自己摸索做推薦系統的，一路下來非常辛苦，走了很多彎路，但也從互聯網上獲得了很多的幫助，非常感謝這些無償輸出知識的人。我是一個樂於助人的人，一般別人問我問題，我都會給別人提供一些建議。對於推薦系統，經過這麼多年的訓練，我自己有了比較多的思考、想法和經驗，所以希望能夠系統地將自己所學知識分享給需要幫助的人，而通過寫書分享知識算是一種最好、最系統的方式。

2018年在規劃好大綱後，我嘗試寫了一點點，但是沒有堅持下來，每次寫幾十個字就卡住了，因為感覺無法很好地表達自己的思想，也沒有外在的激勵或者壓力逼迫自己寫下去，屈服於個人的惰性，所以就這樣放下了。

轉機發生在2019年年底。當時與我關係很好的一個同事的夫人聯系我，說讓我帶著大家一起輸出，多積澱積澱，我答應了。之後她就組織我們團隊幾個願意參與寫作的同事開始在公眾號上寫文章。我寫的主題就是推薦系統，最早的一篇發布於2019年1月23日。這之後每兩周我都會輸出一篇1萬字左右的推薦系統的相關文章，一直持續到2020年4月28日，中間沒有間斷過。本書的內容是基於這些發布在公眾號上的文章所進行的梳理、編排、修改與優化。

讀者物件

本書主要講解與企業級推薦系統相關的理論與知識，聚焦於企業如何搭建、運營、優化推薦系統。本書的適用人群很廣，具體來說，適合如下人員閱讀：

推薦系統開發及推薦算法研究的相關從業者。

未來期望從事推薦系統相關工作的學生。

已經工作但是想轉行做推薦系統相關工作的在職人員。

從事推薦算法研究，希望對推薦系統在工業界應用有所了解的高校科研人員。

對推薦系統感興趣的產品、運營人員。

期望將推薦系統引入產品體系的公司管理層。

如何閱讀本書

本書篇幅較大，一共27章，分別從不同角度來介紹企業級推薦系統構建的理論、方法和策略，圍繞推薦系統在企業中的實踐展開，下面分別對各章內容進行簡單介紹。

第一篇為推薦系統基礎認知，包括第1章。這一部分介紹推薦系統相關的基本概念與知識，幫助讀者了解推薦系統的基礎知識。

第二篇為推薦系統基礎算法，包含6章。這些章講解最基礎、可能也是最重要的企業級推薦算法。第2章介紹了企業級推薦系統的5種推薦範式及每種範式的應用場景，以及推薦排序和召回的相關知識，本篇其他章（第3～7章）則介紹了基於內容的推薦算法、協同過濾推薦算法、基於樸素機器學習思想（樸素貝葉斯、關聯規則、聚類）的推薦算法、矩陣分解推薦算法和因子分解機等知識。我們不僅會講解算法的實現原理，更會講解怎麼將這些算法應用到具體的業務場景中，同時會對算法的優缺點、適用範圍、未來發展等更多讀者關心的主題進行詳細介紹。

第三篇為推薦系統進階算法，包含5章。第8章講解了推薦系統冷啟動的相關知識點，包括各種冷啟動問題以及解決冷啟動問題的可行策略。緊接著的3章（第9～11章）分別介紹嵌入方法、深度學習方法及混合推薦算法，這些方法是目前工業界比較主流的推薦策略和方法。這一部分的最後一章（即第12章）講解了構建可解釋性推薦系統的相關知識點，這是其他推薦系統書籍中未曾涉及的主題。

第四篇為推薦系統評估與價值，包含2章。第13章講解推薦系統的評估，這一章首先從用戶維度、標的物維度、算法維度、平臺方維度等4個維度講解每個維度有哪些評估方法，讓讀者知道從不同的角度可以對推薦系統進行不同的評估。然後基於推薦系統產品的視角，從離線評估、在線評估、主觀評估等角度（並結合前面的4個維度）來系統講解具體的評估方法和策略。第14章講解推薦系統的商業價值，對於企業來說，引入推薦系統的主要目標就是提升產品的商業價值。這一章的內容包括推薦系統在用戶增長、用戶體驗提升、商業變現、資源節省這4個方面所起的價值和作用。

第五篇為推薦系統工程實現，包含6章。這一部分系統地講解了推薦系統工程相關的知識點。其中，第15章講解了推薦系統數據來源、收集、預處理及特征工程的相關知識點。第16章講解了推薦系統工程實現的核心模塊、架構設計、技術選型等主題，並且以筆者團隊的Doraemon架構作為案例給讀者提供了一個比較接地氣的參考方案。第17章講解了AB測試的相關知識，包括AB測試的價值、在什麼情況下需要AB測試、AB測試的實現方案等。第18章則從將推薦作為Web服務的角度來講解怎麼讓推薦服務更高效、更穩定、更快速。第19章梳理了目前業界提供推薦系統服務的兩種模式：事先計算式和實時裝配式，即事先將給用戶的推薦結果計算好並存下來或者在用戶訪問推薦服務時實時為用戶計算推薦結果。這一部分的最後一章（即第20章）對實時推薦系統進行了全面的講解，包括實時推薦系統的價值、系統架構、具體業務場景及面臨的挑戰等。

第六篇為推薦系統產品與運營，包含4章。這一部分主要從產品和運營的角度來講解推薦系統。第21章從多個維度來梳理推薦系統的產品形態，並講解了推薦產品的應用場景及設計好的推薦產品的基本原則。第22章講解了推薦系統的UI交互和視覺展示，這屬於前端UI的範疇，也是用戶可以直接感知的部分，這一部分設計的好壞直接影響用戶的使用體驗。第23章從運營的角度來講解推薦系統，關注數據化運營、精細化運營及用戶畫像。推薦系統作為一種運營手段和工具，需要與產品、運營人員配合好才能最大化地發揮商業價值。第24章是這一部分的最後一章，介紹了推薦系統的人工調控策略，即產品、運營人員怎樣對推薦系統進行人工調控才可以讓推薦系統更好地配合公司的整體運營活動與規劃。

第七篇為推薦系統案例分析，包含3章。這一部分講解了推薦系統實踐的相關知識點。第25章重點講解了怎樣從零開始搭建一個企業級的推薦系統，筆者借用5W3H思考框架來闡述如何更好、更快、更高效地構建一個可用的推薦系統。第26、27章是實際案例，基於筆者公司的業務講解了具體怎樣實現推薦系統。

另外本書還包括兩個附錄。附錄A梳理了推薦算法工程師成長所要做的準備，對於想從事推薦算法工作的讀者，筆者給出了可行的職業發展方向和定位，以及做好推薦系統需要如何準備，需要從哪些方面提升自我，以更好地適應未來對推薦算法從業者的要求。附錄B介紹了在企業中推薦算法團隊的日常工作、協作物件及推薦算法團隊的目標與定位。

勘誤和支持

由於筆者水平有限，寫作時間也比較倉促，書中難免會出現一些不準確的地方甚至是錯誤，懇請讀者批評指正。你可以將書中描述不準確的地方或錯誤告訴我，以便再次印刷或再版時更正，通過微信gongyouliu_01、gongyouliu_02可與我取得聯系。如果你有更多的寶貴意見，也歡迎發送郵件到我的郵箱891391257@qq.com，我很期待聽到你們真誠的反饋。

致謝

首先要感謝移動互聯網時代，讓我們可以更便捷、更高效地獲取信息。只有在移動互聯網時代推薦系統才有用武之地，從而才有了推薦系統的大爆發。

感謝我的公司和領導讓我有一個比較好的平臺可以接觸推薦系統，並在這個領域一直精進。

感謝我的（前）同事連凱、程歡、祝冰鑫、楊奇珍在我寫作過程中幫助閱讀初稿並提供修改建議，感謝劉娜、李娟、李新、趙旭乾幫忙編輯文章，讓我寫的文章可以發布在公眾號裡，正是這些文章構成了本書的初始材料。

感謝機械工業出版社華章公司的編輯楊老師。在過去的一年中，在她的不斷指導下，我對圖書出版的流程有了比較好的了解，經過她的指導和一字一句的修改，本書的質量才得以保證。

感謝傅瞳在全書成稿後對本書進行校對。感謝好友金婷在過去兩年來對我的鼓勵、支持和幫助，讓我有更多前行的勇氣和動力。

最後要感謝我的父母和家人，是他們的無私付出讓我有機會接受高等教育，讓我可以無後顧之憂地完成本書的寫作和修訂工作！

謹以此書獻給我最親愛的家人，以及所有懂我、關心我、支持我的朋友們。

劉強（gongyouliu）

2021年4月

於上海

前　言
第一篇　推薦系統基礎認知
第1章　推薦系統介紹 2
1.1　推薦系統產生的背景 2
1.2　推薦系統解決什麼問題 3
1.3　推薦系統的應用領域 3
1.4　推薦系統的定義 4
1.5　常用的推薦算法 5
1.5.1　基於內容的推薦 5
1.5.2　協同過濾 5
1.5.3　基於模型的推薦 6
1.5.4　基於社交關係的推薦 6
1.6　構建推薦系統的阻礙與挑戰 6
1.7　推薦系統的價值 7
1.8　本章小結 8
第二篇　推薦系統基礎算法
第2章　推薦算法基礎 10
2.1　推薦系統範式 10
2.2　推薦算法3階段pipeline架構 14
2.3　推薦召回算法 15
2.3.1　完全非個性化範式 15
2.3.2　完全個性化範式 15
2.3.3　群組個性化範式 19
2.3.4　標的物關聯標的物範式 20
2.3.5　笛卡兒積范式 22
2.4　排序算法 22
2.4.1　logistic回歸模型 23
2.4.2　GBDT模型 24
2.4.3　Wide & Deep模型 24
2.5　推薦算法落地需要關注的幾個問題 24
2.5.1　推薦算法工程落地一定要用到排序模塊嗎 24
2.5.2　推薦算法服務於用戶的兩種形式 25
2.5.3　推薦系統評估 25
2.6　本章小結 25
第3章　基於內容的推薦算法 27
3.1　什麼是基於內容的推薦算法 27
3.2　基於內容的推薦算法的實現原理 28
3.2.1　基於用戶和標的物特徵為用戶推薦的核心思想 29
3.2.2　構建用戶特徵表示 29
3.2.3　構建標的物特徵表示 30
3.2.4　為用戶做個性化推薦 36
3.3　基於內容的推薦算法應用場景 39
3.4　基於內容的推薦算法的優缺點 40
3.4.1　優點 41
3.4.2　缺點 41
3.5　基於內容的推薦算法落地需要關注的問題 42
3.5.1　內容來源的獲取 42
3.5.2　怎麼利用負向反饋 43
3.5.3　興趣隨時間變化 44
3.5.4　數據清洗 44
3.5.5　加速計算與節省資源 44
3.5.6　解決基於內容的推薦越推越窄的問題 44
3.5.7　工程落地技術選型 45
3.5.8　業務的安全性 45
3.6　本章小結 45
第4章　協同過濾推薦算法 47
4.1　協同過濾思想簡介 47
4.2　協同過濾算法原理介紹 48
4.2.1　基於用戶的協同過濾 49
4.2.2　基於標的物的協同過濾 49
4.3　離線協同過濾算法的工程實現 49
4.3.1　計算topN相似度 50
4.3.2　為用戶生成推薦 52
4.4　近實時協同過濾算法的工程實現 54
4.4.1　獲取用戶在一個時間窗口內的行為 54
4.4.2　基於用戶行為記錄更新標的物關聯表CR 55
4.4.3　更新用戶的行為記錄HBase表：UAction 55
4.4.4　為用戶生成個性化推薦 55
4.5　協同過濾算法的應用場景 57
4.5.1　完全個性化推薦 57
4.5.2　標的物關聯標的物推薦 58
4.5.3　其他應用形式及場景 58
4.6　協同過濾算法的優缺點 58
4.6.1　優點 59
4.6.2　缺點 59
4.7　協同過濾算法落地到業務場景需要關注的問題 60
4.7.1　兩種協同過濾算法的選擇 60
4.7.2　對時間加權 60
4.7.3　關於用戶對標的物的評分 61
4.7.4　相似度計算 61
4.7.5　冷啟動問題 62
4.8　本章小結 63
第5章　基於樸素ML思想的協同過濾算法 65
5.1　基於關聯規則的推薦算法 65
5.2　基於樸素貝葉斯的推薦算法 67
5.3　基於聚類的推薦算法 70
5.3.1　基於用戶聚類的推薦 70
5.3.2　基於標的物聚類的推薦 71
5.4　YouTube基於關聯規則思路的視頻推薦算法 71
5.4.1　計算兩個視頻的相似度（關聯度） 72
5.4.2　基於單個種子視頻生成候選視頻集 72
5.4.3　基於用戶行為為用戶生成推薦候選集 72
5.4.4　推薦結果排序 73
5.5　Google News基於貝葉斯框架的推薦算法 74
5.5.1　基於用戶過去的行為來分析用戶的興趣點 75
5.5.2　利用貝葉斯框架來建模用戶的興趣 75
5.5.3　為用戶做個性化推薦 78
5.6　Google News基於用戶聚類的推薦算法 78
5.6.1　基於MinHash聚類 78
5.6.2　基於聚類為用戶做推薦 80
5.7　本章小結 80
第6章　矩陣分解推薦算法 83
6.1　矩陣分解推薦算法的核心思想 83
6.2　矩陣分解推薦算法的算法原理 84
6.3　矩陣分解推薦算法的求解方法 85
6.3.1　利用SGD來求解矩陣分解 85
6.3.2　利用ALS來求解矩陣分解 86
6.4　矩陣分解推薦算法的拓展與優化 87
6.4.1　整合偏差項 87
6.4.2　增加更多的用戶信息輸入 87
6.4.3　整合時間因素 88
6.4.4　整合用戶對評分的置信度 89
6.4.5　隱式反饋 89
6.4.6　整合用戶和標的物metadata信息 90
6.5　近實時矩陣分解算法 91
6.5.1　算法原理 92
6.5.2　工程實現 94
6.6　矩陣分解算法的應用場景 97
6.6.1　應用于完全個性化推薦場景 97
6.6.2　應用於標的物關聯標的物場景 98
6.6.3