深入淺出：工業機器學習算法詳解與實戰（簡體書）

實用性是本書的基本出發點，書中介紹了近年來在工業界被廣泛應用的機器學習算法，這些算法經受了時間的考驗，不但效果好而且使用方便。此外，本書也十分注重理論的深度和完整性，內容編排力求由淺入深、推理完整、前後連貫、自成體系，先講統計學、矩陣、優化方法這些基礎知識，再介紹線性模型、概率圖模型、文本向量化算法、樹模型和深度學習。與大多數機器學習圖書不同，本書還介紹了算法周邊的一些工程架構及實現原理，比如如何實時地收集訓練樣本和監控算法指標、參數服務器的架構設計、做A/B 測試的注意事項等。

本書理論體系完整，公式推導清晰，可作為機器學習初學者的自學用書。讀者無需深厚的專業知識, 本科畢業的理工科學生都能看懂。另外由於本書與工業實踐結合得很緊密，所以也非常適合於從事算法相關工作的工程技術人員閱讀。

收錄了近年來在工業界被廣泛應用的機器學習算法和算法周邊的一些工程架構及實現原理

前 言
第 1 章 概述
1.1 機器學習基本流程 /1
1.2 業界常用算法 /2
1.3 構建機器學習系統 /3
第 2 章 統計學
2.1 概率分佈 /5
2.1.1 期望與方差 /5
2.1.2 概率密度函數 /7
2.1.3 累積分佈函數 /10
2.2 極大似然估計與貝葉斯估計 /11
2.2.1 極大似然估計 /11
2.2.2 貝葉斯估計 /13
2.2.3 共軛先驗與平滑的關係 /15
2.3 置信區間 /15
2.3.1 t 分佈 /16
2.3.2 區間估計 /17
2.3.3 Wilson 置信區間 /19
2.4 相關性 /20
2.4.1 數值變量的相關性 /20
2.4.2 分類變量的相關性 /22
2.4.3 順序變量的相關性 /27
2.4.4 分佈之間的距離 /28
第 3 章 矩陣
3.1 矩陣的物理意義 /30
3.1.1 矩陣是什麼 /30
3.1.2 矩陣的行列式 /31
3.1.3 矩陣的逆 /32
3.1.4 特徵值和特徵向量 /32
3.2 矩陣的數值穩定性 /33
3.2.1 矩陣數值穩定性的度量 /33
3.2.2 基於列主元的高斯{約當消元法 /33
3.2.3 嶺回歸 /38
3.3 矩陣分解 /38
3.3.1 特徵值分解與奇異值分解 /39
3.3.2 高維稀疏矩陣的特徵值分解 /40
3.3.3 基於矩陣分解的推薦算法 /45
3.4 矩陣編程實踐 /46
3.4.1 numpy 數組運算 /46
3.4.2 稀疏矩陣的壓縮方法 /50
3.4.3 用 MapReduce 實現矩陣乘法 /52
第 4 章 優化方法
4.1 無約束優化方法 /54
4.1.1 梯度下降法 /54
4.1.2 擬牛頓法 /56
4.2 帶約束優化方法 /58
4.3 在線學習方法 /61
4.3.1 隨機梯度下降法 /61
4.3.2 FTRL 算法 /63
4.4 深度學習中的優化方法 /70
4.4.1 動量法 /70
4.4.2 AdaGrad /71
4.4.3 RMSprop /71
4.4.4 Adadelta /71
4.4.5 Adam /72
4.5 期望最大化算法 /72
4.5.1 Jensen 不等式 /73
4.5.2 期望最大化算法分析 /73
4.5.3 高斯混合模型 /77
第 5 章 線性模型
5.1 廣義線性模型 /79
5.1.1 指數族分佈 /79
5.1.2 廣義線性模型的特例 /80
5.2 邏輯回歸模型 /83
5.3 分解機制模型 /84
5.3.1 特徵組合 /84
5.3.2 分解機制 /86
5.3.3 分解機制模型構造新特徵的思路 /87
5.4 基於域感知的分解機制模型 /88
5.5 算法實驗對比 /95
第 6 章 概率圖模型
6.1 隱馬爾可夫模型 /98
6.1.1 模型介紹 /98
6.1.2 模型訓練 /101
6.1.3 模型預測 /102
6.2 條件隨機場模型 /103
6.2.1 條件隨機場模型及特徵函數 /103
6.2.2 向前變量和向後變量 /107
6.2.3 模型訓練 /110
6.2.4 模型預測 /111
6.2.5 條件隨機場模型與隱馬爾可夫模型的對比 /112
第 7 章 文本向量化
7.1 詞向量 /113
7.1.1 word2vec /113
7.1.2 fastText /117
7.1.3 GloVe /118
7.1.4 算法實驗對比 /120
7.2 文檔向量 /121
7.2.1 Paragraph Vector /121
7.2.2 LDA /123
第 8 章 樹模型
8.1 決策樹 /130
8.1.1 分類樹 /131
8.1.2 回歸樹 /134
8.1.3 剪枝 /137
8.2 隨機森林 /139
8.3 AdaBoost /140
8.4 XGBoost /141
8.5 LightGBM /146
8.5.1 基於梯度的單邊採樣算法 /147
8.5.2 互斥特徵捆綁 /147
8.5.3 Leaf-Wise 生長策略 /148
8.5.4 DART /149
8.6 算法實驗對比 /150
第 9 章 深度學習
9.1 神經網絡概述 /154
9.1.1 網絡模型 /154
9.1.2 反向傳播 /157
9.1.3 損失函數 /158
9.1.4 過擬合問題 /159
9.1.5 梯度消失 /161
9.1.6 參數初始化 /161
9.2 卷積神經網絡 /162
9.2.1 卷積 /162
9.2.2 池化 /165
9.2.3 CNN 網絡結構 /165
9.2.4 textCNN /167
9.3 循環神經網絡 /168
9.3.1 RNN 通用架構 /168
9.3.2 RNN 的學習問題 /170
9.3.3 門控循環單元 /172
9.3.4 LSTM /174
9.3.5 seq2seq /177
9.4 注意力機制 /179
第 10 章 Keras 編程
10.1 快速上手 /182
10.2 Keras 層 /184
10.2.1 Keras 內置層 /184
10.2.2 自定義層 /191
10.3 調試技巧 /194
10.3.1 查看中間層的輸出 /194
10.3.2 回調函數 /195
10.4 CNN 和 RNN 的實現 /198
第 11 章 推薦系統實戰
11.1 問題建模 /203
11.2 數據預處理 /206
11.2.1 歸一化 /206
11.2.2 特徵哈希 /208
11.3 模型探索 /210
11.3.1 基於共現的模型 /210
11.3.2 圖模型 /211
11.3.3 DeepFM /214
11.3.4 DCN /219
11.4 推薦服務 /221
11.4.1 遠程過程調用簡介 /221
11.4.2 gRPC 的使用 /223
11.4.3 服務發現與負載均衡 /226
第 12 章 收集訓練數據
12.1 日誌的設計 /229
12.2 日誌的傳輸 /231
12.3 日誌的合併 /238
12.4 樣本的存儲 /248
第 13 章 分布式訓練
13.1 參數服務器 /250
13.2 基於 PS 的優化算法 /256
13.3 在線學習 /259
第 14 章 A/B 測試
14.1 實驗分組 /261
14.2 指標監控 /266
14.2.1 指標的計算 /266
14.2.2 指標的上報與存儲 /267
14.2.3 指標的展現與監控 /269
14.3 實驗結果分析 /272