基於Spark的下一代機器學習：XGBoost、LightGBM、Spark NLP與Keras分布式深度學習實例（簡體書）

本書先簡單介紹了Spark和SparkMLlib，然後介紹標準SparkMLlib庫之外的更強大的第三方機器學習算法和庫。通過閱讀本書，你將能夠通過幾十個實際的例子和深刻的解釋，將所學到的知識應用到真實世界的用例。

Intelvi AI創始人兼首席人工智能官傾情奉獻；寫給機器學習從業者的實際操作指南

前言
致謝
關於作者
關於技術審校人員
第1章　機器學習介紹 1
1.1　人工智能和機器學習用例 2
1.1.1　零售業 2
1.1.2　交通運輸 3
1.1.3　金融服務 3
1.1.4　醫療保健和生物技術 3
1.1.5　製造業 3
1.1.6　政府部門 4
1.2　機器學習與數據 4
1.3　機器學習方法 6
1.3.1　有監督學習 6
1.3.2　無監督學習 6
1.3.3　半監督學習 6
1.3.4　強化學習 6
1.4　深度學習 7
1.5　神經網絡 7
1.6　卷積神經網絡 7
1.7　特徵工程 7
1.7.1　特徵選擇 8
1.7.2　特徵重要性 9
1.7.3　特徵提取 9
1.7.4　特徵構建 9
1.8　模型評估 10
1.8.1　準確率 10
1.8.2　精度 10
1.8.3　召回率 11
1.8.4　F1度量 11
1.8.5　AUROC 11
1.9　過擬合與欠擬合 12
1.10　模型選擇 12
1.11　總結 12
1.12　參考資料 13
第2章　Spark和Spark MLlib
介紹 16
2.1　概述 16
2.2　架構 17
2.3　執行Spark應用程序 19
2.3.1　集群模式 19
2.3.2　客戶端模式 19
2.4　spark-shell介紹 19
2.4.1　SparkSession 20
2.4.2　彈性分布式數據集 21
2.5　Spark SQL、DataSet和DataFrame的 API 29
2.6　Spark數據源 31
2.6.1　CSV 31
2.6.2　XML 31
2.6.3　JSON 32
2.6.4　關系數據庫和MPP數據庫 33
2.6.5　Parquet 36
2.6.6　HBase 36
2.6.7　Amazon S3 41
2.6.8　Solr 42
2.6.9　Microsoft Excel 43
2.6.10　SFTP 44
2.7　Spark MLlib介紹 44
2.8　ML管道 46
2.8.1　管道 47
2.8.2　轉換器 47
2.8.3　估計器 47
2.8.4　ParamGridBuilder 47
2.8.5　CrossValidator 47
2.8.6　評估器 47
2.9　特徵提取、轉換和選擇 48
2.9.1　StringIndexer 48
2.9.2　Tokenizer 49
2.9.3　VectorAssembler 50
2.9.4　StandardScaler 51
2.9.5　StopWordsRemover 52
2.9.6　n-gram 52
2.9.7　OneHotEncoderEstimator 53
2.9.8　SQLTransformer 54
2.9.9　詞頻–逆文檔頻率 55
2.9.10　主成分分析 57
2.9.11　ChiSqSelector 57
2.9.12　Correlation 58
2.10　評估指標 60
2.10.1　AUROC 60
2.10.2　F1度量 61
2.10.3　均方根誤差 61
2.11　模型持久化 62
2.12　Spark MLlib示例 62
2.13　圖處理 66
2.14　超越Spark MLlib：第三方機器學習集成 66
2.15　利用Alluxio優化Spark和Spark MLlib 66
2.16　為什麼使用Alluxio 68
2.16.1　顯著提高大數據處理性能和可擴展性 68
2.16.2　多個框架和應用程序可以以讀寫內存的速度共享數據 69
2.17　在應用程序終止或失敗時提供高可用性和持久性 71
2.18　優化總體內存使用並最小化垃圾收集 74
2.19　降低硬件要求 74
2.20　Apache Spark和Alluxio 75
2.21　總結 75
2.22　參考資料 76
第3章　有監督學習 79
3.1　分類 79
3.1.1　分類類型 79
3.1.2　Spark MLlib分類算法 80
3.1.3　第三方分類和回歸算法 85
3.1.4　使用邏輯回歸算法的多類別分類 86
3.1.5　使用隨機森林算法進行流失預測 95
3.1.6　使用XGBoost4J-Spark的極端梯度提升算法 108
3.1.7　LightGBM：來自微軟的快速梯度提升算法 118
3.1.8　使用樸素貝葉斯進行情感分析 127
3.2　回歸 133
3.2.1　簡單線性回歸 134
3.2.2　使用XGBoost4J-Spark進行多元回歸分析 137
3.2.3　使用LightGBM進行多元回歸分析 143
3.3　總結 148
3.4　參考資料 149
第4章　無監督學習 154
4.1　k-means聚類算法 154
4.2　使用隱含狄利克雷分佈進行主題建模 162
4.2.1　Stanford CoreNLP 163
4.2.2　John Snow實驗室的Spark NLP 164
4.2.3　示例 170
4.3　使用孤立森林進行異常檢測 182
4.3.1　參數 185
4.3.2　示例 186
4.4　使用主成分分析進行降維 188
4.5　總結 197
4.6　參考資料 197
第5章　推薦 200
5.1　推薦引擎的種類 201
5.1.1　使用交替最小二乘法的協同過濾 201
5.1.2　參數 203
5.1.3　示例 203
5.2　使用FP增長進行購物籃分析 209
5.2.1　示例 210
5.2.2　基於內容的過濾 217
5.3　總結 218
5.4　參考資料 218
第6章　圖分析 221
6.1　圖介紹 221
6.1.1　無向圖 221
6.1.2　有向圖 222
6.1.3　有向多重圖 222
6.1.4　屬性圖 223
6.2　圖分析用例 223
6.2.1　欺詐檢測和反洗錢 224
6.2.2　數據治理和法規遵從性 224
6.2.3　風險管理 224
6.2.4　運輸 225
6.2.5　社交網絡 225
6.2.6　網絡基礎