數據挖掘：你必須知道的32個經典案例(第2版)（簡體書）

本書是為廣大數據分析師量身定制的入門讀物，它旨在幫助讀者站在大數據時代的制高點。數據分析處於統計學、計算機信息科學、運籌學、數據庫等多個領域的交叉地帶，大數據時代的到來大大豐富了數據分析的內涵，數據分析師的職責與以往相比發生了巨大的改變。本書全面介紹了經典數據分析、模式識別、機器學習、深度學習、數據挖掘、商務智能等多個領域的數據分析算法，將大數據時代的數據分析熱點技術一網打盡。本書為每個數據分析算法都搭配了一個經典案例，並按照由易到難的原則構建知識框架，充分照顧了不同水平讀者的閱讀習慣。通過閱讀本書，讀者將對大數據時代下的數據分析有一個全面的認識。無論是入門級的數據分析員還是有一定基礎的數據分析師，都能通過本書完善、加深對數據分析的認識。

任昱衡，博士，副研究員，高級電子商務師，高級硬件工程師，中國電子商務協會電子商務研究院副院長，中國電子商務協會信用體系建設管理中心主任助理，中國電子商務師資質（職稱）認證管理中心主任助理。參與國家多項電子商務法律、法規、標準制定工作，目前主要負責國家電子商務師職業水平（職稱）認證體系的構建和國家電子商務行業企業信用監督工作。

前 言


自2015年以來，“大數據時代”已成為最熱門的名詞之一。大數據在企業決策中扮演著越來越重要的角色，各個行業都不約而同地提出了大數據的口號，與大數據相關的新名詞、新產品不斷湧現，“統計分析和數據挖掘”躋身最受歡迎的求職技能行列，數據分析師的薪酬待遇也遠遠超過平均薪資水平。與數據分析技能之火爆相對應的是數據分析人才的缺失。麥肯錫公司的研究報告表明，截至2018年，全球面臨150萬數據分析人才方面的缺口。這意味著，有150萬的其他行業從業人員將有可能把握住機會，轉型為令人豔羨的數據分析師。
全面的數據改革迫在眉睫，但如何真正落實大數據的應用，仍然是一個富於爭議的話題。數據分析行業內部面臨著相同的困境，在大數據時代，新的數據分析方法層出不窮，原有的數據分析方法也在不斷完善，這些都導致數據分析師這一工作發生了令人措手不及的變化。為了幫助新的從業人員儘快熟悉數據分析這一工作，以及幫助原有的數據分析師儘快完成轉型，本書精心選擇了32個流行的數據分析算法，並佐以案例，供大家瞭解大數據時代下數據分析行業的最新動態。
?本書特色
1. 條理清晰，內容翔實，全面介紹了大數據時代下的數據分析算法體系
數據分析處於統計學、人工智能、模式識別、機器學習等多個領域的交叉處。本書分為8章，每章都有獨立的主題，涵蓋了數據分析所涉及的大部分學科。同時，本書不同章之間存在緊密的關聯，揭示了不同學科之間的異同，以及它們是如何豐富數據分析的內涵並影響數據分析學科發展的軌跡的。通過閱讀本書，讀者將站在制高點，一覽大數據時代下不同數據分析算法是如何彼此關聯而構成完整體系的。
2．語言通俗易懂，內容由易到難，適合各層次的讀者學習
本書語言詼諧有趣，對每個數學公式都不厭其煩地舉例講解，即使毫無高等數學基礎的讀者也能夠讀懂本書所講解的內容。同時，本書嚴格按照由易到難的學習規律編寫，從較為簡單的經典數據分析方法寫起，逐漸過渡到較為晦澀的模式識別、機器學習等內容，通過閱讀本書，讀者將從一個“數據分析小白”迅速進階為基礎扎實、能獨當一面的數據分析師。本書的內容涵蓋了每個算法的原理、公式、適用場景和優缺點。無論是數據分析菜鳥，還是有一定經驗的數據分析師，本書都能夠幫助你拓展、加深對數據分析的認識。
3．案例豐富精彩，應用貼近實際，滿足讀者的多重需求
本書為每個算法都配備了一個精心選擇（兼顧時效性）的商業案例，這些案例橫跨十幾個行業，將大數據時代為人稱道的經典案例一網打盡，滿足了讀者的三大需求：首先，結合案例能將算法講解得更加清楚，加深讀者對算法的認識；其次，這些案例展示了數據分析在各行各業的最新應用，讀者能夠通過它們切實感受到數據分析的魅力，激發讀者學習數據分析的熱情；最後，這些案例涉及多個領域，不僅能夠迎合從事不同領域工作的讀者的口味，也能夠讓讀者瞭解數據分析在不同領域的現狀，從而幫助讀者選擇進一步深入學習的方向。

?第2版說明
第2版在第1版的基礎上，對每章的綜述部分內容進行了擴充，增加了諸如現實進展、應用初窺、算法類型介紹、技術發展歷程等內容。以便讀者能夠更加充分地瞭解這些算法及其落地應用的前世今生，清晰地把握算法是如何提出的、如何迭代的，以及如何應用在解決實際問題當中。此外，為了保證本書的時效性。第2版還修正和補充了一些新的案例和數據，添加了2015―2018年數據挖掘/數據分析領域中的一些新的進展和新的成果。這些努力的目的都是力圖使本書變得更加豐富和形象化，引起讀者對數據挖掘和數據分析相關方面的興趣。此外，鑒於作者水平有限，可能存在謬誤之處，希望您在閱讀本書之時，帶有一些批判的眼光，給予指正和批評。
?本書內容及體系結構
第1章 經典的探索性數據分析案例
本章介紹了4種最基本的數據分析方法，分別是數據收集、數據可視化、異常值分析和對比分析。通過學習這4種數據分析方法，讀者將對數據分析師的工作內容有一個初步的瞭解，使讀者能夠完成初級的數據分析任務。
第2章 經典的相關分析與回歸分析案例
本章的主題是相關分析和回歸分析。這兩種分析方法經典、古老而有效，至今仍被廣泛應用。其中，相關分析能夠為回歸分析做準備，回歸分析又從側面驗證了相關分析結果的正確性。本章涉及1種最常見的相關分析方法和3種最常見的回歸分析方法，通過閱讀本章，讀者將獲得解決小數據樣本下的一大類數據分析問題的能力。
第3章 經典的降維數據分析案例
本章介紹了粗糙集算法、因子分析、最優尺度分析、PCA降維算法等4種降維算法。本章是小數據分析和大數據分析交界的一章，這4種降維算法既可以為小數據分析服務，也可以為大數據分析服務。本章展示了降維分析與相關分析、回歸分析的關聯，加深了讀者對小數據分析的理解，並為讀者打開了大數據分析的大門。
第4章 經典的模式識別案例
本章感興趣的問題是模式識別問題。模式識別算法研究的是如何讓機器像人一樣認識世界，它運用了較多的數學知識，並借助編程方法來實現。圖像分析、遺傳算法、決策樹、K均值是本章關心的主題，本章選取了與數據分析關係最密切的案例，旨在使讀者瞭解模式識別與數據分析的區別與聯繫。
第5章 經典的機器學習案例
本章關心的內容是機器學習，機器學習學科致力於讓機器擁有和人類一樣的思考能力。通過閱讀本章的語義搜索、順序分析、文本分析、協同過濾4個算法，讀者將發現機器學習更多的是從機器的角度來思考問題，這要求讀者擁有更深入的編程思維方式，以便於更好地實現機器學習算法。
第6章 經典的深度學習案例
本章是對上一章的延伸，介紹了支持向量機、兩種神經網絡和RBM算法。深度學習是一個很大的命題，本章僅選取了與數據分析最相關的部分。另外，除向讀者介紹4種深度學習算法以外，還向讀者指明了機器學習未來的發展方向，這將同樣影響到數據分析未來的發展。

第7章 經典的數據挖掘案例
本章介紹了判別分析、購物籃分析、馬爾可夫鏈、AdaBoost元4種算法，實質上是對以上6章的查漏補缺。大數據時代加速了各個學科的融合，數據科學家借鑒了不同學科知識後創造出的數據分析算法也就具有了多種學科的特質。本章將這些“混血”算法集合起來，向讀者展示了數據分析最多變的一面。
第8章 經典的商業智能分析案例
本章是對數據分析的昇華和總結，在真正的數據分析項目中，數據分析師總是會運用多種數據分析方法來構建模型，本章所介紹的案例就是這樣運用多種方法構建模型的例子。同時，本章還進一步辨析了數據分析和數據挖掘的異同，並隱含了作者對所有讀者的寄語，讀完本章後，讀者就能對大數據時代下的數據分析有一個全面深入的認識了。
?本書讀者對象
? 剛剛入行的數據分析人員；
? 統計學、管理學、金融學、計算機技術與科學等專業的學生；
? 想要提高數據分析能力的數據分析師；
? 希望轉行做數據分析的從業人員；
? 想要增加對數據分析的瞭解的主管人員；
? 其他對數據分析感興趣的讀者。

目 錄



第1章 經典的探索性數據分析案例 1
1.1 探索性數據分析綜述 2
1.1.1 什麼是探索性數據分析 2
1.1.2 如何收集數據 4
1.1.3 數據預處理技術 5
1.2 數據巧收集――紅牛的大數據營銷案例 8
1.2.1 狀況百出的紅牛企業 8
1.2.2 紅牛企業巧妙收集消費者數據 9
1.2.3 數據收集小結 12
1.3 數據可視化――數據新聞促使英軍撤軍 13
1.3.1 維基解密帶來的海量數據 13
1.3.2 百花齊放的數據新聞 15
1.3.3 數據可視化小結 18
1.4 異常值分析――Facebook消滅釣魚鏈接 19
1.4.1 Facebook和廣告商之間的拉鋸戰 20
1.4.2 異常值分析指導排名算法工作 22
1.4.3 異常值分析小結 26
1.5 對比分析――TrueCar指導購物者尋找最合算的車價 27
1.5.1 火中取栗的TrueCar網站 28
1.5.2 數據對比贏得消費者信賴 29
1.5.3 對比分析小結 32
第2章 經典的相關分析與回歸分析案例 35
2.1 相關回歸綜述 36
2.1.1 相關回歸簡介 36
2.1.2 相關性分析的發展介紹 38
2.1.3 回歸分析的發展介紹 39
2.2 皮爾遜相關值――紐約市政府利用相關分析監控違法建築 40
2.2.1 簡約而不簡單的消防檢測系統 40
2.2.2 使用相關分析洞察60個變量的關係 42
2.2.3 相關分析小結 45
2.3 時間序列分析――人壽保險的可提費用預測 47
2.3.1 人壽保險公司和可提費用 47
2.3.2 使用4種時間序列回歸預測模型解決問題 49
2.3.3 時間序列分析小結 52
2.4 線性回歸分析――梅西百貨公司的12項大數據策略 54
2.4.1 從“一億豪賭”說起的零售商困境 54
2.4.2 SAS公司幫助梅西百貨構建模型 56
2.4.3 線性回歸分析小結 59
2.5 Logistic回歸分析――大面積流感爆發的預測分析 62
2.5.1 究竟誰才是流感預測算法之王 62
2.5.2 向Logistic算法中引入更多變量 64
2.5.3 Logistic回歸分析小結 67
第3章 經典的降維數據分析案例 69
3.1 降維分析算法綜述 70
3.1.1 為什麼要使用降維算法 70
3.1.2 線性降維算法 72
3.1.3 非線性降維算法 73
3.2 粗糙集算法――協助希臘工業發展銀行制定信貸政策 74
3.2.1 銀行信貸政策的制定原則 75
3.2.2 粗糙集算法的原理和應用 76
3.2.3 粗糙集算法小結 80
3.3 因子分析――基於李克特量表的應聘評價法 82
3.3.1 源于智力測試的因子分析 82
3.3.2 使用因子分析解構問卷 84
3.3.3 因子分析小結 87
3.4 最優尺度分析――直觀評估消費者傾向的分析方法 89
3.4.1 市場調查問題催生的最優尺度分析 89
3.4.2 6種經典的最優尺度分析解讀方法 91
3.4.3 最優尺度分析小結 95
3.5 PCA降維算法――智能人臉識別的應用與拓展 97
3.5.1 刷臉的時代來了 97
3.5.2 使用PCA算法完成降維工作 99
3.5.3 PCA算法小結 102
第4章 經典的模式識別案例 105
4.1 模式識別綜述 106
4.1.1 模式識別簡介 106
4.1.2 模式識別的發展脈絡 107
4.1.3 模式識別應用簡介 110
4.2 圖像分析――穀歌的超前自動駕駛技術 111
4.2.1 以安全的名義呼籲自動駕駛技術 111
4.2.2 快速成熟的無人駕駛技術 113
4.2.3 圖像分析小結 116
4.3 遺傳算法――經典的人力資源優化問題 118
4.3.1 使用有限資源實現利益最大化 118
4.3.2 遺傳算法的計算過程 120
4.3.3 遺傳算法小結 123
4.4 決策樹分析――“沸騰時刻”準確判斷用戶健康水平 124
4.4.1 打造我國最大的健身平臺 124
4.4.2 信息增益和決策樹 126
4.4.3 決策樹小結 129
4.5 K均值聚類分析――HSE24通過為客戶分類降低退貨率 131
4.5.1 在電子商務市場快速擴張的HSE24 131
4.5.2 使用K均值聚類為客戶分類 133
4.5.3 K均值聚類小結 136
第5章 經典的機器學習案例 139
5.1 機器學習綜述 140
5.1.1 機器學習簡介 140
5.1.2 機器學習的主流發展和應用 142
5.2 語義搜索――沃爾瑪搜索引擎提升15%銷售額 143
5.2.1 注重用戶體驗的沃爾瑪公司 144
5.2.2 語義搜索引擎的底層技術和原理 145
5.2.3 語義搜索技術小結 148
5.3 順序分析――搜狗輸入法的智能糾錯系統 150
5.3.1 搜狗輸入法的王牌詞庫和智能算法 151
5.3.2 頻繁樹模式和順序分析算法 153
5.3.3 順序分析小結 156
5.4 文本分析――經典的垃圾郵件過濾系統 158
5.4.1 大數據時代需要文本分析工作 158
5.4.2 垃圾郵件過濾中的分詞技術和詞集模型 160
5.4.3 文本分析小結 163
5.5 協同過濾――構建個性化推薦系統的經典算法 164
5.5.1 協同過濾算法為什麼這麼流行 165
5.5.2 基於用戶和基於產品的協同過濾 166
5.5.3 協同過濾算法小結 169
第6章 經典的深度學習案例 171
6.1 深度學習綜述 172
6.1.1 深度學習簡介 172
6.1.2 深度學習在圖像處理方面的應用 174
6.1.3 深度學習在自然語言處理方面的應用 176
6.2 支持向量機――喬布斯利用大數據對抗癌症 178
6.2.1 喬布斯和胰腺癌的抗爭 178
6.2.2 醫學統計學和支持向量機 180
6.2.3 支持向量機小結 184
6.3 感知器神經網絡――最佳的房產價格預測算法 185
6.3.1 如何預測房價 186
6.3.2 多層感知器和誤差曲面 188
6.3.3 感知器神經網絡小結 191
6.4 自組織神經網絡――如何又快又好地解決旅行商問題 193
6.4.1 最優路徑問題的典型模式和解決方法 193
6.4.2 自組織神經網絡的拓撲結構和權值調整 194
6.4.3 自組織神經網絡小結 198
6.5 RBM算法――為新聞報道智能分類 199
6.5.1 新聞報道智能分類的難與易 199
6.5.2 RBM算法的學習目標和學習方法 201
6.5.3 RBM算法小結 204

第7章 經典的數據挖掘案例 207
7.1 數據挖掘綜述 208
7.1.1 什麼是數據挖掘 208
7.1.2 數據挖掘的主要應用領域 209
7.1.3 數據挖掘模型的評價指標 211
7.2 判別分析――美國運通構建客戶流失預測模型 213
7.2.1 美國運通公司的舊日輝煌 213
7.2.2 判別分析的假設條件和判別函數 214
7.2.3 判別分析小結 218
7.3 購物籃分析――找出零售業的最佳商品組合 220
7.3.1 名動天下的“啤酒和尿布”案例 220
7.3.2 購物籃分析的頻繁模式 222
7.3.3 購物籃分析小結 225
7.4 馬爾可夫鏈――準確預測客運市場佔有率 227
7.4.1 複雜的客運市場系統 227
7.4.2 概率轉移矩陣的求解方法 229
7.4.3 馬爾可夫鏈小結 232
7.5 AdaBoost元算法――有效偵測欺詐交易的複合算法 233
7.5.1 弱分類器和強分類器之爭 233
7.5.2 AdaBoost元算法的分類器構建方法 235
7.5.3 AdaBoost元算法小結 238
第8章 經典的商業智能分析案例 241
8.1 商業智能分析綜述 242
8.1.1 什麼是商業智能 242
8.1.2 商業智能的主流發展與應用 244

8.2 KXEN分析軟件――構建歐洲博彩業下注預測平臺 246
8.2.1 現代博彩業背後的黑手 247
8.2.2 集體智慧和莊家賠率的聯繫 248
8.2.3 KXEN軟件小結 252
8.3 數據廢氣再利用――物流公司數據成功用於評估客戶信用 253
8.3.1 數據廢氣和黑暗數據的異同 254
8.3.2 論如何充分利用物流公司數據 255
8.3.3 數據廢氣再利用小結 258
8.4 必應預測――使用往期信息預測自然災害 259
8.4.1 預測自然災害的必要性 260
8.4.2 微軟大數據預測的優與劣 261
8.4.3 必應預測小結 263
8.5 點球成金――助力NBA大數據分析的多種神秘軟件 265
8.5.1 NBA的有效球員數據 265
8.5.2 有關點球成金的靠譜方法 268
8.5.3 點球成金小結 270