大數據與機器學習經典案例(微課視頻版)（簡體書）

前言

教育部新工科培養方案明確指出本科生應具備復雜系統設計能力。本書與此目標完美契合，同時具備高階性、創新性與挑戰性三種特質。本書是四位作者通力合作的成果，具有以下四個特色。

第一，所見即所得。所有編碼和圖表分析，均出自本書案例的實踐過程，與案例100%同步，100%測試，100%可靠。

第二，一例一世界。七個案例，各有側重。案例全部采用國際著名機構發布的真實數據，研究領域涉及房產零售、生物信息、圖像處理、自動駕駛、蛋白質折疊、機器問答、植物病理等。案例從數據分析和預處理開始，到特征工程，再到機器學習建模，最後完成模型評估，系統推演，絲毫畢現。

第三，把脈問前沿。案例聚焦問題前沿與技術前沿，同時兼顧方法的普適性、代表性與先進性。例如，對於歷史經典模型（LeNet5）、結構優美的模型（VGG16）、自身應用廣泛並對後來算法影響深遠的模型（ResNet、Inception）、性能卓著的後起之秀模型（YOLO v1～v4、DenseNet、EfficientNet、EfficientDet、BERT）等，予以重點關注。

第四，視頻求深解。所有章節同步配有作者高清視頻講解，掃描書中二維碼即可在線觀看。視頻不是書本內容的簡單重復，而是再次升華和有益補充。視頻講解彌補了文字在邏輯推演細節上的跳躍，口頭表達帶來了更為豐富的立體感知，視頻講解在聚焦前沿方面亦多有拓展。

本書以應用為導向，理論教學貫穿其中，理論與實踐相得益彰。

回歸問題討論了線性回歸、嶺回歸、Lasso回歸、ElasticNet回歸、XGBoost回歸、Voting回歸和Stacking回歸七種方法在同一問題上的表現。

神經網絡基本理論的內容則循序漸進，包括神經網絡結構、激勵函數、損失函數、梯度下降、正向傳播、反向傳播、偏差與方差、正則化、MiniBatch梯度下降、參數與超參數、優化算法等。

卷積神經網絡的內容囊括卷積核、卷積運算、邊緣擴充、卷積步長、最大池化與平均池化、卷積層、經典結構、1×1卷積等基礎模塊，也包括對經典網絡的剖析與運用，包括LeNet5網絡、VGG16網絡、ResNet網絡、Inception網絡、DenseNet網絡、EfficientNet網絡、EfficientDet網絡等。

自動駕駛與YOLO算法碰撞，從目標檢測、OpenCV、滑動窗口、卷積滑動窗口、Bounding Box、交並比、非極大值抑制、Anchor Box等算法基礎模塊，到最後的YOLO算法v1、v2、v3、v4等一氣呵成。

循環神經網絡和自然語言處理領域，從詞匯表征、詞嵌入向量、注意力機制、Transformer到以BERT模型為核心的機器問答。

本書將理論知識作為獨立教學模塊，與案例推演前後呼應，渾然一體。這種邊理論邊實踐的教學模式，既可在工程實踐中熏陶理論見識，又可在復雜系統設計中淬煉過硬本領。

總之，本書堅持理論與實踐相融合的教學理念，使得案例在易讀、易學、易用、易模仿、易創新等方面形成了自己的特色。作者堅持一流教學標準引領教材各個環節的創作，既有內容美，又有形式美。教材文案設計和視頻講解以讀者為中心，課後習題均有解答，讓讀者學得輕松，學得快樂，學有所成。

本書彩色圖表較多，為了節約印刷成本，彩色圖表以黑白顏色呈現，但是文字表達仍然沿用彩色圖表的描述邏輯，一方面是為了保留彩色圖表的豐富內涵； 另一方面，彩色圖表本身就是實踐的結果。如果讀到描述彩色圖表的文字，可以參照視頻講解、程序文檔或隨書課件，完整復原彩色圖表的廬山真面目。

本書的出版得到了清華大學出版社的大力支持，在此致以衷心感謝！

本書案例編碼借鑒了眾多Kaggle作者、GitHub作者和不知名網絡作者的方案，書中行文或者案例文檔已有注明，部分圖表引用了論文作者的原創，相關論文已列在書末參考文獻中。在此向眾多的網絡作者、原創學者表達謝意！本書部分內容參照了吳恩達老師的深度學習公開課，在此表達崇高敬意！

好作品離不開讀者的反饋，歡迎讀者批評指正。

最後，是寫給讀者的幾句話：

致讀者

數據滔滔，浮光躍金。

機器碌碌，靜影沉璧。

平凡數據，不凡潛力。

生生不息，碌碌不止。

案例領航，風雷萬裡。

鴻蒙壯心，尋根問底。

明明如月，何時可掇？

行到水窮，坐看云起。

編著者2020年5月

目錄

第1章房價預測與回歸問題

1.1數據集

1.2訓練集觀察

1.3列變量觀察

1.4相關矩陣

1.5缺失數據

1.6離群值

1.7正態分布

1.8同方差與異方差

1.9線性回歸假設

1.10參數估計

1.11決定系數

1.12特征工程

1.13數據集劃分與標準化

1.14線性回歸模型

1.15嶺回歸模型

1.16Lasso回歸模型

1.17ElasticNet回歸模型

1.18XGBoost回歸模型

1.19Voting回歸模型

1.20Stacking回歸模型

1.21模型比較

小結

習題

第2章人體蛋白圖譜與卷積神經網絡

2.1數據集

2.2訓練集觀察

2.3標簽向量化

2.4均衡性檢查

2.5構建新訓練集

2.6卷積運算

2.7邊緣擴充

2.8卷積步長

2.9三維卷積

2.10定義卷積層

2.11簡單卷積神經網絡

2.12定義池化層

2.13經典結構LeNet5

2.14卷積網絡結構剖析

2.15為什麼使用卷積

2.16數據集劃分

2.17圖像的特征表示

2.18蛋白圖像的特征矩陣

2.19數據標準化

2.20模型定義

2.21模型訓練

2.22模型評估

2.23模型預測

小結

習題

第3章細胞圖像與深度卷積

3.1數據集

3.2數據采集

3.3數據集觀察

3.4數據分布

3.5篩選數據集

3.6神經網絡

3.7符號化表示

3.8激勵函數

3.9損失函數

3.10梯度下降

3.11正向傳播

3.12反向傳播

3.13偏差與方差

3.14正則化

3.15MiniBatch梯度下降

3.16優化算法

3.17參數與超參數

3.18Softmax回歸

3.19VGG16卷積網絡

3.20ResNet卷積網絡

3.211×1卷積

3.22Inception卷積網絡

3.23合成細胞彩色圖像

3.24數據集劃分

3.25制作HDF5數據集

3.26遷移學習與特征提取

3.27基於VGG16的遷移學習

3.28訓練ResNet50模型

3.29ResNet50模型預測

小結

習題

第4章自動駕駛與YOLO算法

4.1認識自動駕駛

4.2數據集

4.3數據集觀察

4.4變量觀察

4.5場景觀察

4.6場景動畫

4.7目標檢測

4.8特征點檢測

4.9滑動窗口實現目標檢測

4.10卷積方法實現滑動窗口

4.11初識YOLO算法

4.12交並比

4.13非極大值抑制

4.14Anchor Boxes

4.15YOLO技術演進

4.16用OpenCV顯示圖像

4.17用OpenCV播放視頻

4.18用GoogLeNet對圖像分類

4.19用GoogLeNet對視頻逐幀分類

4.20YOLO v3預訓練模型

4.21YOLO v3對圖像做目標檢測

4.22YOLO v3對視頻做目標檢測

4.23YOLO v3對駕駛場景做目標檢測

小結

習題

第5章AlphaFold與蛋白質結構預測

5.1什麼是AlphaFold

5.2肽鍵、多肽與肽鏈

5.3蛋白質的四級結構

5.4數據集

5.5篩選蛋白質序列

5.6計算殘基之間的距離

5.7二面角與拉氏構象圖

5.8計算二面角Phi（Φ）和Psi（Ψ）

5.9裁剪殘基序列的OneHot矩陣

5.10裁剪評分矩陣和二面角標簽

5.11定義二面角預測模型

5.12二面角模型參數設定與訓練

5.13二面角模型預測與評價

5.14定義距離預測模型

5.15構建殘基序列3D特征矩陣

5.16構建3D評分矩陣

5.17定義距離標簽的3D矩陣

5.18距離模型參數設定與訓練

5.19距離模型預測與評價

小結

習題

第6章機器問答與BERT模型

6.1Google開放域數據集

6.2序列模型與RNN

6.3詞向量

6.4注意力機制

6.5Transformer模型

6.6BERT模型

6.7數據集分析

6.8F1分數

6.9定義BERT模型和RoBERTa模型

6.10訓練BERT微調模型

6.11用BERT微調模型預測

小結

習題

第7章蘋果樹病蟲害識別與模型集成

7.1數據集

7.2葉片觀察

7.3RGB通道觀察

7.4葉片圖像分類觀察

7.5葉片類別分布統計

7.6Canny邊緣檢測

7.7數據增強

7.8劃分數據集

7.9DenseNet模型定義

7.10DenseNet模型訓練

7.11DenseNet模型預測與評估

7.12EfficientNet模型定義

7.13EfficientNet模型訓練

7.14EfficientNet模型預測與評估

7.15EfficientNet Noisy Student模型

7.16EfficientDet模型

7.17模型集成

小結

習題

參考文獻