機器學習：算法視角(原書第2版)（簡體書）

機器學習融合了計算機科學、統計學、數學、工程學等多個學科，應用領域遍及經濟、生物、醫藥、物理、化學等。本書針對計算機科學專業學生遇到的統計學基礎知識不足的問題，聚焦於機器學習中的算法，清晰呈現算法背後的數學和統計學知識，同時提供必要的編程技巧和實驗方法。
書中全面涵蓋各類算法，如神經網絡、多層感知器、徑向基函數、支持向量機、進化學習、強化學習、決策樹學習、無監督學習、圖模型等。第2版進行了全面修訂和更新，以反映機器學習的新發展，新增了兩個章節來討論深度置信網絡和高斯過程，此外，還添加了隨機森林、考慮精度的方法、MLP的共軛梯度優化、卡爾曼濾波和粒子濾波等內容。
本書的代碼示例採用Python語言編寫，所有代碼均可從stephenmonika.net免費下載。

史蒂芬·馬斯蘭（Stephen Marsland），新西蘭惠靈頓維多利亞大學數學與統計學院教授，兼任新西蘭複雜系統卓越研究中心項目主管，負責複雜性、風險與不確定性等相關主題的研究工作。研究興趣是幾何和複雜系統的應用，主要涉及形狀空間、機器學習和算法。



高陽， 教授/博導，目前任南京大學計算機科學與技術系副主任，中國計算機學會機器學習專委會副主任。1997年開始從事人工智能、機器學習、多Agent系統、大數據、圖像和視頻分析等方向的學術研究。2010年入選教育部新世紀優秀人才計劃。曾獲2017年度中國人工智能學會吳文俊自然科學獎二等獎、2018年度江蘇省科學技術獎二等獎。

商琳 ， 博士／副教授，1998年起任教于南京大學計算機科學與技術系，長期從事人工智能、機器學習、計算智能、文本挖掘、圖像與視頻理解等領域的教學與科研工作。目前擔任中國計算機學會人工智能與模式識別專委會委員，中國人工智能學會粒計算與知識發現專委會副秘書長。

第2版前言
第1版前言
第1章　緒論1
　1.1　如果數據有質量，地球將成為黑洞1
　1.2　學習3
1.2.1　機器學習3
　1.3　機器學習的類別4
　1.4　監督學習5
1.4.1　回歸5
1.4.2　分類6
　1.5　機器學習過程7
　1.6　關於編程的注意事項8
　1.7　本書的學習路線 9
　拓展閱讀10
第2章　預備知識11
　2.1　專業術語11
2.1.1　權重空間11
2.1.2　維度災難12
　2.2　知你所知：測試機器學習算法13
2.2.1　過擬合14
2.2.2　訓練集、測試集和驗證集14
2.2.3　混淆矩陣15
2.2.4　精度指標16
2.2.5　受試者工作特徵曲線17
2.2.6　不平衡數據集17
2.2.7　度量精度18
　2.3　數據與概率的轉換19
2.3.1　最小化風險20
2.3.2　樸素貝葉斯分類21
　2.4　基本統計概念22
2.4.1　平均值22
2.4.2　方差與協方差22
2.4.3　高斯分佈24
　2.5　權衡偏差與方差24
　拓展閱讀26
　習題26
第3章　神經元、神經網絡和線性判別27
　3.1　大腦和神經元27
3.1.1　Hebb法則27
3.1.2　McCulloch和Pitts神經元28
3.1.3　McCulloch和Pitts神經元模型的局限性29
　3.2　神經網絡30
　3.3　感知器31
3.3.1　學習速率η32
3.3.2　輸入偏置32
3.3.3　感知器學習算法33
3.3.4　感知器學習示例34
3.3.5　具體實現35
　3.4　線性可分性39
3.4.1　感知器收斂定理40
3.4.2　XOR函數41
3.4.3　有用的領悟42
3.4.4　另一個示例：皮馬印第安人數據集43
3.4.5　數據預處理44
　3.5　線性回歸45
3.5.1　示例46
　拓展閱讀47
　習題48
第4章　多層感知器49
　4.1　前向50
4.1.1　偏置50
　4.2　後向：誤差的反向傳播50
4.2.1　多層感知器算法53
4.2.2　初始化權重55
4.2.3　不同的輸出激活函數56
4.2.4　順序和批量訓練57
4.2.5　局部最小57
4.2.6　利用衝量58
4.2.7　小批量和隨機梯度下降58
4.2.8　其他改善方法59
　4.3　實踐中的MLP59
4.3.1　訓練數據的量59
4.3.2　隱藏層的數目59
4.3.3　什麼時候停止學習60
　4.4　MLP應用示例61
4.4.1　回歸問題61
4.4.2　使用MLP分類63
4.4.3　分類示例：iris數據集64
4.4.4　時間序列預測66
4.4.5　數據壓縮：自動關聯網絡68
　4.5　MLP使用指南69
　4.6　反向傳播的推導70
4.6.1　網絡輸出70
4.6.2　網絡誤差70
4.6.3　激活函數的要求71
4.6.4　誤差的後向傳播72
4.6.5　輸出激活函數74
4.6.6　誤差函數的另一種形式75
　拓展閱讀75
　習題76
第5章　徑向基函數和樣條函數77
　5.1　感受野77
　5.2　徑向基函數網絡79
5.2.1　訓練RBF網絡80
　5.3　插值和基函數82
5.3.1　基和基擴展83
5.3.2　三次樣條函數84
5.3.3　用樣條擬合數據84
5.3.4　平滑樣條85
5.3.5　更高維度86
5.3.6　邊界之外86
　拓展閱讀87
　習題87
第6章　維度約簡88
　6.1　線性判別分析89
　6.2　主成分分析91
6.2.1　PCA算法與多層感知器的關係94
6.2.2　核PCA94
　6.3　因素分析96
　6.4　獨立成分分析97
　6.5　局部線性嵌入98
　6.6　ISOMAP算法100
6.6.1　多維標度法101
　拓展閱讀102
　習題103
第7章　概率學習104
　7.1　高斯混合模型104
7.1.1　期望最大化算法105
7.1.2　信息準則107
　7.2　最近鄰法108
7.2.1　近鄰平滑109
7.2.2　有效的距離計算：KD-Tree110
7.2.3　距離度量112
　拓展閱讀114
　習題114
第8章　支持向量機115
　8.1　最優分割115
8.1.1　間隔和支持向量116
8.1.2　約束優化問題117
8.1.3　非線性可分問題的鬆弛變量119
　8.2　核120
8.2.1　選擇核121
8.2.2　示例：XOR122
　8.3　支持向量機算法122
8.3.1　實現123
8.3.2　示例125
　8.4　支持向量機的拓展126
8.4.1　多類分類126
8.4.2　支持向量機回歸127
8.4.3　其他優勢128
　拓展閱讀128
　習題128
第9章　優化和搜索130
　9.1　下山法130
9.1.1　泰勒展開132
　9.2　最小二乘優化133
9.2.1　Levenberg-Marquardt算法133
　9.3　共軛梯度法137
9.3.1　示例139
9.3.2　共軛梯度和MLP139
　9.4　搜索：三種基本方法141
9.4.1　窮舉法141
9.4.2　貪婪搜索142
9.4.3　爬山法142
　9.5　開發和探索143
　9.6　模擬退火法143
9.6.1　算法比較144
　拓展閱讀145
　習題145
第10章　進化學習146
　10.1　遺傳算法147
10.1.1　字符串表示147
10.1.2　評價適應度148
10.1.3　種群148
10.1.4　產生後代：選擇父母149
　10.2　產生後代：遺傳算子150
10.2.1　交叉150
10.2.2　變異151
10.2.3　精英法、比賽法和小生境151
　10.3　使用遺傳算法153
10.3.1　圖著色153
10.