機器學習與優化（簡體書）

本書是機器學習實戰領域的一本佳作，從機器學習的基本概念講起，旨在將初學者引入機器學習的大門，並走上實踐的道路。本書通過講解機器學習中的監督學習和無監督學習，並結合特徵選擇和排序、聚類方法、文本和網頁挖掘等熱點問題，論證了“優化是力量之源”這一觀點，為機器學習在企業中的應用提供了切實可行的操作建議。

【作者簡介】

羅伯托·巴蒂蒂（Roberto Battiti）
人工智能領域先驅，IEEE會士。因在無功搜索優化（RSO）方向做出了開創性的工作而名震學界。 目前為意大利特倫托大學教授，同時擔任特倫托大學機器學習與智能優化實驗室（LION lab）主任。

毛羅·布魯納托（Mauro Brunato）
意大利特倫托大學助理教授，LION研究團隊成員。

【譯者簡介】

王彧弋
博士，現于瑞士蘇黎世聯邦理工學院從事研究工作，主要研究方向為理論計算機科學與機器學習。

第 1章 引言 1
1.1　學習與智能優化：燎原之火　1
1.2　尋找黃金和尋找伴侶　3
1.3　需要的只是數據　5
1.4　超越傳統的商業智能　5
1.5　LION方法的實施　6
1.6　“動手”的方法　6
第　2章 懶惰學習：最近鄰方法　9
第3章　學習需要方法　14
3.1　從已標記的案例中學習：最小化和泛化　16
3.2　學習、驗證、測試　18
3.3　不同類型的誤差　21
第　一部分 監督學習
第4章　線性模型　26
4.1　線性回歸　27
4.2　處理非線性函數關係的技巧　28
4.3　用於分類的線性模型　29
4.4　大腦是如何工作的　30
4.5　線性模型為何普遍，為何成功　31
4.6　最小化平方誤差和　32
4.7　數值不穩定性和嶺回歸　34
第5章　廣義線性最小二乘法　37
5.1　擬合的優劣和卡方分佈　38
5.2　最小二乘法與最大似然估計　42
5.2.1　假設檢驗　42
5.2.2　交叉驗證　44
5.3　置信度的自助法　44
第6章　規則、決策樹和森林　50
6.1　構造決策樹　52
6.2　民主與決策森林　56
第7章　特徵排序及選擇　59
7.1　特徵選擇：情境　60
7.2　相關係數　62
7.3　相關比　63
7.4　卡方檢驗拒絕統計獨立性　64
7.5　熵和互信息　64
第8章　特定非線性模型　67
8.1　logistic 回歸　67
8.2　局部加權回歸　69
8.3　用LASSO來縮小係數和選擇輸入值　72
第9章　神經網絡：多層感知器　76
9.1　多層感知器　78
9.2　通過反向傳播法學習　80
9.2.1　批量和bold driver反向傳播法　81
9.2.2　在線或隨機反向傳播　82
9.2.3　訓練多層感知器的高級優化　83
第　10章 深度和卷積網絡　84
10.1　深度神經網絡　85
10.1.1　自動編碼器　86
10.1.2　隨機噪聲、屏蔽和課程　88
10.2　局部感受野和卷積網絡　89
第　11章 統計學習理論和支持向量機　94
11.1　經驗風險最小化　96
11.1.1　線性可分問題　98
11.1.2　不可分問題　100
11.1.3　非線性假設　100
11.1.4　用於回歸的支持向量　101
第　12章 最小二乘法和健壯內核機器　103
12.1　最小二乘支持向量機分類器　104
12.2　健壯加權最小二乘支持向量機　106
12.3　通過修剪恢復稀疏　107
12.4　算法改進：調諧QP、原始版本、無補償　108
第　13章 機器學習中的民主　110
13.1　堆疊和融合　111
13.2　實例操作帶來的多樣性：裝袋法和提升法　113
13.3　特徵操作帶來的多樣性　114
13.4　輸出值操作帶來的多樣性：糾錯碼　115
13.5　訓練階段隨機性帶來的多樣性　115
13.6　加性logistic回歸　115
13.7　民主有助於準確率－拒絕的折中　118
第　14章 遞歸神經網絡和儲備池計算　121
14.1　遞歸神經網絡　122
14.2　能量極小化霍普菲爾德網絡　124
14.3　遞歸神經網絡和時序反向傳播　126
14.4　遞歸神經網絡儲備池學習　127
14.5　超限學習機　128
第二部分　無監督學習和聚類
第　15章 自頂向下的聚類：K均值　132
15.1　無監督學習的方法　134
15.2　聚類：表示與度量　135
15.3　硬聚類或軟聚類的K均值方法　137
第　16章 自底向上（凝聚）聚類　142
16.1　合併標準以及樹狀圖　142
16.2　適應點的分佈距離：馬氏距離　144
16.3　附錄：聚類的可視化　146
第　17章 自組織映射　149
17.1　將實體映射到原型的人工皮層　150
17.2　使用成熟的自組織映射進行分類　153
第　18章 通過線性變換降維（投影）　155
18.1　線性投影　156
18.2　主成分分析　158
18.3　加權主成分分析：結合坐標和關係　160
18.4　通過比值優化進行線性判別　161
18.5　費希爾線性判別分析　163
第　19章 通過非線性映射可視化圖與網絡　165
19.1　最小應力可視化　166
19.2　一維情況：譜圖繪製　168
19.3　複雜圖形分佈標準　170
第　20章 半監督學習　174
20.1　用部分無監督數據進行學習　175
20.1.1　低密度區域中的分離　177
20.1.2　基於圖的算法　177
20.1.3　學習度量　179
20.1.4　集成約束和度量學習　179
第三部分　優化：力量之源
第　21章 自動改進的局部方法　184
21.1　優化和學習　185
21.2　基於導數技術的一維情況　186
21.2.1　導數可以由割線近似　190
21.2.2　一維最小化　191
21.3　求解高維模型（二次正定型）　191
21.3.1　梯度與最速下降法　194
21.3.2　共軛梯度法　196
21.4　高維中的非線性優化　196
21.4.1　通過線性查找的全域收斂　197
21.4.2　解決不定黑塞矩陣　198
21.4.3　與模型信賴域方法的關係　199
21.4.4　割線法　200
21.4.5　縮小差距：二階方法與線性複雜度　201
21.5　不涉及導數的技術：反饋仿射振盪器　202
21.5.1　RAS：抽樣區域的適應性　203
21.5.2　為健壯性和多樣化所做的重複　205
第　22章 局部搜索和反饋搜索優化　211
22.1　基於擾動的局部搜索　212
22.2　反饋搜索優化：搜索時學習　215
22.3　基於禁忌的反饋搜索優化　217
第　23章 合作反饋搜索優化　222
23.1　局部搜索過程的智能協作　223
23.2　CoRSO：一個政治上的類比　224
23.3　CoRSO的例子：RSO與RAS合作　226
第　24章 多目標反饋搜索優化　232
24.1　多目標優化和帕累托最優　233
24.2　腦－計算機優化：循環中的用戶　235
第四部分　應用精選
第　25章 文本和網頁挖掘　240
25.1　網頁信息檢索與組織　241
25.1.1　爬蟲　241
25.1.2　索引　242
25.2　信息檢索與排名　244
25.2.1　從文檔到向量：向量－空間模型　245
25.2.2　相關反饋　247
25.2.3　更複雜的相似性度量　248
25.3　使用超鏈接來進行網頁排名　250
25.4　確定中心和權威：HITS　254
25.5　聚類　256
第　26章 協同過濾和推薦　257
26.1　通過相似用戶結合評分　258
26.2　基於矩陣分解的模型　260
參考文獻　263
索引　269