化學數據挖掘方法與應用（簡體書）

《21世紀計算機化學叢書:化學數據挖掘方法與應用》主要介紹了化學常用數據挖掘方法和技術的基本原理，并重點介紹了模式識別、支持向量機、集成學習方法在材料設計、工業優化、構效關系、生物信息學等領域的應用研究實例。《21世紀計算機化學叢書:化學數據挖掘方法與應用》所有應用研究實例全部取自作者的應用研究課題，有關算法程序可采用作者開發的應用軟件HyperMiner(見附錄1）。
《21世紀計算機化學叢書:化學數據挖掘方法與應用》可供化學、化工及相關領域的科研人員和工程技術人員閱讀，亦可作為高等學校的教學參考書。

計算機在理論化學和應用化學各個領域的廣泛應用，極大地促進了化學學科的發展，并產生了一系列交叉學科，如計算（機）化學、化學計量學、化學信息學等。
化學化工領域積累了大量的科學實驗和生產實際數據，如何總結這些數據中的規律性，進而用以指導以後的科學實驗和生產操作，這是一項非常有意義的工作，這項工作的實施需要數據挖掘技術與化學化工知識和科學實踐的結合。
所謂化學數據挖掘（ChemicalDataMining），就是利用機器學習方法對化學化工（或相關學科）中有關數據樣本進行采集、整理、分析、建模等，試圖歸納和總結數據中蘊含的規律性，進而利用所建定性或定量的數學模型預報未知樣本的性質。化學數據挖掘的應用研究內容涉及材料設計、分子設計、化工過程優化等領域。化學數據挖掘方法和技術已成為化學信息學、生物信息學的主要研究工具。
利用化學數據挖掘方法和技術，可以總結藥物分子的構效關系，即藥物的生物活性與其結構特征參數（分子描述符）之間的定量或定性關系，在此基礎上可以設計和預測新的高活性化合物。利用化學數據挖掘方法和技術，可以總結新材料的物理化學性質與其組成元素的原子參數、化學配方、制備工藝等參數之間的定性或定量關系，在此基礎上可以輔助新材料研制和新產品開發，達到事半功倍的效果。利用化學數據挖掘方法和技術，對大型現代化工廠（特別是煉油廠、化工廠和煉鋼廠）的生產操作過程作“工業診斷”，找出優化生產的“瓶頸”問題，建立解決“瓶頸”問題的數據挖掘模型，在此基礎上可以實現低成本、高收率、低能耗、高質量地生產和制備各種化學產品。因此，利用化學數據挖掘所得研究對象的統計規律，可以指導我們更好地開展下一步的科學實驗和生產實踐，達到“事半功倍”的目的。化學數據挖掘方法和技術的應用成本低，卻可能在科學實驗中節省人力物力，甚至在工業生產中產生可觀的經濟效益，因而化學數據挖掘方法和技術有廣泛的應用背景。
筆者長期從事化學數據挖掘方法在化學化工領域的應用研究工作，在該研究領域積累了大量成功應用實例，我們開發的化學數據挖掘軟件HyperMiner和基于數據挖掘的工業優化控制系統已在國內若干大型企業得到實際應用，達到了增產降耗的目的。本書從化學工作者易于理解的角度介紹常用數據挖掘方法的基本原理，并重點介紹作者近年來在材料設計、工業優化、構效關系、生物信息學等領域的數據挖掘工作。
筆者曾與我國已故著名化學家陳念貽先生長期合作研究，很多工作曾得益于陳念貽先生的指導和幫助。筆者曾作為合作者協助陳念貽先生出版過兩本學術專著，即《模式識別方法在化學化工中的應用》（科學出版社，2000）和《SupportVectorMachineinChemistry》（WorldScientificPublishingCoPteLtd,2004），本書的出版是筆者對于恩師陳念貽先生的化學數據挖掘工作在上海大學的繼承和發展。本書有關科研工作得到了國家自然科學基金委員會、上海市科學技術委員會、上海寶山鋼鐵集團、云南省科技廳、北京石油化工設計院等單位的資助；有關學術研究和技術開發工作得到了筆者的研究生們的大力配合，其中劉旭和顧天鴻博士等在算法程序方面做了較多工作，楊善升和鈕冰博士等在化學數據挖掘應用方面做了較多的工作；本書的出版得到了化學工業出版社的支持，在此一并致謝。
為方便讀者學以致用，筆者為讀者提供了化學數據挖掘應用軟件HyperMiner，讀者下載後可免費使用30天（附錄1含該軟件簡介和下載方法），希望廣大讀者能通過具體應用案例學習和受益。本書可供化學、化工及相關領域的科研人員和工程技術人員閱讀，亦可作為高等學校的教學參考書。
化學數據挖掘涉及的研究領域很廣，本書只是介紹了部分常用方法在筆者涉獵的研究領域中的工作，有關數據挖掘方法包括變量相關分析和多元統計、模式識別、人工神經網絡、遺傳算法、支持向量機、集成學習、特征篩選等；有關數據挖掘方法的綜合應用案例涉及材料設計、工業優化、構效關系和生物信息學等領域。由于筆者的學識和工作所限，疏漏和不足之處在所難免，歡迎各位讀者和研究同行提出寶貴意見。
陸文聰
2011年8月于上海大學

1化學數據挖掘綜述1
1 1化學數據挖掘的目的和意義1
1 1 1數據挖掘與材料設計2
1 1 2數據挖掘與構效關系4
1 1 3數據挖掘與工業優化5
1 2化學數據挖掘方法概要7
1 3化學數據挖掘應用進展9
1 3 1機器學習的數學本質11
1 3 2統計模型的';過擬合';問題12
1 3 3模式識別優化算法及其改進13
1 3 4支持向量機算法的應用效果14
1 3 5建立綜合運用多種算法的數據處理平臺14
參考文獻15
2模式識別基本原理和方法19
2 1模式識別方法的基本原理和預備知識19
2 2模式識別經典方法21
2 2 1最近鄰方法21
2 2 2主成分分析方法22
2 2 3多重判別矢量和Fisher判別矢量方法24
2 2 4偏最小二乘方法27
2 2 5非線性映照方法28
2 3模式識別應用技術29
2 3 1最佳投影識別方法30
2 3 2超多面體建模32
2 3 3逐級投影建模方法32
2 3 4最佳投影回歸方法34
2 3 5模式識別逆投影方法37
2 4決策樹算法38
2 4 1C4 5算法39
2 4 2隨機決策樹算法40
2 4 3隨機森林算法41
參考文獻42
3人工神經網絡和遺傳算法44
3 1人工神經網絡44
3 1 1反向人工神經網絡44
3 1 2Kohonen自組織網絡46
3 2遺傳算法47
參考文獻49
4支持向量機方法51
4 1統計學習理論（SLT）簡介51
4 1 1背景51
4 1 2原理52
4 2支持向量分類（SVC）算法53
4 2 1線性可分情形53
4 2 2非線性可分情形55
4 3支持向量機（SVM）的核函數55
4 4支持向量回歸（SVR）方法57
4 4 1線性回歸情形57
4 4 2非線性回歸情形58
4 5支持向量機分類與回歸算法的實現58
4 6應用前景59
參考文獻60
5集成學習方法62
5 1集成學習算法概述62
5 2Boosting算法64
5 3Adaboost算法65
5 4Bagging算法67
參考文獻68
6特征選擇方法和應用70
6 1特征選擇研究概述70
6 2基于支持向量分類的特征選擇71
6 2 1後向浮動搜索算法71
6 2 2用SVMBFS進行特征選擇71
6 3支持向量回歸的特征選擇73
6 3 1PRIFER算法73
6 3 2計算結果的評價準則73
6 3 3PRIFER方法與常規計算方法的結果比較74
6 4集成學習及其特征選擇75
6 4 1個體子集的特征選擇76
6 4 2基于預報風險的特征選擇77
6 4 3PRIFEB算法77
6 4 4UCI數據集上的計算結果78
參考文獻78
7鈣鈦礦型離子導體導電性的數據挖掘81
7 1鈣鈦礦型離子導體與燃料電池材料81
7 2鈣鈦礦的結構特性83
7 3鈣鈦礦型晶體的原子參數86
7 3 1鈣鈦礦容忍因子86
7 3 2鈣鈦礦平均離子半徑87
7 3 3鈣鈦礦單位晶格邊值與臨界半徑88
7 3 4鈣鈦礦組成元素的電負性89
7 3 5鈣鈦礦平均離子極化率與所帶電荷90
7 3 6鈣鈦礦原子參數與量化參數的組合91
7 4鈣鈦礦離子導體數據的收集92
7 5數據集的自變量篩選93
7 5 1自變量的經典統計相關性分析93
7 5 2貝葉斯網絡進行變量關聯性分析94
7 5 3前進後退法進行自變量篩選95
7 6多種數據挖掘方法建立原子參數鈣鈦礦導電能力模型97
7 6 1PLS，BPANN與SVR建立的回歸模型97
7 6 2回歸模型的留一法交叉驗證與獨立測試集驗證99
7 6 3SVR模型的敏感性分析104
參考文獻104
8熔鹽相圖數據庫的數據挖掘108
8 1相圖計算的意義108
8 2原子參數模式識別方法概述109
8 3智能數據庫技術在材料科學中的應用110
8 4熔鹽相圖智能數據庫的研究和開發111
8 5判別鹵化物體系是否形成中間化合物117
8 6白鎢礦結構物相含稀土異價固溶體的形成規律119
8 6 1白鎢礦型物相及其異價固溶體的形成規律120
8 6 2白鎢礦型MⅠM′Ⅲ(XO4)2(X=Mo,W)物
相及其異價固溶體的形成規律121
8 7鈣鈦礦及類鈣鈦礦結構的物相的若干規律性122
8 7 1鈣鈦礦結構的復鹵化物的若干規律性123
8 7 2含鈣鈦礦結構層的夾層化合物的規律124
參考文獻128
9鍍錫薄鋼板質量的數據挖掘131
9 1鍍錫薄鋼板的發展131
9 2鍍錫板生產過程簡介132
9 3鍍錫板耐蝕性能與工業生產軟熔條件的關系134
9 4鍍錫板耐蝕性能與實驗室模擬軟熔條件的關系135
9 5工業生產中防止淬水斑產生的數學模型136
9 6鍍錫板淬水斑的實驗室模擬研究138
參考文獻140
10合成氨生產效益的數據挖掘142
10 1氨合成裝置簡介143
10 1 1生產原理143
10 1 2生產流程144
10 1 3生產數據的復雜性和數據挖掘的必要性144
10 2DMOS合成氨優化系統的開發145
10 2 1DMOS合成氨優化系統簡介146
10 2 2DMOS合成氨優化系統離線版軟件147
10 2 3DMOS合成氨優化系統在線版軟件152
10 2 4DMOS合成氨優化系統優化生產實施步驟155
10 2 5DMOS合成氨優化系統主要特點156
10 3氨合成裝置生產優化模型的研究157
10 3 1數據集158
10 3 21號合成塔生產優化數學模型161
10 4討論和結論165
參考文獻167
11分子結構性質關系的數據挖掘171
11 1偶氮染料最大吸收波長的支持向量回歸模型171
11 1 1分子結構特征參數的計算和篩選172
11 1 2支持向量回歸的計算結果172
11 1 3討論179
11 2胍類化合物Na/H交換抑制活性的支持向量分類模型179
11 2 1特征參數的計算與篩選180
11 2 2支持向量分類的計算結果181
11 2 3與其他方法的比較182
11 3抗艾滋病藥物HEPT活性的支持向量分類模型182
11 3 1特征參數的計算與篩選183
11 3 2支持向量分類的計算結果185
11 3 3與其他方法的比較185
11 4三唑類化合物分子篩選的最佳投影識別模型186
11 4 1特征參數的計算和篩選186
11 4 2特征參數間的共線性檢查187
11 4 3OPR法的計算188
11 4 4OPR法的測試結果188
11 4 5結論189
參考文獻190
12HIV1蛋白?特異性位點的數據挖掘193
12 1數據集準備195
12 2mRMR方法和特征選取196
12 3不同的特征子集建模預報能力比較199
12 4特征分析和結論200
參考文獻202
13蛋白質結構及功能類型預測205
13 1用集成學習方法預測蛋白質的亞細胞定位205
13 1 1蛋白質亞細胞定位的生物學基礎及研究現狀206
13 1 2蛋白質亞細胞定位數據集以及特征參數的提取210
13 1 3亞細胞定位預測中模型參數的選擇與模型的驗證212
13 1 4分析與討論213
13 2蛋白質結構類型的集成學習方法預測213
13 2 1蛋白質結構類型簡介及研究現狀213
13 2 2數據集以及特征參數的提取215
13 2 3預測蛋白質結構類型時的模型參數選擇與模型驗證215
13 2 4分析與討論220
13 3膜蛋白類型的集成學習方法預測221
13 3 1膜蛋白簡介及計算預測研究現狀221
13 3 2膜蛋白預測的數據集以及特征參數的提取223
13 3 3預測膜蛋白質類型的模型參數選擇與模型驗證224
13 3 4預測膜蛋白質類型的模型變量分析227
13 4蛋白質亞細胞定位和膜蛋白類型預報的在線Web服務229
參考文獻231
附錄1';HyperMiner數據挖掘軟件';下載和應用說明238
一、軟件簡介和下載方法238
二、應用案例：VPTC材料最佳配方及最佳工藝條件的探索238
附錄2第6章所用的數據集241
一、大腦膠質瘤數據集241
二、多元校正數據集242
三、基因芯片數據集243
參考文獻244