基於不確定性的決策樹歸納（簡體書）

《基於不確定性的決策樹歸納》主要介紹不確定性及不確定環境下的決策樹歸納方法，包括模糊決策樹歸納、最優割點的模糊化處理、決策樹優化、主動學習與特徵選擇在模糊決策樹中的應用、模糊決策樹的集成學習等內容。本書結合作者近年來關於決策樹歸納學習的研究成果，以決策樹歸納學習的基本理論為基礎，全面系統地討論了決策樹歸納學習中的主要問題。《基於不確定性的決策樹歸納》可作為應用數學、智能科學與技術、自動化等專業高年級本科生和研究生的教材，也可供從事相關研究工作的科研人員參考。

《基于不確定性的決策樹歸納》可作為應用數學、智能科學與技術、自動化等專業高年級本科生和研究生的教材，也可供從事相關研究工作的科研人員參考。

《信息科學技術學術著作叢書》序前言第1章 不確定性1.1 隨機性1.2 模糊性1.3 不可指定性1.4 粗糙性1.5 幾種不確定性的比較參考文獻第2章 不確定環境下的決策樹歸納2.1 決策樹歸納簡介2.2 連續值屬性的決策樹歸納2.3 最優割點的模糊化處理2.4 模糊決策樹歸納2.5 模糊決策樹算法中三種常用啟發式比較2.6 交互作用度量2.7 聚類決策樹參考文獻第3章 決策樹的優化3.1 基於分支合併的決策樹優化3.2 基於優化學習的模糊規則簡化3.3 通過混合神經網絡改善模糊決策樹的學習精度3.4 提高模糊規則泛化能力的最大化模糊熵方法3.5 優化模糊規則的T-S範式神經網絡方法3.6 模糊決策樹構建過程中的參數選擇參考文獻第4章 主動學習和模糊決策樹的特徵選擇4.1 主動學習簡介4.2 選擇具有代表性的樣例4.3 調整特徵權重以提高支持向量機的泛化能力4.4 最優模糊值屬性子集選擇4.5 基於最大不確定性的主動學習4.6 採用主動學習提高學習系統的泛化能力參考文獻第5章 模糊決策樹的集成學習5.1 集成學習簡介5.2 分層混合專家系統5.3 基於模糊粗糙集技術的多模糊決策樹歸納5.4 模糊決策森林5.5 基於上積分的集成學習5.6 基於集合劃分的非線性積分及其在決策樹中的應用參考文獻第6章 不確定環境下的其他歸納學習方法6.1 基於粗糙集的模糊規則抽取方法6.2 基於模糊粗糙集技術的模糊決策樹6.3 模糊多類支持向量機6.4 基於模糊擴張矩陣的規則抽取方法6.5 基於CBR的規則抽取方法6.6 支持向量機反問題6.7 基於局部泛化誤差的RBFNN特徵選擇方法6.8 結構化最大間隔分類器參考文獻

第1章 不確定性
現實世界中存在許多不確定性現象，例如描述身高的“中等個頭”，描述溫度的“大約37 攝氏度”，描述年齡的“青年”等。不確定性（uncertainty）在人們生活中幾乎無處不在，因此研究不確定性的表現、刻畫及度量是很有意義的。不確定性在不同學科有不同的含義，因此很難給出不確定性的明確定義。不確定性有多種，大致可以劃分為兩大類：客觀不確定性和認知不確定性［1］。客觀不確定性的大小不以人的主觀意志而改變，通常包括隨機性（randomness）和粗糙性（roughness）。隨機性是由客觀系統產生的不確定性；粗糙性是由當前掌握的知識不足而造成的概念刻畫上的不確定性。認知不確定性是人類在感知、思考和推理過程中產生的不確定性。認知不確定性通常包括模糊性（fuzziness 或vagueness）和不可指定性（non-specificity 或ambiguity）。模糊性是由于人們無法給出清晰準確的界限而產生的不確定性；不可指定性是人們在處理一對多關系時產生的不確定性。總的來說這兩類不確定性一類是客觀的，另一類是主觀的。本章重點介紹隨機性、模糊性、不可指定性和粗糙性。
1.1 隨 機 性
1.1.1 隨機現象
隨機現象從表面上看雜亂無章、沒有規律，但實踐證明，如果同類的隨機現象大量重復出現，總體上就會呈現一定的規律性［2］。比如擲一枚質地均勻的硬幣，每一次投擲前很難預料是哪一面朝上，但是如果多次重復地投擲，就會發現正面朝上和反面朝上的次數大體相同。
1.1.2 概率分布
概率論以隨機變量為工具研究隨機現象，這里不做贅述，僅簡單介紹本書使用較多的離散型隨機變量及其概率分布。在概率論中，對具有下列特征的實驗稱為隨機實驗：
（1） 可以在相同的條件下重復進行。
（2） 每次實驗的可能結果不止一個，并且能事先明確實驗的所有可能結果。
（3） 進行一次實驗之前不能確定哪一個結果會出現。
……
1.2 模 糊 性
1.2.1 模糊現象
模糊性是人們在對客觀世界認識過程中，無法給出清晰準確的界限而產生的不確定性［4］。生活中有許多模糊性概念，例如黎明、黃昏。這兩個模糊概念是因為人們無法對晝夜轉換給出一個清晰的界限而產生的。這些模糊性概念內涵很清楚，但外延模糊。我們每個人都明白黎明、黃昏的含義，但無法具體給出一個清晰的時間段，說這個時間段就是黎明，那個時間段就是黃昏。在晝夜轉化過程中，人們因為無法給出一個清晰的界限，所以在語言上產生了黎明和黃昏這兩個模糊概念。模糊性是在人類對客觀世界認知過程中產生的，因而這種模糊性更多地體現 在人類的語言中。
在人類的認知世界中，有很多概念是模糊的，沒有明確的兩極邊界，例如在日常生活中的大小、長短、輕重、高低等都是模糊概念。傳統的集合理論很難對這類概念進行恰當地刻畫。1965年，美國科學院院士Zadeh 教授提出模糊集合論，為模糊概念的表示和模糊推理的形成奠定了數學基礎。模糊集合論，使計算機可以跨越“黑白”兩極邊界，在“灰色”中間地帶發揮作用［4］。
模糊集合論認為，論域上的對象從屬于集合是逐漸過渡的，而不是突然變化的。它把元素屬于集合的概念模糊化，認為論域上存在既非完全屬于某集合，又非完全不屬于某集合的元素；它又把屬于概念量化，強調一個元素屬于某一集合的程度，而不是集合中包含哪些元素。稱元素屬于某一集合的程度為隸屬度。
1.2.2 模糊集
模糊集和隸屬函數的定義如下［5］。定義1.2.1設A是論域U 到［0，1］的一個映射，即A ：U →［0，1］，uaA（u）稱A為U 上的模糊集，稱A（u）為模糊集A的隸屬函數。
從上述定義可以看出，模糊集A完全由其隸屬函數A （u）刻畫，把論域U 中的每一個元素u 都映射為［0，1］上的一個值A（u），A（ u）越大，表示元素u 隸屬于模糊集A的程度越高。當A（u）的值只取0或1時，模糊集A便退化為一個普通集合（清晰集合） 。
為了書寫方便，在不引起混淆的情況下，后面將不加說明地省去模糊集A上面的波浪符號，簡寫為A。
……