計算機科學叢書：決策算法（簡體書）

本書源於斯坦福大學的相關課程，主要介紹不確定狀態下的決策算法，涵蓋基本的數學問題和求解算法。本書共分為五個部分：首先解決在單個時間點上簡單決策的不確定性和目標的推理問題；然後介紹隨機環境中的序列決策問題；接著討論模型不確定性，包括基於模型的方法和無模型的方法；之後討論狀態不確定性，包括jing確信念狀態規劃、離線信念狀態規劃、在線信念狀態規劃等；zui後討論多智能體系統，涉及多智能體推理和協作智能體等。本書主要關注規劃和強化學習，其中一些技術涉及監督學習和優化。書中的算法是用Julia編程語言實現的，並配有大量圖表、示例和練習題。本書要求讀者具備扎實的數學基礎，適合計算機科學、數學、統計學、電氣工程、航空航天等領域的讀者閱讀。

米凱爾·J. 科申德弗
（Mykel J. Kochenderfer）　
斯坦福大學航空航天系和計算機科學系副教授，智能系統實驗室（SISL）主任。曾任職於麻省理工學院林肯實驗室。目前主要研究用於設計魯棒決策系統的算法和分析方法。他擁有愛丁堡大學博士學位。

蒂姆·A. 惠勒
（Tim A. Wheeler）　
軟件工程師，主要從事自動駕駛、控制和決策系統方面的研發工作。他擁有斯坦福大學博士學位。

凱爾·H. 雷
（Kyle H. Wray）　
Robust AI 公司工程總監，曾任矽谷創新聯盟實驗室首席研究員，目前主要從事自主機器人的研發工作，致力於設計和實現機器人決策系統。他擁有馬薩諸塞大學阿默斯特分校博士學位。

本書源於斯坦福大學的課程“不確定性狀態下的決策”，主要介紹不確定狀態下的決策算法，涵蓋基本的數學問題和求解算法。本書主要關注規劃和強化學習，其中一些技術涉及監督學習和優化。書中的算法是用Julia編程語言實現的，並配有大量圖表、示例和練習題。

前言


Algorithms for Decision Making

本書廣泛而深入地介紹不確定性狀態下的決策算法，涵蓋與決策相關的各種主題，闡述解決相關問題所涉及的基本數學公式和算法。本書還提供各類圖表以及大量的應用示例和練習題，以便向讀者傳達各種方法所隱含的直觀思想。
本書面向高年級本科生、研究生以及專業人士，要求讀者具有扎實的數學基礎，並假設讀者已經掌握了多變量微積分、線性代數和概率論等方面的相關概念和知識。附錄中提供了相關的參考資料。本書適用於數學、統計學、計算機科學、航空航天、電氣工程和運籌學等學科領域。
算法是本書的基礎。本書使用Julia程序設計語言來實現書中的算法。Julia程序設計語言非常適合以人類可讀的形式來描述算法。算法實現的設計重點是可解釋性，而不是執行的效率。對於工業應用程序等，則可以使用替代的實現方案以提高效率。讀者可以免費使用本書中提供的所有代碼片段，但前提是必須明確指出代碼的來源。
Mykel JKochenderfer
Tim AWheeler
Kyle HWray
加利福尼亞州斯坦福
2022年2月28日

目錄


Algorithms for Decision Making




譯者序

前言

致謝


第1章導論1

11決策1

12應用2

121飛機防撞控制系統2

122自動駕駛控制系統2

123乳腺癌篩查2

124金融消費與投資組合配置3

125分布式森林火災監控系統3

126火星科學探測3

13方法3

131顯式編程4

132監督式學習4

133優化4

134規劃4

135強化學習4

14自動化決策過程的歷史4

141經濟學5

142心理學6

143神經科學6

144計算機科學6

145工程7

146數學7

147運籌學8

15社會影響8

16本書組織結構9

161概率推理9

162序列問題9

163模型不確定性10

164狀態不確定性10

165多智能體系統10

第一部分概率推理

第2章表示12

21信念度和概率12

22概率分布12

221離散概率分布13

222連續概率分布13

23聯合分布16

231離散聯合分布16

232連續聯合分配19

24條件分布20

241離散條件模型21

242條件高斯模型21

243線性高斯模型22

244條件線性高斯模型22

245sigmoid模型22

246確定性變量22

25貝葉斯網絡23

26條件獨立性25

27本章小結26

28練習題27
第3章推理30

31貝葉斯網絡中的推理30

32樸素貝葉斯模型中的推理33

33“和積”變量消除35

34信念傳播36

35計算複雜度37

36直接抽樣37

37似然加權抽樣39

38吉布斯抽樣41

39高斯模型中的推理43

310本章小結44

311練習題45
第4章參數學習49

41最大似然參數學習49

411類別分布的最大似然估計50

412高斯分布的最大似然估計50

413貝葉斯網絡的最大似然估計51

42貝葉斯參數學習53

421二元分布的貝葉斯學習54

422類別分布的貝葉斯學習55

423貝葉斯網絡的貝葉斯學習56

43非參數學習57

44缺失數據的學習58

441數據插值58

442期望最大化60

45本章小結62

46練習題62
第5章結構學習66

51貝葉斯網絡評分66

52有向圖搜索68

53馬爾可夫等價類71

54部分有向圖搜索72

55本章小結73

56練習題73
第6章簡單決策75

61理性偏好上的約束75

62效用函數76

63效用誘導76

64最大期望效用原則78

65決策網絡79

66信息價值81

67非理性82

68本章小結84

69練習題84

第二部分序列問題

第7章精確求解方法88

71馬爾可夫決策過程88

72策略評估90

73值函數策略92

74策略迭代93

75值迭代94

76異步值迭代96

77線性規劃方程98

78具有二次型獎勵的線性系統99

79本章小結102

710練習題102
第8章近似值函數108

81參數化表示108

82最近鄰109

83核平滑110

84線性插值112

85單純形插值114

86線性回歸116

87神經網絡回歸119

88本章小結119

89練習題120
第9章在線規劃123

91滾動時域規劃123

92基於預演的前瞻算法124

93正向搜索125

94分支定界法126

95稀疏抽樣127

96蒙特卡羅樹搜索128

97啟發式搜索134

98標記啟發式搜索136

99開環規劃139

991確定性模型預測控制140

992魯棒模型預測控制141

993多重預測模型預測控制142

910本章小結143

911練習題143
第10章策略搜索146

101近似策略評估146

102局部搜索147