人工智能數學基礎（簡體書）

各行各業不斷涌現人工智能應用，資本大量涌入人工智能領域，互聯網企業爭搶人工智能人才……人工智能正迎來發展“黃金期”。放眼全球，人工智能人才儲備告急，僅我國，人工智能的人才缺口即超過500萬人，而國內人工智能人才供求比例僅為1:10。為此，加強人才培養、填補人才空缺成了當務之急。

2017年，國務院發布《新一代人工智能發展規劃》，明確將舉全國之力在2030年搶占人工智能全球制高點，要加快培養聚集人工智能高端人才，完善人工智能領域學科布局，設立人工智能專業。2018年，教育部印發《高等學校人工智能創新行動計劃》，要求“對照國家和區域產業需求布點人工智能相關專業……加大人工智能領域人才培養力度”。2019年，國家主席習近平在致2019中國國際智能產業博覽會的賀信中指出，以互聯網、大數據、人工智能為代表的新一代信息技術日新月異，中國高度重視智能產業發展，加快數字產業化、產業數字化，推動數字經濟和實體經濟深度融合。

在國家政策支持及人工智能發展新環境下，全國各大高校紛紛發力，設立人工智能專業，成立人工智能學院。根據教育部發布的《教育部關於公布2020年度普通高等學校本科專業備案和審批結果的通知》，2020年，全國共有130所高校新增“人工智能”專業，84所高校新增“智能制造工程”專業，53所高校新增“機器人工程”專業；在2021年普通高等學校本科新增設的37個專業中，電子信息類和人工智能類專業共11個，約占本科新增專業的1/3，其中包括智能交互設計、智能測控工程、智能工程與創意設計、智能采礦工程、智能交通、智能飛行器技術、智能影像工程等，人工智能成為主流方向的趨勢已經不可逆轉！

然而，在人工智能人才培養和人工智能課程建設方面，大部分院校仍處於起步階段，需要探索的問題還有很多。例如，人工智能作為新專業，尚未形成系統的人工智能人才培養課程體系及配套資源；同時，人工智能教材大多內容老舊、晦澀難懂，大幅度提高了人工智能專業的學習門檻；再者，過多強調理論學習，以及實踐應用的缺失，使人工智能人才培養面臨新困境。

由此可見，人工智能作為注重實踐性的綜合型學科，對相應人才培養提出了易學性、實戰性和系統性的要求。高級人工智能人才培養叢書以此為出發點，尤其強調人工智能內容的易學性及對讀者動手能力的培養，並配套豐富的課程資源，解決易學性、實戰性和系統性難題。

易學性：能看得懂的書才是好書，本叢書在內容、描述、講解等方面始終從讀者的角度出發，緊貼讀者關心的熱點問題及行業發展前沿，注重知識體系的完整性及內容的易學性，賦予人工智能名詞與術語生命力，讓學習人工智能不再舉步維艱。

實戰性：與單純的理論講解不同，本叢書由國內一線師資和具備豐富人工智能實戰經驗的團隊攜手傾力完成，不僅內容貼近實際應用需求，保有高度的行業敏感性，同時幾乎每章都有配套實戰實驗，使讀者能夠在理論學習的基礎上，通過實驗進一步鞏固提高。“云創大數據”使用本叢書介紹的一些技術，已經在模糊人臉識別、超大規模人臉比對、模糊車牌識別、智能醫療、城市整體交通智能優化、空氣污染智能預測等應用場景下取得了突破性進展。特別是在2020年年初，我受邀率“云創大數據”同事加入了鐘南山院士的團隊，我們使用大數據和人工智能技術對新冠肺炎疫情發展趨勢做出了不同於國際預測的準確預測，為國家的正確決策起到了支持作用，並發表了高水平論文。

系統性：本叢書配套免費教學PPT，無論是教師、學生，還是其他讀者，都能通過教學PPT更為清晰、直觀地了解和展示圖書內容。與此同時，“云創大數據”研發了配套的人工智能實驗平臺，以及基於人工智能的專業教學平臺，實驗內容和教學內容與本叢書完全對應。

本叢書非常適合作為“人工智能”和“智能科學與技術”專業的系列教材，也適合“智能制造工程”“機器人工程”“智能建造”“智能醫學工程”專業部分選用作為教材。

在此，特別感謝我的碩士生導師謝希仁教授和博士生導師李三立院士。謝希仁教授所著的《計算機網絡》已經更新到第7版，與時俱進且日臻完善，時時提醒學生要以這樣的標準來寫書。李三立院士為我國計算機事業作出了杰出貢獻，曾任國家攀登計劃項目首席科學家。他嚴謹治學，帶出了一大批杰出的學生。

本叢書是集體智能的結晶，在此謹向付出辛勤勞動的各位作者致敬！書中難免會有不當之處，請讀者不吝賜教。

劉 鵬

2021年3月

第1章 人工智能與數學 1
1．1 微積分 1
1．2 線性代數 2
1．2．1 向量和矩陣 3
1．2．2 範數和內積 3
1．2．3 線性變換 4
1．2．4 特征值和特征向量 4
1．2．5 奇異值分解（SVD） 5
1．3 概率論 6
1．4 數理統計 6
1．5 最優化理論 7
1．5．1 目標函數 7
1．5．2 線性規劃 7
1．5．3 梯度下降法 7
習題 8
參考文獻 8
第2章 初等數學 9
2．1 函數 9
2．1．1 函數的概念 9
2．1．2 函數的性質 10
2．1．3 特殊函數 11
2．1．4 復合函數和逆函數 13
2．1．5 綜合案例及應用 14
2．2 數列 16
2．2．1 數列的概念 17
2．2．2 數列的分類 17
2．2．3 綜合案例及應用 18
2．3 排列組合和二項式定理 18
2．3．1 排列 19
2．3．2 組合 19
2．3．3 二項式定理 20
2．3．4 綜合案例及應用 21
2．4 集合[1] 22
2．4．1 集合的相關概念 22
2．4．2 集合關係 23
2．4．3 基數 24
2．4．4 集合運算 25
2．4．5 綜合案例及應用 26
2．5 實驗：基於函數遞歸過程的功能實現 28
2．5．1 實驗目的 28
2．5．2 實驗要求 28
2．5．3 實驗原理 28
2．5．4 實驗步驟 28
2．5．5 實驗結果 29
習題 29
參考文獻 30
第3章 微積分初步 31
3．1 極限與連續性 31
3．1．1 極限 31
3．1．2 連續性 33
3．2 導數與微分 34
3．2．1 導數 34
3．2．2 偏導數 39
3．2．3 梯度和方向導數 40
3．3 導數在函數性質中的應用 41
3．3．1 單調性 42
3．3．2 凹凸性 43
3．3．3 極值 45
3．4 一元積分學 46
3．4．1 不定積分 46
3．4．2 微分方程 47
3．4．3 定積分 47
3．5 多元積分學 48
3．5．1 二重積分的概念 49
3．5．2 二重積分的計算 49
3．6 實驗：梯度下降法[8-9] 52
3．6．1 實驗目的 52
3．6．2 實驗要求 52
3．6．3 實驗原理 52
3．6．4 實驗步驟 53
3．6．5 實驗結果 55
習題 55
參考文獻 56
第4章 線性代數 58
4．1 行列式 58
4．1．1 行列式定義 58
4．1．2 行列式的性質 60
4．1．3 行列式的計算 62
4．2 矩陣 63
4．2．1 矩陣的概念 63
4．2．2 矩陣的運算 65
4．2．3 矩陣的初等變換 67
4．2．4 矩陣的秩 69
4．3 向量 69
4．3．1 n維向量的定義 69
4．3．2 n維向量間的線性關係 71
4．3．3 向量組的秩 72
4．3．4 梯度、海森矩陣與雅可比矩陣 73
4．4 線性方程組 74
4．4．1 齊次線性方程組解的結構 74
4．4．2 非齊次線性方程組解的結構 75
4．5 二次型 76
4．5．1 特征值與特征向量 76
4．5．2 相似矩陣 78
4．5．3 二次型 79
4．5．4 正定二次型 82
4．6 實驗：矩陣運算 83
4．6．1 實驗目的 83
4．6．2 實驗要求 83
4．6．3 實驗原理、步驟及結果 84
習題 87
參考文獻 88
第5章 概率論 89
5．1 概述 89
5．1．1 概率論發展簡史 89
5．1．2 概率論的主要內容 90
5．2 隨機事件及其概率 90
5．2．1 隨機事件的運算 92
5．2．2 隨機事件的概率 93
5．2．3 條件概率 95
5．3 隨機變量 97
5．3．1 隨機變量的概率分布 97
5．3．2 隨機變量的數字特征 102
5．3．3 常見的概率分布 104
5．4 貝葉斯理論 105
5．4．1 貝葉斯公式的推導 105
5．4．2 貝葉斯公式的應用舉例 107
5．4．3 貝葉斯理論的前景 109
5．5 極限理論 110
5．5．1 收斂 110
5．5．2 大數定理 110
5．5．3 中心極限定理 111
5．6 基於Python的泊松分布仿真實驗 113
5．6．1 實驗目的 113
5．6．2 實驗要求 113
5．6．3 實驗原理 113
5．6．4 實驗步驟 113
5．6．5 實驗結果 114
習題 115
參考文獻 116
第6章 數理統計 117
6．1 概述 117
6．1．1 數理統計發展簡史 117
6．1．2 數理統計的主要內容 118
6．2 總體與樣本 118
6．2．1 總體與樣本簡介 118
6．2．2 數據的特征 118
6．2．3 統計量 122
6．3 參數估計 122
6．3．1 最大似然估計 122
6．3．2 貝葉斯估計 124
6．3．3 點估計與矩估計 124
6．3．4 蒙特卡羅方法的基本原理 125
6．4 假設檢驗 125
6．4．1 基本概念 125
6．4．2 Neyman-Pearson 基本引理 127
6．4．3 參數假設檢驗 130
6．4．4 檢驗 131
6．5 回歸分析 132
6．5．1 一元線性回歸 132
6．5．2 可化為一元線性回歸的非線性回歸 135
6．5．3 多元線性回歸 136
6．6 實驗：基於Python實現用蒙特卡羅方法求圓周率π 137
6．6．1 實驗目的 137
6．6．2 實驗要求 137
6．6．3 實驗原理 137
6．6．4 實驗步驟 138
6．6．5 實驗結果 139
習題 139
參考文獻 140
第7章 函數逼近 141
7．1 函數插值 141
7．1．1 線性函數插值 141
7．1．2 多項式插值 143
7．1．3 樣條插值 144
7．1．4 徑向基函數插值 146
7．2 曲線擬合 148
7．2．1 線性最小二乘法 148
7．2．2 非線性曲線擬合 150
7．2．3 貝塞爾曲線擬合 152
7．3 最佳逼近 153
7．3．1 函數空間範數與最佳逼近問題 153
7．3．2 最佳一致逼近 155
7．3．3 最佳平方逼近 157
7．4 核函數逼近 159
7．4．1 核方法原理 159
7．4．2 常見核函數 160
7．4．3 支持向量機及其在函數逼近中的應用 160
7．5 神經網絡逼近 163
7．5．1 神經網絡函數逼近定理 163
7．5．2 BP神經網絡在函數逼近中的應用 164
7．5．3 RBF神經網絡在函數逼近中的應用 167
7．6 實驗：黃河小浪底調水調沙問題 170
7．6．1 實驗目的 170
7．6．2 實驗要求 170
7．6．3 實驗原理 171
7．6．4 實驗步驟及結果 171
習題 173
參考文獻 174
第8章 最優化理論 176
8．1 最優化理論的基礎知識 176
8．1．1 最優化示例 176
8．1．2 最優化的基本概念 177
8．1．3 求最優化問題的一般過程 180
8．1．4 最優化問題的幾何解釋 180
8．1．5 最優化問題的基本解法 182
8．2 線性規劃 183
8．2．1 線性規劃問題及其數學模型 183
8．2．2 線性規劃問題的幾何意義 189
8．2．3 單純形法 190
8．3 非線性規劃 193
8．3．1 非線性規劃的基本概念 193
8．3．2 無約束條件下的單變量函數最優化方法 194
8．3．3 無約束條件下的多變量函數最優化方法 198
8．4 實驗：用梯度下降法求Rosenbrock函數的極值 208
8．4．1 實驗目的 208
8．4．2 實驗要求 208
8．4．3 實驗原理 208
8．4．4 實驗步驟 208
8．4．5 實驗結果 211
習題 211
參考文獻 212
第9章 信息論 213
9．1 概述 213
9．1．1 信息論的形成和發展 213
9．1．2 信息論對人工智能的影響 214
9．1．3 信息的基本概念 214
9．1．4 通信系統模型 215
9．2 信息的度量 216
9．2．1 自信息量 217
9．2．2 條件自信息量 219
9．2．3 聯合自信息量 221
9．2．4 互信息量與條件互信息量 221
9．2．5 互信息量的性質 222
9．3 信源與信息熵 222
9．3．1 平均自信息量（熵） 223
9．3．2 平均條件自信息量（條件熵） 225
9．3．3 聯合熵 226
9．3．4 相對熵 227
9．3．5 熵函數的性質 228
9．3．6 平均互信息量 229
9．3．7 平均互信息量的性質 229
9．3．8 平均互信息量與熵、條件熵的關係[12] 229
9．3．9 關於平均互信息量的兩條定理 230
9．3．10 熵在決策樹中的應用 231
9．4 信道與信道容量 231
9．4．1 信道的分類 232
9．4．2 離散無記憶信道容量 234
9．4．3 連續信道容量 237
9．5 信道編碼 238
9．5．1 信道編碼的基本概念 238
9．5．2 信道譯碼規則 239
9．5．3 信道編碼定理 242
9．5．4 信道編碼逆定理 242
9．6 網絡信息安全及密碼 242
9．6．1 網絡信息安全概述 243
9．6．2 密碼技術 243
9．6．3 密碼技術在信息安全中的應用 245
9．7 實驗一：繪制二進制熵函數曲線 246
9．7．1 實驗目的 246
9．7．2 實驗要求 246
9．7．3 實驗原理 246
9．7．4 實驗步驟 247
9．7．5 實驗結果 249
9．8 實驗二：信息增益的計算 250
9．8．1 實驗目的 250
9．8．2 實驗要求 251
9．8．3 實驗原理 251
9．8．4 實驗步驟 251
9．8．5 實驗結果 254
習題 255
參考文獻 256
第10章 圖論 258
10．1 圖的認識 258
10．1．1 圖的基本概念 258
10．1．2 圖中結點的度數 260
10．1．3 常見的圖 260
10．1．4 子圖 261
10．1．5 圖的同構 261
10．2 路與回路 262
10．2．1 路和回路 262
10．2．2 連通性 262
10．2．3 最短路徑 264
10．2．4 關鍵路徑 264
10．2．5 綜合案例及應用 266
10．3 圖的矩陣表示 268
10．3．1 鄰接矩陣表示 268
10．3．2 關聯矩陣表示 269
10．3．3 綜合案例及應用 270
10．4 歐拉圖與哈密頓圖 271
10．4．1 歐拉圖 271
10．4．2 哈密頓圖 273
10．4．3 綜合案例及應用 274
10．5 樹 275
10．5．1 樹的概念 275
10．5．2 生成樹 276
10．5．3 二叉樹 277
10．5．4 綜合案例及應用 280
10．6 實驗：最優樹理論和應用 281
10．6．1 實驗目的 281
10．6．2 實驗要求 281
10．6．3 實驗原理 281
10．6．4 實驗步驟 282
10．6．5 實驗結果 283
習題 284
參考文獻 285
附錄A 人工智能實驗環境 286
附錄B 人工智能云平臺 292