深度學習：智能機器人應用的理論與實踐（簡體書）

智能機器人發展日新月異，相關的機器學習技術受到廣泛關注。本書以其中關鍵的深度學習理論與實踐為主線，系統介紹了機器智能、機器學習和神經網絡的概念與算法；機器學習的參數及其擬合和欠擬合的問題；神經網絡等數學模型；卷積神經網絡模型；循環神經網絡；注意力機制以及深度學習的算法；基於深度學習的人機協作識別、動作抓取、平面檢測等應用知識。本書適宜從事機械、自動控制等智能機器人相關專業的技術人員參考，也可作為相關專業的本科教材。

前建峰，江南大學機械工程學院教授，博士生導師。2004年7月畢業於上海交通大學機械與動力工程學院，獲機械電子工程專業工學博士學位。中國機械工業教育協會機器人工程專業委員、中國電機工程學會會員、中國化工學會過濾與分離專業委員會委員、中國食品加工機械標準化技術委員。曾獲2023年中國輕工業聯合會科學技術獎一等獎(排名第一)江蘇省科技進步三等獎2項(排第三)、2020年江蘇省普通高等學校本科優秀畢業設計(論文)指導教師、2019年度江南大學榮智權獎教金。講授《嵌入式系統與人工智能》《過程設備設計》《機械有限元設計》等課程。主要研究領域為機器人運動控制、嵌入式傳感系統高壓脈衝電源、工業互聯與控制。主持或參加各類科研課題30余項，授權國家發明專利43項，出版著作6部。

如今，人工智能飛速發展，作為人工智能領域研究核心的深度學習受到研究者們的重視，各種數學算法和模型不斷被提出，並在實踐應用中發揮著巨大的作用，大大提高了智能裝備和智能機器人的工作效能以及應用領域。本書技術先進，全面介紹了智能機器人深度學習的知識，供讀者參考。

人工智能是引領未來的戰略性技術，新質生產力的重要組成部分。我國出臺了《新一代人工智能發展規劃》，許多大學成立了人工智能學院，開設面向人工智能本科生特殊人才培養的圖靈班等。作為人工智能的三大支柱之一的人工智能算法得到科學界和工業界的關注，以深度學習為代表的神經網絡算法正在視覺識別、機器人導航、機器人控制、無人駕駛等領域得到廣泛應用。
本書編撰的目的是總結深度學習算法的技術基礎和基本理論，並且分享江南大學機器視覺與運動控制課題組在產學研合作中應用深度學習算法的案例，比如人機協作、機器人動態抓取、工業產品缺陷視覺檢測等實踐研究。本書可作為相關領域技術人員的職業指導，也可作為機械工程、機器人工程專業的研究生教材，還可作為智能製造工程、機械工程、機器人工程等專業本科生的專業選修課教材。
本書以深度學習理論和實踐為主線，系統總結了深度學習的發展歷史、主流算法和在智能機器人中的實際應用。本書分為十三章：第一章緒論，介紹了機器智能、機器學習、神經網絡以及深度學習的概念與常見算法，並概述了深度學習在智能機器人方面的應用；第二章機器學習的數學基礎，介紹了機器學習所需的數學基礎知識，包括標量、矢量、矩陣和張量的概念，以及機器學習中度量指標和概念分布；第三章機器學習的構成及理論基礎，介紹了機器學習的分類和重要參數，並對機器學習中存在的過擬合、欠擬合問題進行描述，總結了機器學習中存在的交叉驗證方法和常見的機器學習模型；第四章神經網絡基礎，介紹了常見的神經網絡類型，並針對神經網絡中核心問題和最優化過程進行講解，最後對常用的兩種深度學習框架PaddlePaddle和pyTorch進行介紹；第五章卷積神經網絡，介紹了卷積神經網絡的基本組成和運行機理，列舉了多種常見的卷積神經網絡，並輔以實例進行介紹；第六章循環神經網絡，介紹了循環神經網絡的基本組成和運行機理，並針對長短時記憶網絡、遞歸神經網絡和門控循環單元網絡進行講解；第七章注意力機制與外部記憶，介紹了注意力機制和外部記憶的原理和具體方法，並針對計算機視覺中的注意力機制進行重點講解，最後講解了如何在YOLOv7網絡中添加注意力機制；第八章深度學習調優方法，介紹了深度學習從數據、模型結構和模型參數三個方面出發進行調優的方法；第九章智能機器人的視覺感知方法與視覺處理技術，介紹了經典的視覺感知方法，從機器學習和深度學習兩方面探討了智能機器人的感知方法和相關技術；第十章智能機器人的定位與導航規劃技術，介紹了智能機器人在移動中所需的地圖構建和導航規劃技術，最後講解了多AGV任務調度及路徑規劃技術；第十一章基於深度學習的表面缺陷檢測技術，介紹了表面缺陷技術的研究現狀和相關技術，並以液晶面板電極缺陷檢測為例，講解了數據集建立和模型訓練的具體操作；第十二章基於深度學習的人機協作動作識別，介紹了人機協作動作識別技術的研究現狀和存在問題，並輔以代碼進行具體操作的講解；第十三章基於深度學習的機器人視覺抓取，介紹了機器人視覺抓取的研究現狀和應用，並對機器人視覺系統標定與坐標轉換進行描述，最後介紹了兩種不同的抓取檢測方法。
本書由俞建峰為主編，化春鍵和蔣毅為副主編；江南大學範先友、俞俊楠、黃然、劉子璇、熊煥、吳永澤、顧毅楠、孫輝、倪奕、賀順、單子豪、邵柏潭等參與了編寫工作並付出了艱辛的努力，在此表示感謝。感謝江南大學研究生院對本書出版的大力支持，本書獲得江南大學2023年研究生教材立項（YJSJC23_004）。本書得到無錫尚實電子科技有限公司賈磊、無錫精質視覺科技有限公司蔣樂、無錫普瑞精密技術有限公司蔡立軍、無錫華拓科技有限公司金熠、長廣溪智能製造（無錫）有限公司吉峰等企業家的大力支持。編者還要感謝關心、支持、指導本書出版的專家學者，衷心感謝他們提出的寶貴建議。同時，對提供技術資料的相關企業和參考文獻中涉及的國內外專家學者表示誠摯的謝意！
由於編者水平有限，書中難免存在不足之處，懇請廣大讀者批評指正！

俞建峰
於江南大學
2024年3月10日

第一章緒論1
1.1自然智能與機器智能1
1.1.1自然智能1
1.1.2機器智能3
1.2機器獲取知識的途徑：機器學習5
1.2.1機器學習的概念5
1.2.2基本機器學習模型6
1.3機器認知智能的實現途徑：神經網絡10
1.3.1生物神經網絡10
1.3.2人工神經網絡與神經元模型12
1.4深度學習的前沿發展及其應用15
1.4.1深度學習15
1.4.2大語言模型16
1.4.3ChatGPT：智能對話機器人18
1.4.4OpenAI Codex：代碼生成與輔助編程19
1.5深度學習與智能機器人21
1.5.1智能機器人的定義與目標21
1.5.2智能機器人與工業機器人的區別22
1.5.3智能機器人的環境多模態感知23
1.6本章小結27

第二章機器學習的數學基礎28
2.1標量、向量、矩陣和張量28
2.2矩陣和向量相乘32
2.2.1矩陣和向量相乘的規則32
2.2.2矩陣和向量相乘的性質32
2.2.3矩陣乘法的計算方法33
2.2.4矩陣乘法在神經網絡中的應用33
2.3導數34
2.3.1一般運算法則35
2.3.2鏈式求導法則36
2.4度量標準39
2.4.1誤差39
2.4.2距離39
2.4.3相似度40
2.5概率分布43
2.5.1二項分布44
2.5.2正態分布45
2.6本章小結46

第三章機器學習的構成及理論基礎48
3.1機器學習基礎概念48
3.1.1人類學習與機器學習48
3.1.2機器學習的研究內容49
3.1.3機器學習系統的基本構成50
3.2機器學習的分類52
3.2.1監督學習53
3.2.2半監督學習54
3.2.3無監督學習54
3.2.4強化學習56
3.3機器學習的重要參數56
3.3.1學習率56
3.3.2動量系數57
3.3.3偏置項58
3.4擬合問題59
3.4.1過擬合問題59
3.4.2欠擬合問題60
3.5交叉驗證60
3.5.1數據類型與選擇方法61
3.5.2留一交叉驗證62
3.5.3K折交叉驗證62
3.6回歸分析63
3.6.1線性回歸63
3.6.2邏輯回歸66
3.7評價指標69
3.8本章小結71

第四章神經網絡構成及理論基礎72
4.1神經網絡概述72
4.1.1深度學習和神經網絡間的關係74
4.1.2神經網絡的深度和寬度74
4.2常見的神經網絡類型75
4.2.1全連接神經網絡75
4.2.2卷積神經網絡76
4.2.3循環神經網絡77
4.3神經網絡設計的核心問題78
4.3.1定義神經網絡結構79
4.3.2選擇損失函數79
4.3.3選擇激活函數79
4.4神經網絡最優化過程82
4.4.1梯度下降算法82
4.4.2正向傳播算法86
4.4.3反向傳播算法87
4.4.4BP神經網絡88
4.5其他神經網絡與深度學習91
4.5.1生成對抗網絡91
4.5.2深度信念網絡93
4.5.3遷移學習95
4.6PyTorch和PaddlePaddle簡介97
4.6.1PyTorch98
4.6.2PaddlePaddle103
4.7本章小結105

第五章卷積神經網絡107
5.1卷積神經網絡概述107
5.1.1發展歷程和實際應用107
5.1.2基本組成111
5.2卷積神經網絡的特徵116
5.2.1連接稀疏性116
5.2.2參數共享機制117
5.3卷積神經網絡中的反向傳播算法118
5.4其他卷積方式119
5.4.1轉置卷積119
5.4.2空洞卷積122
5.4.3分組卷積和深度分離卷積122
5.5卷積神經網絡的典型模型125
5.5.1LeNet-5125
5.5.2AlexNet126
5.5.3VGGNet127
5.5.4GoogLeNet137
5.5.5ResNet148
5.5.6MobileNet和ShuffleNet161
5.5.7MMDetection框架搭建並實現訓練與測試169
5.6本章小結179

第六章循環神經網絡181
6.1循環神經網絡概述181
6.1.1背景181
6.1.2概念182
6.1.3基本結構182
6.2循環神經網絡分類184
6.2.1單向循環神經網絡184
6.2.2雙向循環神經網絡185
6.2.3深度循環神經網絡186
6.3模型訓練與優化187
6.3.1隨時間反向傳播算法188
6.3.2實時循環學習算法188
6.4長短時記憶網絡190
6.4.1原理講解190
6.4.2代碼講解191
6.5遞歸神經網絡200
6.5.1原理講解200
6.5.2代碼講解202
6.6門控循環單元網絡207
6.6.1原理講解207
6.6.2代碼208
6.7本章小結208

第七章注意力機制與外部記憶210
7.1認知神經學中的注意力210
7.2注意力機制211
7.2.1注意力機制原理211
7.2.2注意力機制的變體212
7.3自注意力機制215
7.3.1自注意力機制原理215
7.3.2Transformer217
7.4人腦中的記憶219
7.5記憶增強神經網絡221
7.5.1外部記憶221
7.5.2端到端記憶網絡222
7.5.3神經圖靈機223
7.6計算機視覺中的注意力機制225
7.6.1計算機視覺中的注意力機制發展歷程225
7.6.2通道注意力機制227
7.6.3空間注意力機制229
7.6.4時間注意力機制232
7.6.5分支注意力機制234
7.6.6通道和空間注意力機制236
7.6.7時空注意力機制239
7.6.8注意力模塊添加的案例介紹242
7.7本章小結256

第八章深度學習調優方法258
8.1數據方面258
8.1.1數據清洗258
8.1.2數據增強263
8.1.3數據降噪266
8.1.4數據歸一化269
8.2模型結構方面271
8.2.1注意力機制271
8.2.2特徵金字塔271
8.2.3殘差結構272
8.2.4確定網絡層數273
8.3模型參數方面275
8.3.1學習率調整275
8.3.2參數初始化277
8.3.3網絡正則化278
8.3.4預訓練模型的遷移學習282
8.4本章小結283

第九章智能機器人的視覺感知方法與視覺處理技術285
9.1經典的視覺感知方案285
9.1.1視覺信息獲取285
9.1.2視覺顯著性檢測286
9.1.3光學系統的設計287
9.2視覺感知的傳統處理方法292
9.2.1圖像處理基礎292
9.2.2傳統的圖像特徵提取293
9.2.3傳統的目標檢測和識別295
9.3基於機器學習的視覺感知方法296
9.3.1集成學習296
9.3.2局部二值模式299
9.3.3特徵點匹配方法301
9.3.4方向梯度直方圖303
9.3.5支持向量機305
9.4基於深度學習的視覺感知方法307
9.4.1經典的視覺感知網絡結構307
9.4.2基於深度學習的目標感知307
9.5面向少量樣本學習的視覺感知方法309
9.5.1孿生神經網絡309
9.5.2零樣本學習309
9.6本章小結311

第十章智能機器人的定位與導航規劃技術313
10.1地圖表示與構建313
10.1.1地圖表示313
10.1.2地圖構建317
10.2移動機器人定位319
10.2.1傳感器技術319
10.2.2定位方法320
10.3導航規劃321
10.3.1導航技術322
10.3.2規劃技術324
10.4機器人運動控制327
10.4.1PID控制327
10.4.2模型預測控制328
10.4.3軌跡追蹤329
10.5多AGV任務調度及路徑規劃技術329
10.5.1AGV調度系統任務描述330
10.5.2AGV任務調度功能331
10.5.3AGV的路徑規劃算法332
10.5.4多AGV的衝突和避障算法335
10.6本章小結336

第十一章基於深度學習的表面缺陷檢測技術337
11.1表面缺陷檢測技術研究337
11.1.1研究背景與意義337
11.1.2國內外研究現狀338
11.2基於機器視覺的表面缺陷檢測技術342
11.2.1機器視覺中的圖像處理技術342
11.2.2基於機器視覺的表面缺陷檢測過程345
11.2.3基於深度學習的表面缺陷檢測技術348
11.3具體案例：液晶面板電極缺陷檢測技術352
11.3.1液晶面板電極缺陷353
11.3.2基於深度學習的液晶面板電極缺陷檢測方法356
11.3.3實驗結果和性能評估366
11.4本章小結372

第十二章基於深度學習的人機協作動作識別373
12.1人機協作動作識別技術研究373
12.1.1研究背景與意義373
12.1.2國內外研究現狀374
12.1.3動作識別模型375
12.2人機協作應用376
12.2.1動作識別技術在人機協作中的應用376
12.2.2動作識別技術在虛擬現實領域中的應用377
12.3人機協作中的動作識別問題378
12.3.1動作識別問題定義378
12.3.2動作特徵的提取379
12.3.3動作識別模型的構建381
12.3.4人機協作場景中的動作識別383
12.4具體案例：基於深度學習的動作識別384
12.4.1動作視頻采集設備的選擇384
12.4.2環境設置和數據采集384
12.4.3數據處理386
12.4.4模型訓練386
12.4.5動作識別模型的性能評估389
12.5前沿拓展：基於肌電信號及腦機設備的動作識別390
12.6本章小結391

第十三章基於深度學習的機器人視覺抓取392
13.1研究背景及意義392
13.1.1機器人視覺抓取技術應用392
13.1.2機器人視覺抓取技術發展393
13.2深度學習在機器人視覺抓取中的應用及研究現狀395
13.2.1目標檢測定位396
13.2.2位姿估計397
13.2.3抓取點檢測397
13.3基於深度學習的機器人視覺抓取問題描述398
13.3.1機器人抓取任務分類398
13.3.2機器人抓取位姿表示399
13.3.3抓取檢測數據集400
13.4機器人視覺系統標定與坐標轉換403
13.4.1相機成像原理403
13.4.2相機標定406
13.4.3手眼標定406
13.5具體實例：抓取位姿檢測408
13.5.1判別式抓取檢測408
13.5.2生成式抓取檢測410
13.5.3從零開始訓練抓取檢測模型：GGCNN415
13.6基於深度學習的機器人視覺抓取技術挑戰和未來發展方向422
13.7本章小結423

參考文獻424