增強現實交互方法與實現（簡體書）

增強現實（Augmented Reality，AR）技術能夠將計算機中的虛擬物體或信息融入到真實世界中，從而能夠極大地增強人對現實世界的體驗和認知。AR將為未來的信息系統和信息世界提供一種革命性的操作界面，必將改變諸如產品設計、設備操作與管理、培訓學習等過程中的人機交互方式。近年來，AR已成為當今具影響力的新興技術之一，受到學術界和產業界的廣泛關注，被廣泛應用於工業、醫療、社交、遊戲娛樂、軍事、教育等多個領域。

本書是廣東省虛擬現實及可視化工程技術研究中心課題組在增強現實領域多年研究成果的總結，特別總結了在國家自然科學基金委員會資助下取得的成果（“增強現實裝配操作空間的深度感知理論與方法研究”，編號：51275094）。本書從增強現實人機交互的特點出發，系統闡述了增強現實交互方法的基本原理、模型、主要技術與典型應用的實現。著重論述基於視覺、外設、體感及觸摸屏四種典型人機交互方式的原理、方法與具體實現技術。主要內容包括：增強現實的理論基礎與設備；基於標識、數據手套、機器視覺、移動終端的增強現實交互方法；增強現實應用系統開發案例。本書注重理論與實踐相結合，五個與工業應用相關的增強現實典型應用案例均來源於實際科研項目，讀者可從中全面瞭解與掌握增強現實系統人機交互的設計思路、軟硬件構成、建模方法、關鍵技術實現方法、編程開發要點等。

本書可作為增強現實領域從事科研、技術開發人員的參考書和培訓教材，也可供相關專業的研究生或高年級本科生使用。

何漢武，博士，教授，博士生導師。現任廣東工貿職業技術學院院長，廣東省虛擬現實及可視化工程技術研究中心主任，廣東工業大學現代製造與智能裝備虛擬仿真實驗教學中心主任。中國高校製造自動化研究會理事，中國人工智能學會智能製造專業委員會副主任。廣東省“千百十人才工程”省級培養對象。2007年廣東省南粵優秀教師。主要從事數字化設計與製造，計算機視覺處理、增強現實交互方法與技術研究。聯合主持國家863項目1項，主持國家自然科學基金2項，主持廣東省科技項目及企業委託項目20多項。參加的“機器人離線編程系統HOLPS及應用項目”獲1995年國家科技進步三等獎。

第1章緒論（1）

1.1增強現實概述（1）

1.1.1增強現實的內涵（1）

1.1.2增強現實與虛擬現實的區別（2）

1.1.3增強現實的特點（4）

1.2增強現實人機交互技術所面臨的挑戰（4）

1.3增強現實在各行業的應用（9）

1.3.1增強現實在工業上的應用（9）

1.3.2增強現實在醫療上的應用（12）

1.3.3增強現實在娛樂遊戲行業中的應用（13）

1.3.4增強現實在教育行業上的應用（14）

1.4本書重要內容（15）

參考文獻（16）

第2章增強現實的理論基礎與設備（22）

2.1增強現實的空間坐標系（22）

2.1.1成像坐標系（23）

2.1.2觀察坐標系（攝像機坐標系）（24）

2.1.3世界坐標系（26）

2.1.4虛擬世界坐標系（26）

2.2攝像機成像模型及其標定方法（26）

2.2.1攝像機成像模型（27）

2.2.2攝像機的標定方法（30）

2.3攝像機位姿估算（35）

2.4增強現實常用設備（37）

2.4.1攝像機（37）

2.4.2跟蹤傳感器（39）

2.4.3體感交互設備（41）

2.4.4可穿戴增強顯示設備（42）

參考文獻（45）

增強現實交互方法與實現目錄第3章基於標識的增強現實交互方法（47）

3.1基於標識的註冊算法原理（47）

3.2基於正方形標識的增強現實系統基本算法原理（49）

3.2.1正方形標識的設計思路（49）

3.2.2基於正方形標識的增強現實系統的坐標系定義（51）

3.2.3正方形標識的註冊算法原理（52）

3.2.4正方形標識的編碼識別（54）

3.2.5基於標識註冊算法的影響因素討論（56）

3.3基於正方形標識的交互方法與基本算法原理（60）

3.3.1常見的基於正方形標識的交互方法（61）

3.3.2基於正方形標識的交互方法基本算法原理（62）

3.4基於ARToolKit開發包的增強現實系統實現流程（65）

3.4.1ARToolKit開發包的工作原理（65）

3.4.2ARToolKit開發包的開發前準備（65）

3.4.3ARToolKit開發包的開發框架（67）

參考文獻（68）

第4章基於數據手套的增強現實交互方法（70）

4.1數據手套的功能分析（70）

4.1.1數據手套的基本參數（70）

4.1.2數據手套的標定方法（72）

4.2數據手套的交互語義模型（75）

4.2.1交互場景設計（75）

4.2.2交互語義模型（76）

4.3基於數據手套的手勢識別算法（81）

4.3.1操作意圖判斷的基本思路（81）

4.3.2靜態手勢識別（82）

4.3.3動態手勢識別（86）

參考文獻（88）

第5章基於機器視覺的交互方法（89）

5.1基礎理論與方法（89）

5.1.1徒手交互的基本處理流程（89）

5.1.2雙手交互的操作意圖判斷方法［1］（90）

5.2基於普通攝像頭的徒手交互方法與實現（93）

5.2.1複雜背景下的手部分割算法（93）

5.2.2基於關鍵特徵點的手勢識別算法（102）

5.3基於Kinect傳感器的體感交互方法與實現（112）

5.3.1Kinect傳感器介紹（112）

5.3.2Kinect傳感器應用交互場景要求（113）

5.3.3Kinect SDK輸出的傳感數據（113）

5.3.4Kinect傳感器觀察坐標系（116）

5.3.5Kinect傳感器體感交互方法（116）

參考文獻（119）

第6章基於移動終端的增強現實交互方法（120）

6.1移動增強現實的場景重構與處理（120）

6.1.1場景重構數學模型（121）

6.1.2場景重構流程與誤差分析（123）

6.1.3場景點雲重構（124）

6.2移動增強現實中的攝像機跟蹤（131）

6.2.1攝像機跟蹤框架（131）

6.2.2基於稀疏光流的攝像機姿態估計（134）

6.2.3基於語義SLAM的攝像頭跟蹤優化（140）

6.2.4攝像機跟蹤的應用（150）

6.3移動增強現實的交互方法與實現（153）

6.3.1基於觸摸屏的交互（153）

6.3.2移動增強現實中的視覺式交互 （163）

參考文獻（170）

第7章增強現實人機交互應用系統開發（172）

7.1基於移動端的油泵拆裝訓練系統的設計與實現（172）

7.1.1案例的背景與意義（172）

7.1.2系統的設計方案（173）

7.1.3算法原理（180）

7.1.4系統實現（183）

7.2基於數據手套的車間佈局系統的設計與實現（185）

7.2.1案例的背景與意義（185）

7.2.2系統硬件平臺設計（186）

7.2.3系統軟件平臺設計（188）

7.2.4車間佈局的交互語義模型（193）

7.2.5車間佈局系統的實現（194）

7.3正方形標識工具車間佈局系統的設計與實現（197）

7.3.1案例的意義與背景（197）

7.3.2系統的設計方案（198）

7.3.3算法原理（204）

7.3.4系統實現（206）

7.4體感交互技術在虛擬機器人示教中的應用（209）

7.4.1案例的背景與意義（209）

7.4.2系統設計方案（210）

7.4.3系統實現（212）

7.4.4程序實現原理與要點（219）

7.5基於Hololens的佈線輔助系統的設計與實現（223）

7.5.1案例的意義與背景（223）

7.5.2系統的設計方案（224）

7.5.3系統實現（228）