深入理解OpenCV：實用計算機視覺項目解析(原書第3版)（簡體書）

本書秉承“幫助計算機視覺工程師邁出掌握OpenCV的*步”的初心，在保留必要的數學公式的情況下，針對當前熱門的計算機視覺主題，如面部識別、關鍵點檢測、姿態估計，以及基於深度卷積網絡的車牌識別，展示了從構思到運行的全過程，並提供了完整的項目代碼。
無論你來自學術界還是工業界，都將從經驗豐富的OpenCV專家那裡學習如何輕松地實現計算機視覺產品和項目。通過多個完整的計算機視覺項目，你將熟悉API的功能，並深入了解在計算機視覺項目中如何設計和選型，從而超越計算機視覺的基礎，從更高的層次上實現復雜的圖像處理項目的解決方案。而且，你將能借助本書中的項目創建各種工作原型，對OpenCV 4的新功能做到爛熟於心。

通過閱讀本書，你將學會：
使用有效的OpenCV代碼對真實世界的計算機視覺問題進行建模
發現OpenCV項目及維護的*實踐
探索用於復雜計算機視覺任務的算法設計方法
使用OpenCV新的API（v4.0.0）
從運動中理解3D場景結構和重建3D場景（SfM）
使用ArUco模塊進行相機標定並疊加AR物體

羅伊·希爾克羅特（Roy Shilkrot）

石溪大學（Stony Brook）計算機科學的助理教授，他領導著人群互動小組（Human Interaction group）。他畢業於麻省理工學院（MIT）並獲得博士學位，致力於計算機視覺、人機界面以及其交叉領域的研究，撰寫論文超過25篇。他還是多項專利技術的共同發明人，也是多本著作的合著者，是眾多初創公司的科學顧問委員會成員，擁有超過10年的工程師和企業家經驗。

大衛·米蘭·埃斯克裡瓦（David Millán Escrivá）

ITI（Instituto Tecnológico de Informática）的科學研究員，在IT領域從業超過10年，在計算機視覺、計算機圖形和模式識別方面擁有豐富的經驗，並運用他在計算機視覺、OCR和增強現實方面的知識與不同的項目和初創公司合作。他是DamilesBlog博客的作者，在那裡他發表有關OpenCV、計算機視覺和光學字符識別算法的研究文章和教程。

讀者物件：1、希望在多個平臺的C 環境下開始使用OpenCV的計算機視覺新手；2、計算機視覺工程師；3、從初級到高級的各級學生、教師、研究人員；4、其他對計算機視覺和OpenCV感興趣的人員

1、鼓勵“復制–粘貼–運行”這種學習方式並嘗試將數學基礎保持在*限度；

2、涵蓋計算機視覺熱門主題，提供完整的項目代碼;

3、新增“為項目找到*OpenCV算法”、“避免OpenCV中的常見陷阱”；

4、超越基礎知識，從更高層次來設計和實現復雜圖像識別項目。

5、版本新：OpenCV的API（v4.0.0）

本書（現在是第3版）是計算機視覺工程師使用OpenCV作為工具的系列叢書之一。本書保留了最基本的核心數學公式，提供了從構思到運行代碼的完整項目，涵蓋了當前計算機視覺中的熱門話題，包括人臉識別、關鍵點檢測和姿態估計、具有深度卷積網絡的車牌識別、從運動中恢復結構、增強現實的場景重建，以及本機和Web環境中的移動端計算機視覺。本書將作者在學術界和行業中實施計算機視覺產品及項目的豐富知識輕松打包，不但向讀者介紹了API的功能，而且提供了對完整計算機視覺項目中設計選擇的見解，並超越了計算機視覺的基礎知識，從更高層次來設計和實現??復雜圖像識別項目的解決方案。

本書的目標讀者

本書主要面向的物件，是希望在C 環境下開始使用OpenCV的計算機視覺新手，鼓勵他們從動手開始學習，而不是糾結於傳統的基礎數學知識。書中提供了有關當前常見的計算機視覺任務的OpenCV API的具體用例示例，同時鼓勵“復制–粘貼–運行”這種學習方式並嘗試將數學基礎保持在最低限度。

如今，計算機視覺工程師可以選擇多種工具和軟件包，包括OpenCV、dlib、Matlab軟件包、SimpleCV、XPCV和scikit-image。在覆蓋範圍和跨平臺方面，沒有什麼比OpenCV做得更好。但是，對新手而言，OpenCV似乎令人望而生畏，僅在官方模塊的API中就有成千上萬的函數，這還不包括貢獻的模塊。盡管OpenCV本身也提供了較廣泛的教程，也存在大量的有文檔記錄的項目，但大都缺乏從頭到尾完成項目的教程來滿足工程師的需要。

本書內容

本書直接或間接地涵蓋了OpenCV的許多功能，包括許多貢獻模塊。 它還展示了如何在Web、iOS和Android設備以及Python Jupyter Notebook中使用OpenCV。 每章都針對一個不同的問題，說明如何實現此目標，介紹了解決方案及其理論背景，並提供了一個完整的、可構建的和可運行的代碼示例。

本書旨在為讀者提供以下內容：

有效的OpenCV代碼示例，用於解決現代的、具有一定復雜度的計算機視覺問題

OpenCV工程和項目維護的最佳實踐

使用實用的算法設計方法來應對復雜的計算機視覺任務

熟悉OpenCV最新的API (v4.0.0)，並通過實例進行實踐

本書涵蓋以下章節：

第1章演示如何在臺式機和小型嵌入式系統（如Raspberry Pi）上編寫圖像處理濾波器。

第2章演示如何使用SfM模塊將場景重建為稀疏點云（包括相機姿態），以及如何使用多視圖立體幾何來獲得稠密點云。

第3章介紹使用人臉模塊進行人臉特征點（也稱為人臉標志）檢測的過程。

第4章介紹圖像分割和特征提取、模式識別基礎以及兩種重要的模式識別算法：支持向量機（SVM）和深度神經網絡（DNN）。

第5章展示用於檢測人臉圖像的不同技術，從經典的具有Haar功能的級聯分類器到采用深度學習的新技術，不一而足。

第6章展示一種使用OpenCV.js（用於JavaScript的OpenCV的編譯版本）為Web開發計算機視覺算法的新方法。

第7章展示如何使用OpenCV的ArUco模塊、Android的Camera2 API和JMonkey

Engine 3D遊戲引擎在Android系統中實現增強現實（AR）應用程序。

第8章展示如何使用OpenCV的iOS預編譯庫在iPhone上構建全景圖像拼接程序。

第9章討論在考慮OpenCV中的算法選擇時應遵循的許多方法。

第10章回顧OpenCV的發展歷史，以及隨著計算機視覺的發展，其框架和算法產品逐步增多的過程。

充分利用本書

本書假定讀者有扎實的編程和軟件工程技能基礎，並能使用C 從頭開始構建和運行程序。本書還介紹了JavaScript、Python、Java和Swift的代碼。希望深入研究這些部分的工程師若有C 以外的編程語言知識則會更加受益。

本書的讀者應該能夠以各種方式安裝OpenCV。有些章需要安裝Python，而有些章則需要安裝Android。在隨附的代碼和文本中將詳細討論如何獲取並安裝它們。

下載示例代碼及彩色圖像

本書的示例代碼及所有截圖和樣圖，可以訪問華章圖書官網，通過注冊並登錄個人帳號下載。

下載文件後，請確保使用以下最新版本解壓縮文件夾：

Windows下，推薦使用WinRAR/7-Zip

Mac下，推薦使用Zipeg/iZip/UnRarX

Linux下，推薦使用7-Zip/PeaZip

本書的代碼也托管在GitHub中，網址為https://github.com/PacktPublishing/Mastering-OpenCV-4-Third-Edition。如果代碼有更新，它將在現有的GitHub存儲庫中進行更新。

可從https://github.com/PacktPublishing/獲得更豐富的書籍和視頻清單中的其他代碼包，去看看吧！

我們還提供了一個PDF文件，其中包含本書中使用的屏幕截圖/圖表的彩色圖像。可

以在http://www.packtpub.com/sites/default/files/downloads/9781789533576_ColorImages.pdf下載。

本書約定

本書中使用了許多排版約定。

文本代碼（Code In Text）：表示正文中的代碼、數據庫表名、文件夾名、文件名、文件擴展名、路徑名、URL、用戶輸入和twitter鏈接。下面是一個示例：“要查看SD卡上的剩餘空間，請運行df-h head-2。”

代碼塊設置如下：

當我們希望引起你對代碼塊特定部分的注意時，相關的行或項目將以粗體顯示：

命令行輸入或輸出的印刷方式如下：

粗體：表示新術語、重要單詞或你在屏幕上看到的單詞。 例如，菜單或對話框中的單詞會出現在這樣的文本中：“導航到Media | Open Network Stream”。

警告或重要提示信息。

提示或技術信息。

About the Authors

作 者 簡 介

Roy Shilkrot是石溪大學計算機科學的助理教授，他領導著人群互動小組(Human Interaction group)。 Shilkrot博士致力於計算機視覺、人機界面以及其交叉領域的研究，受美國聯邦政府、紐約州和行業撥款資助。 Shilkrot畢業於麻省理工學院（MIT）並獲得博士學位，並撰寫了25篇以上的論文，這些論文在CHI和SIGGRAPH等頂級計算機科學會議以及ACM Transaction on Graphics (TOG)和ACM Transactions on Computer-Human Interaction （ToCHI）等領先學術期刊上發表。 Shilkrot博士還是多項專利技術的共同發明人，也是多本著作的合著者，是眾多初創公司的科學顧問委員會的成員，擁有超過10年的工程師和企業家經驗。

David Millán Escrivá 8歲那年，在8086 PC上用Basic語言編寫了他的第一個程序，該程序可以對基礎方程進行2D繪圖。 2005年，他在瓦倫西亞理工大學完成了他的IT學習，並利用OpenCV（v0.96）計算機視覺程序，在人機交互領域獲得了好評。他有一個基於該主題的畢業設計項目，並將其發布在HCI西班牙大會上。他曾使用Blender（一個開源3D軟件項目），並作為計算機圖形軟件開發人員參與了他的第一個商業廣告電影Plumiferos-Aventuras voladoras的制作。David現在擁有超過10年的IT經驗，在計算機視覺、計算機圖形和模式識別方面擁有豐富的經驗，並運用他在計算機視覺、OCR和增強現實方面的知識與不同的項目和初創公司合作。他是DamilesBlog博客的作者，在那裡他發表有關OpenCV、計算機視覺和光學字符識別算法的研究文章和教程。

About the reviewerS

審閱者簡介

Arun Ponnusamy在印度一家初創公司（OIC Apps）擔任高級計算機視覺工程師。 他是一名終身學習者，對圖像處理、計算機視覺和機器學習充滿熱情。他畢業於PSG技術學院的工程系，其職業生涯始於MulticoreWare公司，致力於圖像處理、OpenCV、軟件優化和GPU計算。

Arun喜歡厘清計算機視覺概念，並在其博客上進行直觀形象的解釋。他創建了用於計算機視覺的開源Python庫cvlib，提供簡潔友好的接口。他目前正在研究物件檢測、生成網絡和強化學習。

“我要感謝策劃編輯Shahnish Khan和項目協調人Vaidehi Sawant給了我幫助改進本書內容的機會以及所有對我的鼓勵。”

Marc Amberg是一位經驗豐富的機器學習和計算機視覺工程師，在IT和服務業有著豐富的工作經驗。他擁有裡爾大學（Lille I）的計算機科學（圖像、視覺和交互）碩士學位，精通Python、C/C 、OpenGL、3D重構和Java，工程背景強大。

Vikas Gupta是一名計算機視覺研究人員，擁有印度最著名的科技學院——印度科技學院（Indian Institute of Science）的碩士學位。他的研究興趣為機器感知、場景理解、深度學習和機器人技術。

他一直活躍在這一領域，擔任各種角色，包括講師、軟件工程師和數據科學家。他熱衷於教學和分享知識，花了3年時間為本科生教授計算機視覺、嵌入式系統和機器人技術，並在3年多時間裡，從事涉及深度學習和計算機視覺的各種項目。他還在LearnOpenCV網站上與人合開了一門計算機視覺課程。

譯者序
前言
作者簡介
審閱者簡介
第1章　樹莓派上的卡通化和皮膚顏色分析 1
1.1　訪問攝像頭 2
1.2　桌面應用程序的相機處理主循環 4
1.2.1　生成黑白素描 4
1.2.2　生成彩色繪畫和卡通 6
1.2.3　用邊緣濾波器來生成邪惡模式 8
1.2.4　用皮膚檢測來生成外星人造型 9
1.3　皮膚變色器的實現 12
1.4　從桌面移植到嵌入式設備 19
1.4.1　用於開發嵌入式設備代碼的設備配置 21
1.4.2　在嵌入式設備上安裝OpenCV 27
1.5　小結 39
第2章　使用SfM模塊從運動中恢復結構 40
2.1　技術要求 40
2.2　SfM的核心概念 41
2.2.1　相機標定和對極幾何 42
2.2.2　立體重建和SfM 45
2.3　在OpenCV中實現SfM 48
2.3.1　圖像特征匹配 48
2.3.2　找到特征軌跡 52
2.3.3　3D重建和可視化 55
2.3.4　用於稠密重建的MVS 57
2.4　小結 60
第3章　使用人臉模塊進行人臉特征點及姿態檢測 61
3.1　技術要求 61
3.2　背景和理論 63
3.2.1　主動外觀模型與受約束的局部模型 63
3.2.2　回歸方法 64
3.3　OpenCV中的人臉特征點檢測 65
3.4　基於特征點的人臉方向估計 68
3.4.1　估計姿態計算 69
3.4.2　將姿態投影到圖像上 70
3.5　小結 71
第4章　基於深度卷積網絡的車牌識別 72
4.1　ANPR簡介 72
4.2　ANPR算法 74
4.3　車牌檢測 77
4.3.1　分割 78
4.3.2　分類 84
4.4　車牌識別 87
4.4.1　OCR分割 88
4.4.2　基於卷積神經網絡的字符分類 89
4.5　小結 105
第5章　通過DNN模塊進行人臉檢測和識別 106
5.1　介紹人臉檢測和人臉識別 106
5.1.1　人臉檢測 108
5.1.2　人臉預處理 116
5.1.3　收集人臉並從中學習 127
5.1.4　人臉識別 138
5.1.5　收尾工作——保存和加載文件 141
5.1.6　收尾工作——制作一個漂亮的、交互體驗好的GUI 141
5.2　小結 153
5.3　參考文獻 154
第6章　Web計算機視覺之初識OpenCV.js 155
6.1　什麼是OpenCV.js 155
6.2　編譯OpenCV.js 157
6.3　OpenCV.js開發基礎 159
6.4　訪問攝像頭流 165
6.5　圖像處理和基本用戶界面 169
6.5.1　閾值濾波器 170
6.5.2　高斯濾波器 170
6.5.3　canny濾波器 170
6.6　瀏覽器中的光流 174
6.7　在瀏覽器中使用Haar級聯分類器進行人臉檢測 178
6.8　小結 180
第7章　使用ArUco模塊的Android相機校準和AR 182
7.1　技術要求 182
7.2　增強現實和姿態估計 183
7.2.1　相機校準 184
7.2.2　用於平面重建的增強現實標記 186
7.3　Android系統中的相機訪問 188
7.4　使用ArUco進行相機校準 191
7.5　使用jMonkeyEngine實現增強現實 195
7.6　小結 196
第8章　帶有拼接模塊的iOS全景圖 198
8.1　技術要求 198
8.2　全景圖像拼接方法 199
8.2.1　全景圖的特征提取和魯棒匹配 200
8.2.2　變形圖像，以便全景創建 203
8.3　項目概況 204
8.4　用CocoaPods設置iOS OpenCV項目 204
8.5　用於全景捕捉的iOS UI 205
8.6　Objective-C 包裝器中的OpenCV拼接 209
8.7　小結 212
8.8　進一步閱讀 212
第9章　為項目找到最佳OpenCV算法 213
9.1　技術要求 213
9.2　方案是否包含在OpenCV中 214
9.3　OpenCV中的算法選項 215
9.4　哪種算法最好 217
9.5　算法性能比較的示例 218
9.6　小結 223
第10章　避免OpenCV中的常見陷阱 224
10.1　OpenCV從v1到v4的歷史 224
10.2　OpenCV中的歷史算法 228
10.3　常見陷阱和建議解決方案 231
10.4　小結 236
10.5　進一步閱讀 236