深度學習之多源數據融合的目標檢測與跟蹤（簡體書）

隨著視頻監控系統的逐漸成熟以及計算機視覺領域的快速發展，基於視頻監控的人員檢測以及人流量統計系統具有適應性強、應用範圍廣、自動化程度高、節約人力成本等優勢。但目前大多數視頻監控系統是基於可見光攝像機進行搭建，可見光攝像機易受光照條件影響，在低照度條件下難以捕獲有效的可見光（RGB）圖像。

此外由於可見光相機的成像特性，捕獲的二維平面圖像缺乏場景的深度信息，難以克服由於相機拍攝視角而產生的物體遮擋和雜亂背景的幹擾，具有一定的局限性。

隨著成本低廉的深度采集設備的出現，將深度傳感器融入視頻監控系統中進行人員檢測成為一項有效可行的方案。相較於傳統可見光相機，深度傳感器不依賴於自然光源，對光照變化穩健性強，並且能夠將物體到相機的距離反映到深度（Depth）圖像上，為解決物體頻繁遮擋以及雜亂背景提供了新的處理策略，能夠很好地彌補可見光相機的不足。但由於深度傳感器特殊的成像特性，生成的深度圖像缺乏色彩信息和目標的高級語義信息。

基於上述分析，針對RGB圖像面臨光照變化、頻繁遮擋、雜亂背景等幹擾，以及深度圖像缺乏場景色彩和語義信息的問題，本書通過融合RGB圖像和深度圖像，開展基於RGB-D的人員檢測、人員跟蹤方面的研究，並通過實現精確高效、對多場景穩健的人流量統計系統、人員口罩佩戴情況識別系統驗證人員檢測及跟蹤技術的有效性和實用性。

本書的研究目標是實現在多種室內環境下精準檢測跟蹤室內人員，要求檢測結果對於頻繁遮擋、光照和背景變化有較強的穩健性；同時，要求對視頻序列中多人員的準確匹配，並記錄每位人員的運動軌跡和遮擋狀態，實現軌跡不間斷的目標跟蹤；另一方面，本書通過兩個實際應用案例：雙向人流量統計系統及面向疫情防控的口罩佩戴情況識別系統，研究上述目標檢測與跟蹤技術在實際工程應用中的可行性和有效性。

基於上述研究背景和目標，本書主要的工作內容與貢獻有以下幾個方面。

本書研究和實現基於非對稱自適應特征融合的RGB-D人員檢測。依據深度圖像特性和卷積可視化結果，構建一種非對稱型RGB-D雙流網絡，兼顧RGB和Depth特征的差異和共性，提取有效且通用的RGB-D特征；構建深度特征金字塔網絡，融合目標深層語義信息和淺層細節信息，強化目標的多尺度特征表示；設計並實現一種自適應通道加權模塊，自主學習通道間關聯模式來融合RGB-D多模態特征，實現高效的特征互補和特征選擇；設計並實現多分支預測網絡，提高算法應對不同尺寸目標的檢測能力；本文在六個不同場景的公開RGB-D室內數據集上驗證所提人員檢測算法的性能，並與前人工作進行了定量比較和分析，實驗結果表明本文所提算法均優於現有對比算法，且對於黑夜和遮擋條件下的人員檢測具有良好的穩健性。本書研究和實現基於深度信息改進DeepSort多目標跟蹤算法。實現利用目標的深度變化率和邊框IoU聯合優化目標匹配過程，利用深度相似度拒絕無效軌跡並平滑決策邊界，提高匹配的可靠性和準確性；實現利用軌跡的上下文深度差判斷目標的遮擋狀態，並依據遮擋狀態優化軌跡處理策略，提高跟蹤算法應對人員遮擋的能力並減少錯誤匹配。

本書研究和實現基於非對稱孿生網絡的多人員跟蹤算法。依據RGB圖像和深度圖像的卷積特征特性，設計並實現一種非對稱孿生網絡，在降低計算復雜度的同時，可以有效提升RGB圖像和深度圖像特征質量。利用注意力模塊去除RGB特征和深度特征中的冗餘信息，融合形成高質量的RGB-D特征，提升算法對人員的響應能力。依據視頻序列時序信息，設計並實現一種軌跡優化模塊，該模塊首先判斷軌跡

質量，隨後抑制錯誤人員軌跡，優化低質量人員軌跡，提升跟蹤算法輸出軌跡的完整性和準確性。

本書通過研究前沿熱門的深度學習及計算機視覺技術，嘗試和探索了信息技術在智能建筑領域的跨學科應用，由於篇幅關係，書中僅介紹了兩個應用案例，希望可以給讀者以更多啟示，將本書算法擴展到更多的應用?域。

值此書成稿之際，謹向多年來給予作者鼓勵、支持及關心的父母、家人、朋友、同事以及合作伙伴表示衷心的感恩與感謝；感謝作者的研究生楊堃、郭向、王寧、辛宜桃、趙庭松等同學在方案實現、實驗驗證、文稿整理等方面的辛苦工作；感謝中建科技集團有限公司的朱清宇研究員、馬超博士在場景應用中提供的幫助與支持。最後此書特別敬獻給慈母李興環。限於作者水平，本書難免在內容及結構編排上存在不足，希望讀者不吝賜教，提出寶貴的批評和建議，作者將不勝感謝。

第 1 章緒論………………………………………………………………… 1
1．1 本書背景 …………………………………………………………………… 2
1．2 國內外研究現狀 …………………………………………………………… 4
1．3 本書內容與主要貢獻 ……………………………………………………… 17
1．4 本書的結構安排 …………………………………………………………… 19
第 2 章深度傳感器與深度圖像特性………………………………………21
2．1 引言 ………………………………………………………………………… 22
2．2 深度傳感器介紹 …………………………………………………………… 22
2．3 深度圖像特性 ……………………………………………………………… 26
2．4 本章小結 …………………………………………………………………… 27
第 3 章基於非對稱自適應特征融合的 RGB-D 人員檢測………………29
3．1 算法總體架構 ……………………………………………………………… 30
3．2 非對稱RGB-D雙流網絡設計 ……………………………………………… 30
3．3 深度特征金字塔結構設計 ………………………………………………… 33
3．4 多模態自適應通道加權模塊設計 ………………………………………… 34
3．5 多分支預測網絡設計 ……………………………………………………… 36
3．6 實驗結果分析 ……………………………………………………………… 38
3．7 本章小結 …………………………………………………………………… 45
第 4 章基於深度信息改進 DeepSort 多目標跟蹤算法……………………47
4．1 基於預訓練CNN模型提取人員外觀特征 ………………………………… 49
4．2 基於卡爾曼濾波預測人員運動狀態 ……………………………………… 49
4．3 基於深度變化率優化的目標匹配 ………………………………………… 51
4．4 基於軌跡上下文深度差優化的軌跡處理 ………………………………… 55
4．5 實驗結果分析 ……………………………………………………………… 60
4．6 本章小結 …………………………………………………………………… 61
第 5 章基於非對稱孿生網絡的目標跟蹤算法…………………………63
5．1 多人員跟蹤算法總體框架 ………………………………………………… 64
5．2 基於非對稱孿生網絡的軌跡生成模塊設計 ……………………………… 66
5．3 基於時序信息的軌跡優化模塊設計 ……………………………………… 71
5．4 實驗結果與分析 …………………………………………………………… 75
5．5 本章小結 …………………………………………………………………… 83
第 6 章應用系統案例………………………………………………………85
6．1 基於RGB-D的雙向人流量統計系統 ……………………………………… 86
6．2 基於RGB-D的室內人員口罩佩戴情況識別系統 ……………………… 106
6．3 本章小結 ………………………………………………………………… 123
第 7 章總結與展望……………………………………………………… 125
7．1 總結 ……………………………………………………………………… 126
7．2 展望 ……………………………………………………………………… 127
參考文獻……………………………………………………………………… 128

隨著大數據、人工智能、物聯網技術的不斷進步，智能建筑的發展迎來了絕

佳機遇。智能建筑作為一種目前正在高速發展的建筑形式，自20世紀80年代提出以

來逐漸受到各方重視。進入21世紀後，智能建筑利用物聯網、云計算、智能感知等

現代信息技術，采集並分析建筑內部各項環境數據，從而為建筑內設備的自動化控

制、公共場所資源的合理調配以及營造舒適、節能、環保的室內環境提供數據支持

和輔助決策。

智能建筑包含三方面要素，如圖1-1所示。感知即信息采集，是對建筑物理環

境（如CO 2 濃度、溫濕度、光感等）與人類行為（人員識別、人員定位、語音傳感

等）數據的采集；分析即信息匹配，是智能建筑的核心，通過自適應、自學習的方

式挖掘數據之間的關聯模式；反應即信息利用，是將數據分析結果應用於建筑設備

和空間的控制中，從而實現自然環境與人的溝通與交互，提高建筑的整體智能和對

各種場景的適應能力。智能建筑在一定程度上形成了人與環境互相協調的統一體，

實現了人類行為與自然感知的深度融合。