基於深度學習的地鐵基礎設施病害檢測（簡體書）

目錄
前言
第1章　緒論1
1.1　地鐵基礎設施檢測及意義1
1.2　深度學習發展現狀2
1.3　地鐵基礎設施檢測國內外研究現狀3
1.3.1　鋼軌檢測國內外研究現狀3
1.3.2　扣件檢測國內外研究現狀4
1.3.3　受電弓檢測國內外研究現狀5
1.3.4　接觸網檢測國內外研究現狀7
1.4　本書主要內容8
參考文獻9
第2章　圖像處理基礎13
2.1　圖像濾波技術13
2.1.1　盒式濾波13
2.1.2　均值濾波14
2.1.3　高斯濾波14
2.1.4　中值濾波15
2.1.5　雙邊濾波15
2.1.6　引導濾波16
2.2　圖像分割技術17
2.2.1　傳統分割方法17
2.2.2　智能分割方法19
2.3　圖像邊緣檢測技術21
2.3.1　微分邊緣檢測技術22
2.3.2　基於小波變換的邊緣檢測技術23
2.3.3　基於數學形態學的邊緣檢測技術24
2.3.4　基於模糊學的邊緣檢測技術26
2.3.5　基於神經網絡的邊緣檢測技術27
2.3.6　基於遺傳算法的邊緣檢測技術27
2.4　圖像特征提取技術28
2.5　圖像增強技術32
2.5.1　直方圖均衡算法33
2.5.2　小波變換圖像增強算法34
2.5.3　偏微分方程圖像增強算法34
2.5.4　Retinex圖像增強算法35
2.6　圖像視覺特征詞典技術36
2.6.1　詞袋模型36
2.6.2　高斯混合模型37
2.7　本章小結39
參考文獻40
第3章　基於圖像處理的碳滑板表面病害檢測42
3.1　受電弓病害介紹42
3.1.1　受電弓基本介紹42
3.1.2　受電弓常見病害介紹43
3.2　碳滑板邊緣檢測46
3.2.1　圖像預處理46
3.2.2　圖像邊緣檢測48
3.2.3　圖像校正49
3.2.4　磨耗邊緣提取49
3.3　碳滑板病害識別51
3.3.1　磨耗曲線提取51
3.3.2　磨耗數學定義52
3.3.3　實際案例分析54
3.4　本章小結56
參考文獻56
第4章　基於圖像處理的軌道線路扣件檢測57
4.1　基於投影統計差的扣件區域的定位與分割57
4.1.1　鋼軌區域定位58
4.1.2　軌枕區域定位62
4.1.3　扣件區域定位64
4.2　基於Dense SIFT的扣件區域的特征提取68
4.2.1　扣件Dense SIFT特征提取69
4.2.2　基於空間金字塔分解的扣件視覺詞袋構建70
4.3　扣件病害的分類和識別72
4.4　本章小結76
參考文獻76
第5章　基於圖像處理的軌道表面病害檢測78
5.1　基於RGF和數字形態學的圖像增強78
5.1.1　基於RGF的圖像增強79
5.1.2　基於數學形態學的圖像增強80
5.2　鋼軌表面剝離掉塊病害的檢測與分類81
5.2.1　鋼軌表面剝離掉塊病害的定位與分割82
5.2.2　鋼軌表面離散病害數據集與特征提取84
5.2.3　基於SVM的鋼軌表面病害分類87
5.3　鋼軌表面波磨病害的識別與評估90
5.3.1　基於改進空間金字塔匹配模型的鋼軌波磨識別算法91
5.3.2　鋼軌波磨周期估計94
5.3.3　鋼軌波磨嚴重程度評估96
5.4　本章小結97
參考文獻98
第6章　基於3D重構的接觸線表面病害檢測100
6.1　雙目立體視覺概述100
6.1.1　相機成像模型100
6.1.2　相機標定方法104
6.1.3　立體成像理論106
6.2　立體匹配算法107
6.2.1　立體匹配概念107
6.2.2　常見立體匹配算法110
6.3　接觸線3D重構及病害分析113
6.3.1　系統搭建及標定113
6.3.2　接觸線三維重建117
6.3.3　接觸線病害分析121
6.4　本章小結125
參考文獻125
第7章　深度學習基礎126
7.1　深度學習理論126
7.2　卷積神經網絡127
7.2.1　卷積神經網絡的結構128
7.2.2　卷積神經網絡運算與求解130
7.2.3　卷積神經網絡的特點133
7.2.4　典型卷積網絡模型134
7.3　本章小結138
參考文獻138
第8章　基於深度學習的軌道扣件識別139
8.1　扣件圖像的預處理139
8.1.1　圖像旋轉139
8.1.2　圖像鏡像140
8.1.3　圖像加噪141
8.1.4　圖像光照增強141
8.2　基於VGGNet-16網絡的扣件檢測和識別142
8.2.1　VGGNet-16網絡結構142
8.2.2　VGGNet-16網絡訓練及測試結果144
8.3　基於Faster R-CNN的扣件檢測和識別147
8.3.1　目標檢測數據集制作147
8.3.2　Faster R-CNN模型搭建148
8.3.3　Faster R-CNN訓練及測試151
8.4　本章小結154
參考文獻154
第9章　基於深度學習的鋼軌表面和扣件病害多目標識別155
9.1　鋼軌表面和扣件病害多目標檢測概述155
9.2　鋼軌表面和扣件病害圖像的預處理158
9.3　基於Faster R-CNN的鋼軌表面和扣件多目標病害識別159
9.3.1　多目標病害檢測數據集制作160
9.3.2　Faster R-CNN模型搭建、訓練及測試161
9.4　基於YOLOv3算法的鋼軌表面和扣件多目標病害識別162
9.4.1　YOLOv3網絡模型搭建及改進163
9.4.2　改進YOLOv3網絡訓練及測試167
9.5　本章小結169
參考文獻170
第10章　接觸網懸掛部件的病害識別173
10.1　待測絕緣子和各類螺栓的圖像分割174
10.1.1　圖像預處理174
10.1.2　圖像匹配算法175
10.1.3　絕緣子與各類螺栓提取177
10.2　基於圖像處理的接觸網懸掛病害檢測180
10.2.1　基於SURF算法的特征提取181
10.2.2　BOF模型181
10.2.3　絕緣子和各類螺栓分類182
10.3　基於AlexNet模型的待測目標分類檢測188
10.3.1　圖像數據增強188
10.3.2　AlexNet模型190
10.3.3　基於AlexNet模型的待測目標分類191
10.4　基於YOLOv3網絡的接觸網懸掛病害檢測192
10.5　本章小結195
參考文獻195
第11章　基於深度學習的受電弓表面病害識別197
11.1　基於DCNN的受電弓表面缺陷圖像識別197
11.1.1　實驗環境介紹198
11.1.2　網絡深度對比與選擇198
11.1.3　適用於受電弓表面缺陷圖像識別的DCNN模型203
11.1.4　模型訓練與缺陷識別效果測試210
11.2　基於Faster R-CNN的受電弓定位及病害分類212
11.2.1　Faster R-CNN模型介紹及改進212
11.2.2　實驗結果及分析218
11.3　本章小結222
參考文獻222

第1章　緒 論
近年來，軌道交通作為一種現代化的交通運輸方式，在我國各大城市得到了大力發展，在國民經濟的發展中起到了關鍵作用。截至2020年底，中國內地開通城市軌道交通的城市共45座，運營裡程達7978.19km，其中地鐵6303km，2020年共新增城市軌道交通運營線路1241.99km。2020年為“十三五”收官之年，“十三五”的五年間，中國內地城市軌道交通新增運營裡程4360km，年均新增運營裡程872km[1]。國內軌道交通在建以及投資規模不斷擴大，在未來幾年內還將呈持續快速增長的態勢。為保障軌道交通的安全運輸與運營效率，有必要對鋼軌、扣件等軌道線路基礎設施開展定期巡檢，及時發現並處理軌道線路上存在的缺陷，同時為軌道的維護保養提供有效的數據支持。然而，國內軌道線路基礎設施缺陷檢測技術的發展相對滯後，目前仍然以人工巡檢的方式為主，該方式雖簡單易行但效率低下，檢測結果受主觀的影響較大，還可能危害到巡檢工人的人身安全，並且難以滿足日益增長的運營需求。因此，軌道線路基礎設施缺陷的自動化檢測技術或設備是保證高效率軌道交通運營安全的關鍵。現有的應用相對成熟的自動化檢測算法主要有超聲波檢測、電渦流法、漏磁檢測和機器視覺等，其中，除機器視覺外，其他幾種檢測算法均側重於鋼軌表面缺陷的自動檢測，未能實現對其他軌道線路基礎設施安全狀態的檢測，且速度受到一定的限制，檢測效率低。充分利用圖像處理等機器視覺技術，能夠在保障運輸安全的前提下更好地滿足軌道交通線路自動化檢測的需求。
1.1　地鐵基礎設施檢測及意義
隨著中國城市化進程不斷深入，現代城市軌道交通運營日趨網絡化和集成化，對網絡化的運營指揮和維護保障整體協同性提出了更高的要求，也對城市軌道交通網絡的可靠性保證提出了更大的挑戰。城市軌道交通線路的基礎設施，如軌道線路、接觸網等在列車運行中形成了全息化的移動立體空間，其中，軌道設施設備是承載列車運行的基礎，在確保整個立體空間有效、安全、持續運作的綜合體系中扮演著重要的角色。因此，如何利用智能化、自動化等技術手段對軌道交通基礎設施安全狀態進行全方位的檢測是目前迫切需要解決的問題。
鋼軌和扣件的健康狀態是保證軌道交通安全穩定運行的關鍵因素。扣件的丟失會導致鋼軌出現松動，長期發展下去鋼軌往往會出現變形，漸漸地出現錯位、崩塌等問題，嚴重時會直接導致機車脫軌發生事故。此外，受電弓和接觸網組成的弓網系統是軌道線路列車供電系統中非常重要的部分。受電弓是安裝在車頂上，通過與架空線纜進行接觸來實現電力收集的裝置，擔負著將電能由牽引網輸送給電力機車的關鍵作用，其中受電弓上的碳滑板與接觸線滑動接觸，實現電流的輸送。碳滑板滑動受電的過程中包含復雜的力學與電氣作用，使得該系統一直存在較高的故障率，對電氣化鐵路的安全運營造成了較大的影響。接觸網是指在電氣化鐵路線路中沿線架設的輸電線路，主要作用是與受電弓相互滑動接觸向電力機車直接輸送電能，驅動列車運行，是電氣化鐵路的動脈。保證接觸網與受電弓之間的動態緊密接觸也是列車能夠正常運行的關鍵因素，但是由於接觸網設置在開放的環境下，沒有備用線路，並且在電力機車的運行過程中接觸網線路上的負荷會隨之變化，所以接觸網很容易產生磨損和老化，引發安全問題。在列車運行過程中，運行不規律、弓網間關係異常、電氣腐蝕等也會導致接觸線產生磨損，比較嚴重時會產生接觸網變形甚至斷線的情況。當接觸網發生故障時，無法更換備用線路，整條鐵路線路的運營都將會受到影響，造成巨大的經濟損失。所以，一旦弓網系統發生故障，將極大地損害列車的正常運行。
因此，在目前城市軌道交通復雜惡劣的檢測環境下，制定綜合全面的檢測方案，構建高精度、一體化的檢測技術體系，並設計針對性強、穩定性好、準確度高的綜合安全監測系統具有重大意義。
1.2　深度學習發展現狀
深度學習[2]的出現引發了計算機視覺和人工智能領域的深刻變革，近年來，深度學習在不同的新興行業均取得了不同程度的進展。例如，在語音識別、計算機視覺、自動駕駛等領域，深度學習相比傳統算法能取得飛躍式效果提升，而深度學習在計算機視覺領域的輝煌離不開卷積神經網絡(convolutional neural network，CNN)[3]，從某種意義上說，CNN成就了深度學習，神經網絡的繁榮體現了深度學習的發展。神經網絡起源於1943年，McCulloch和Pitts[4]以數學為基礎，通過構建相應的算法來模擬人體思維活動，自此世界上首個神經網絡的數學模型誕生。1950?年，Turing[5]精心設計了一場機器模仿人類的遊戲，據此判斷機器是否會“思考”，也就是著名的圖靈測試。1958年，Rosenblatt[6]首次提到了感知機的概念，這是首個用算法來定義神經網絡的數學模型。1965年，Ivakhnenko和Lapa[7]創建了首個有效的深度學習網絡，這是一種針對多層感知的通用的學習算法，首次將理論和想法應用到實踐上。1986年，Rumelhart等[8]提出誤差反向傳播(back propagation，BP)算法，該算法已被廣泛應用，並成為神經網絡的核心算法。1989年，Lecun等[9]利用機器識別手寫數字，將CNN和BP算法結合起來，正式拉開了CNN的序幕。1998年，Lecun和Bottou[10]設計了LeNet-5模型，該模型充分利用了卷積操作中局部連接和權重共享的特性，在手寫數字識別上達到了非常好的效果，這也是神經網絡的初始階段。然而後來支持向量機(support vector machine，SVM)[11]在分類上的效果顯著，加上SVM具有較強的可解釋性以及輕量的運行環境，使得眾多學者紛紛投入對它的研究，SVM的應用也愈發廣泛，而神經網絡由於設備受限等進入沉寂期，直到2006年，Hinton和Salakhutdinov[12]使CNN再次進入公眾視野。2009年，Deng等[13]建立了ImageNet圖像數據集；2014年，DeepFace[14]被提出；2015年，計算機視覺組(visual geometry group，VGG)模型[15]誕生；同年，DeepID-Net[16]也被提出；2017年，Huang等[17]將人臉數據集(labled faces in the wild，LFW)數據庫上的人臉識別精度提高至99%以上。真正轟動全球、令眾人了解到深度學習的是2016年AlphaGo[18]在圍棋比賽中以絕對優勢戰勝了***的職業棋手，此後眾多學者爭相研究深度學習，新的成果層出不窮，機器翻譯、唇語識別、視頻換臉等應用已經滲透到人們的日常生活中，深度學習的發展迎來了鼎盛時期。
網絡架構是神經網絡很重要的因素，通常來說，網絡層數越多，其擬合能力越強，許多學者在神經網絡架構上做出了重要貢獻。除了上面提到的LeNet-5之外，2012年，Krizhevsky等[19]提出了AlexNet；2016年，He等[20]提出了殘差網絡(residual network，ResNet)，解決了神經網絡深度難以加深的問題。2016?年，Szegedy等[21]提出Inception-v4網絡，從多尺度的角度對神經網絡進行了優化。越來越多的專家通過巧妙的網絡設計來解決工業中遇到的具體問題，深度學習、神經網絡正深遠地影響著各行各業。
1.3　地鐵基礎設施檢測國內外研究現狀
1.3.1　鋼軌檢測國內外研究現狀
目前，國內外對鋼軌表面缺陷檢測常用的方法有人工巡檢法、電渦流法、超聲波法、磁粉法和基於圖像處理技術的檢測算法等。20世紀70年代末，國際上開始對采用圖像處理技術檢測軌道缺陷進行研究，但是當時各方面的硬件以及圖像處理技術的發展水平還達不到要求，使得其在實踐中無法得到應用。目前，隨著計算機硬件、計算機仿真技術和計算機圖像處理技術的不斷發展，基於圖像處理技術的鋼軌表面缺陷檢測算法得到廣泛應用。基於圖像處理技術的檢測算法通過工業相機對鋼軌進行圖像采集，並將圖像信息轉換為數字信號反饋給圖像處理系統進行分析處理，*終實現對缺陷的檢測與識別分類。該算法具有檢測精度高、速度快、抗幹擾能力強等優點，是目前鋼軌表面缺陷檢測研究的熱點。
美國ENSCO公司對圖像處理技術應用於軌道檢查系統的研究已有40餘年，該公司*新研制了視頻檢查系統(video inspection system，VIS)，該系統的檢測功能主要包括軌道幾何形狀的檢測、鋼軌輪廓檢測，以及鋼軌連接板、鋼軌表面損傷、扣件、軌枕的檢測等。該系統的檢測速度達到了128.8km/h。法國的MGV高速綜合檢測車上也裝載了視頻檢測系統，於2003年開始對高速路網進行檢測，檢測速度為320km/h。德國Atlas Electronic公司開發了RAIL CHECK光電式軌道檢測系統，該系統采用電荷耦合器件(charge coupled device，CCD)攝像機連續采集軌道圖像並儲存，利用圖像處理技術對圖像進行特性分析，可以對鋼軌、扣件、軌枕和道床進行損傷檢測與分類，系統分辨率為2mm×2mm，檢測速度為120km/h。
我國對圖像處理技術應用於鋼軌缺陷檢測的研究開展較晚，該技術還未得到廣泛的應用。但是，有大量的學者一直致力於將圖像處理技術應用於鋼軌表面缺陷檢測的研究中，並取得了一定的研究成果。劉澤等[22]設計了一種基於機器視覺的鋼軌表面缺陷檢測系統，利用該系統配合基於圖像處理技術的在線探傷軟件，當模擬檢測速度為100km/h時，可以準確發現模擬的待測裂紋缺陷，同時能夠得到缺陷的特征信息及其所在位置。賀振東等[23]根據鋼軌表面圖像具有沿列車運行方向像素值基本不變的特征，提出了一種基於背景差分法的鋼軌表面缺陷檢測算法，將視頻監控中的背景差分法推廣至缺陷圖像的分割領域，實驗結果表明，該算法在一定程度上解決了鋼軌表面缺陷分割過程中受圖像光照變化、反射不均、特征少等不利因素影響的問題，同時對塊狀缺陷能夠很好地識別。任盛偉等[24]采用圖像處理技術和模式識別技術，分析鋼軌表面圖像的特點，通過引入人類視覺對比度感知機理，提出了魯棒實時的鋼軌表面擦傷檢測算法，實驗結果表明，該算法具有較高的檢測性能，平均準確率為90.7%，平均漏檢率為3.95%，檢測速度快，平均檢測時間不超過40ms。陳後金等[25]根據鋼軌表面缺陷的灰度和梯度特征，引入*大熵準則求取自動閾值的方法，建立灰度梯度共生矩陣模型來對鋼軌缺陷的內邊緣進行提取，實現對鋼軌缺陷的自動檢測，實驗結果表明，該算法能夠較好地提取正常鋼軌表面的邊緣特征，可有效地對鋼軌缺陷進行檢測，在一定程度上滿足了實際需求，但該算法的復雜度還需優化，測試樣本空間還需更加充足，處理效率有待提升。
1.3.2　扣件檢測國內外研究現狀
國外在鐵路巡檢設備上的研究始於20世紀70年代，針對鐵路扣件的檢測研究始於21世紀初期。Hsieh等[26]首先采用小波變換(wavelet transform，WT)進行扣件的檢測，此檢測方式需首先確定扣件的局部區域，完成形態學轉換後提取扣件特征來進行檢測，但該檢測方式對光照條件反應敏感，且實際線路中工況復雜，穩定性不足。Stella等[27]通過基於計算機視覺技術的自動檢測方法對鋼軌軌枕螺栓是否存在進行了準確識別。Singh等[28]利用彩色扣件圖像的邊緣信息及像素統計信息實現了對Pandrol型扣件的分類檢測。Li等[29]實現了對道釘式扣件的檢測。以上三種扣件在國外應用較多，國內很少使用。我國的高速鐵路建設中主要采用無砟軌道結構，而這種無砟軌道的建設過程中多采用Vossloh300型扣件、WJ-7型扣件和WJ-8型扣件作為緊固連接件，這幾種扣件也是目前應用範圍*廣的扣件。Gibert等[30]通過方向梯度直方圖(histogram of oriented gradient，HOG)特征及SVM分類實現對扣件的檢測，其檢測準確率可以達到98%，但需要提前對扣件進行準確的定位，否則將造成檢測準確