【遷移學習】【應用】柏油路路面破損檢測

基于遷移學習的無重神經網絡在柏油路路面破損檢測中的應用20190115 IJAERS

摘要：本文提出了一種解決道路路面破損自動檢測問題的方法，即更精确地檢測路面上的坑洞。為此，建議的解決方案使用一個稱為wisard的無重神經網絡來決定道路圖像是否有任何類型的裂縫。此外，所提出的架構也顯示了使用遷移學習如何能夠提高決策系統的整體準确性。作為研究的一個驗證步驟，利用巴西托坎蒂斯聯邦大學街道上的圖像進行了一項實驗。所開發的解決方案的體系結構在資料集中顯示了85.71%的準确性，證明其優于最先進的方法。

關鍵詞：破損檢測，遷移學習，wisard

1. 引言

在巴西，大部分交通是在柏油路上行駛的。根據國家運輸聯合會（CNT）2018年8月的靜态公告，公路運輸占貨運矩陣的61%。由于如此高的交通需求，巴西需要更多的瀝青道路。

盡管巴西的公路運輸十分重要，但由于道路和公路狀況，仍存在嚴重問題。檢測問題，如裂縫和其他損壞，成本高昂，通常由運輸機構手動進行。不幸的是，公路上出現的坑洞比探測到的要快。是以，缺乏更優質的道路已經導緻了經濟貨币價值外展的後果，例如緻命事故，已經奪去了許多不可替代的生命。

人工智能技術的進步與圖像處理研究相結合，為計算機視覺這一新領域提供了背景。這一領域應用了能夠通過模拟人類視覺感覺的算法模拟人腦行為的技術。這樣，本文給出了一個基于計算機視覺的在已鋪築道路的圖像中檢測是否存在危險（損壞）的技術的系統的結果。

是以，提出的解決方案的架構使用一個稱為wisard的無重神經網絡模型，以及能夠選擇輸入圖像特征的遷移學習。

目前，國内外對缺陷檢測問題的研究還很多。Ouma和Hahn提出了柏油路中初始或微線狀缺陷的提取和識别方法。為此，它們的系統主要由三種方法組成：離散小波變換分離和分類故障；連續形态變換濾波檢測故障形狀；圓形Radon變換用于角度幾何方向分析，用于識别和分類故障類型。是以，他們的系統達到了83.2%的精度。

Rodopoulou 他展示了一種通過視訊檢測瀝青路面上的更新檔的方法。通過其視覺特征（包括周圍的閉合輪廓和紋理）檢測斑塊。該算法具有84%的檢測精度。

Gopalakrishnan et al. 他們使用遷移學習（TL）來分類柏油路是否有損壞。對于這一任務，該模型使用了一個預訓練的神經網絡VGG16來遷移學習任務。對于分類任務，它使用了單層感覺器。結果，Gopalakrishnan在他的資料集上獲得了0.9的精度。

對于自動裂紋檢測，Hoang等人應用了邊緣檢測和機器學習兩種方法。在邊緣檢測方面，采用了Sobel和Canny算法，均采用了花授粉元啟發式算法來确定邊緣的門檻值。第二種算法使用卷積神經網絡進行檢測和分類。第一種方法，使用過濾器，Canny和Sobel的精确度分别為76.69%和79.99%。當使用CNN時，第二種方法的精确度為92.88%。

此外，張研究了一個由800個低相似性圖像組成的資料集。它的分類系統還使用了遷移學習範式，以便從深層卷積神經網絡的第一層中提取一般知識。這種人工神經網絡是使用IMAGENET資料庫預先訓練的。之後，在下一個ANN層上使用了微調政策。張氏方法的召回率為0.951，精密度為0.847，F1測量值為0.895。

本文的其餘部分結構如下：第二部分介紹了神經網絡和遷移學習的基本原理。提出的方法見第3節。此外，第4節總結了這項工作的實驗和結果。最後，在第5節中，有一些最後的評論和未來對這項研究的任命。

2 人工神經網絡和遷移學習

通常，回歸和分類模型由固定基函數的線性組合組成。這些模型具有分析和計算特性，在實際情況下，這些特性受到次元的限制。這樣，在這些模型應用于大規模問題之前，就必須使基函數與資料相适應。

根據Bishop的觀點，對于模式識别任務，最成功的模型是人工神經網絡（ANN）。這個術語開始被用來代表無神論的知覺器，這鼓勵了一系列知覺器和神經網絡模型的建立。

2.1 深度卷積網絡和遷移學習

卷積神經網絡（CNN）是一種能夠建立對某些輸入變換不變的模型的神經網絡。這種人工神經網絡可能是最著名的深度學習（DL）模型，最常用于計算機視覺任務，尤其是圖像分類。CNN結合了三種架構機制來保證變形的不變性。具體來說，這些機制是：局部接受域、權重配置設定和子抽樣。其體系結構的基本建構塊是卷積、池化層（子采樣）和完全連接配接的層（如多層感覺器）。CNN的基本結構如圖1所示。

卷積層由單元組成，單元被組織成平面。每一個這樣的單元稱為特征圖。每個特征圖都是從輸入矩陣的小子區域派生出來的。值得一提的是，圖像中的卷積算子可能具有許多參數，如步幅、邊界模式和核心大小。子采樣層負責使網絡更加不變。在這種情況下，max pooling操作符是最常用的。是以，全連接配接層位于卷積層的末端，以類似于多層感覺器的方式工作，以便學習對資料進行分類的權重。

深卷積神經網絡（DCNN）通常需要大的圖像資料集來實作高精度。不幸的是，在某些問題中，沒有這樣的資料量。在這種情況下，遷移學習（TL）方法是一個有趣的選擇。sinno将tl定義為：給定一個源域ds和一個學習任務ts，一個目标域dt和一個學習任務tt，遷移學習的目的是利用知識改進dt中目标預測函數ft（·）的學習。在ds和ts中，其中ds≠dt或ts≠tt。是以，在實踐中，當一個人想要進行轉移學習時，有許多現成的模型。例如，在大型圖像資料集（如ImageNet2）中預先訓練的成熟神經網絡。這些模型允許将他們的學習能力轉移到一個新的分類場景，而不需要從頭開始訓練DCNN。其中一些預先訓練的模型可以在TensorFlow3這樣的架構中找到。隻是為了說明，一些例子包括：vgg-16[5]、alexnet、Inception V3 and Xception . 本次研究選擇了最後一個。

Xception 模型的體系結構由36個卷積層組成，構成其特征提取基礎。這些層被構造成14個子產品，除了第一個和最後一個子產品外，所有子產品都互相連接配接。簡而言之，它的體系結構是一個具有剩餘連接配接的縱向可分離卷積層的線性堆棧。

2.2 Wisard 無權重神經網絡模型

wisard是一種基于神經原理的模式識别機器（預計将在硬體裝置中實作）。wisard由稱為鑒别器的類單元組成。每個鑒别器容納一組基于RAM的神經元。這些神經元具有記憶行為，如随機存取記憶。位址是二進制模式，如果在這個位址中有資訊，那麼神經元就會啟動。總之，一個wisard裝置的主要組成部分是：一個位址解碼器、一組存儲器寄存器、一個具有輸入資料的寄存器和一個輸出資料的寄存器。

前面描述的基于RAM的神經元可以看作是一個給定輸入模式的神經元，它存儲所需的輸出。在教育訓練和可能的重新教育訓練步驟中，給定位址的模式可以被後續教育訓練步驟中的其他值覆寫。是以，wisard不同于普通的神經網絡，因為它不需要複雜的訓練算法。

在wisard中，最簡單的具有泛化特性的基于RAM的網絡稱為鑒别器。鑒别器由一個k rams層組成，該層處理n個輸入。每個RAM存儲一個位的2n個字，單層接收kxn位的二進制模式。教育訓練包括顯示輸入模式（二進制），并将所需的值（1或0）存儲在由所顯示模式尋址的記憶體位置中。然後，每個RAM存儲輸入模式的一部分。當出現一個測試模式時，鑒别器輸出被激發的RAM的數量。圖2說明了wisard的鑒别器的結構。

WISARD由一個多鑒别器系統組成，其中每個鑒别器都經過訓練以識别不同的類。

3 提出的方法：基于遷移學習的WISARD

該方法利用預訓練的Xception 深卷積神經網絡對輸入圖像進行預處理。當輸入圖像插入到Xception 模型中時，它将生成一個具有2048個特征的輸出向量。然後，這些特性被用作無重神經網絡WISARD的輸入，WISARD計算點火RAMS的總和。在這種情況下，如果激發的神經元的總和大于給定的門檻值，則輸入圖像被分類為陽性，即它有任何類型的破損。

在所提出的解決方案中，使用來自ImageNet資料庫的正常圖像對Xception 進行了預訓練。此外，為了應用遷移學習，最後一層的預訓練例外已經被wisard模型所取代。wisard模型作為最終分類器的選擇是由其在使用和學習方面的高性能決定的。是以，整個系統如圖3所示。

wisard模型的配置參數之一是組成網絡層的RAM數量。當Xception 網絡的最後一層生成2048個特性的輸出時，RAM的重量将減少。網絡僅取決于為每個RAM定義的輸入數量。在這種情況下，這項工作還調查了這個參數的影響。這個在第4節中，對每個RAM的輸入大小的評估值進行了更好的描述。

最後，還需要預先處理wisard模型使用的輸入資料。wisard使用的标準輸入視網膜是一個二進制資料流。這樣，就可以使用數組平均值作為門檻值對異常的輸出進行二值化。整個模型是使用3.6版的python程式設計語言和深度神經網絡的keras API實作的。

4 實驗結果和讨論

為了評估所提出的模型，收集了一個具有真實圖像的資料集。一個無人機模型範頓被用來拍照。無人駕駛飛機飛過大學校園的街道。本實驗共采集78張（78張）圖像，其中坑洞照片63張，無問題照片15張。每個圖像都是手動标記的。圖4顯示了所收集資料庫的一些樣本。

測試方法是交叉驗證，其中資料庫被分為60個用于教育訓練的陽性圖像（帶凹坑）和3個用于測試的陽性圖像。

對陰性圖像（無凹坑）進行分割，使系統接受了14個樣本的教育訓練，并對每個子集僅使用一個陰性樣本進行評估，通過交叉驗證程式進行選擇。此外，測試的操作程式是“漏掉一項”，這是一種廣泛用于評估分類系統的方法。是以，每個測試子集由3個正圖像和1個負圖像組成，其餘圖像用于訓練。在一個交叉驗證步驟結束時，測試子集被再次插入到整個集合中，而另一個測試子集被分離出來，由系統進行評估。

使用上述資料集，進行了兩個實驗，其中包括：a）使用wisard方法而不使用遷移學習（标記為“不使用tl”）；和b）使用第3節中提出的架構（标有“TL”）。此外，還實施了Gopalakrishnan提出的相關工作，以便與該工作的報告結果進行比較。圖5總結了實驗a）和b）的結果。

（在資料集77張圖檔上的命中率）

如圖5所示，使用遷移學習大大提高了分類系統的準确性。如第3節所述，wisard參數之一是每個基于RAM的神經元使用的輸入數。是以，圖5顯示了該參數在整個分類性能中的變化（9到14）的敏感性。可以看出，當該參數設定為12時，分類系統的精度達到84.71%，是目前為止最好的。另一方面，在不進行遷移學習的情況下，對系統進行評估時，最佳結果為42.86%。

為了驗證模型的有效性，将其與Gopalakrishnan提出的相關工作進行了比較。它的結構包括使用預先訓練的神經網絡模型vgg16作為遷移學習的基礎，以及作為分類模型的單層感覺器神經網絡，輸入層有256個神經元。Gopalakrishnan的模型在與本研究相同的測試方法下進行了教育訓練和測試。每個系統的最佳結果彙總在頁籤中。

如表1所示。1所提出的模型能夠過度執行最先進的解決方案之一，用于檢測鋪砌道路上的坑洞。由于Gopalakrishnan[10]使用的資料庫不是公開的，是以無法評估拟議工作的性能測試。

5 結論

本研究探讨了利用計算機視覺對鋪築道路上有洞的圖像進行分類的問題。在這項工作中，WISARD失重神經網絡被評估為一個有孔和無孔圖像檢測系統。該方法利用預訓練卷積神經網絡，稱為Xception 。利用存儲在Xception 中的一般圖像知識，利用遷移學習對輸入圖像進行預處理并産生特征作為結果的檢測系統結構。然後将這些特征插入到wisard網絡的輸入資料中，生成輸入圖像的标簽，為了評估所提出的結構，進行了一個實驗，其中包括77個有凹坑和沒有凹坑的圖像。實驗結果表明，轉移學習方法能有效地提高系統的總體精度，從42.86%提高到85.71%。此外，與最先進的解決方案相比，所提出的方法以11.2%的優勢戰勝了之前的方法。未來的一些見解包括使用實時檢測解決方案定位圖像中的凹坑。

待看的三篇引用

[4] K. Gopalakrishnan, S. K. Khaitan, A. Choudhary, and A. Agrawal, “ Deep Convolutional Neural

Networks with transfer learning for computer visionbased data-driven pavement distress detection,” Construction and Building Materials, vol. 157, pp. 322–330, 2017.

[6] H. Nhat-Duc, Q.-L. Nguyen, and V.-D. Tran, “ Automatic recognition of asphalt pavement cracks using metaheuristic optimized edge detection algorithms and convolution neural network,” Autom. Constr., vol. 94, pp. 203–213, 2018.

[7] K. Zhang, H. D. Cheng, and B. Zhang, “ Unified Approach to Pavement Crack and Sealed Crack

Detection Using Preclassification Based on Transfer Learning,” J. Comput. Civ. Eng., vol. 32, no. 2, p. 04018001, 2018