關注并星标
從此不迷路
計算機視覺研究院
公衆号ID｜計算機視覺研究院
學習群｜掃碼在首頁擷取加入方式
計算機視覺研究院專欄
Column of Computer Vision Institute
無人機圖像中的目标檢測是各個研究領域的重要基礎。然而，無人機圖像帶來了獨特的挑戰，包括圖像尺寸大、檢測對象尺寸小、分布密集、執行個體重疊和照明不足，這些都會影響對象檢測的有效性。
01
前景概要
今天分享中，我們提出了Drone-YOLO，這是一系列基于YOLOv8模型的多尺度無人機圖像目标檢測算法，旨在克服與無人機圖像目标檢測相關的特定挑戰。為了解決大場景大小和小檢測對象的問題，我們對YOLOv8模型的頸部元件進行了改進。具體而言，我們采用了三層PAFPN結構，并結合了一個使用大規模特征圖為小型目标量身定制的檢測頭，顯著增強了算法檢測小型目标的能力。此外，我們将夾層融合子產品內建到頸部上下分支的每一層中。這種融合機制将網絡特征與低級特征相結合，提供了關于不同層檢測頭處物體的豐富空間資訊。我們使用深度可分離進化來實作這種融合，它平衡了參數成本和大的感受野。在網絡主幹中，我們使用RepVGG子產品作為下采樣層，增強了網絡學習多尺度特征的能力，并優于傳統的卷積層。
所提出的Drone-YOLO方法已在消融實驗中進行了評估，并在VisDrone2019資料集上與其他最先進的方法進行了比較。結果表明，我們的Drone-YOLO（L）在目标檢測的準确性方面優于其他基線方法。與YOLOv8相比，我們的方法在mAP0.5名額上實作了顯著改進，VisDrone2019測試增加了13.4%，VisDrone 2019-val.增加了17.40%。此外，隻有5.25M參數的參數高效Drone-YOLO（tiny）在資料集上的性能與9.66M參數的基線方法相當或更好。這些實驗驗證了Drone-YOLO方法在無人機圖像中目标檢測任務中的有效性。
02
背景
在過去的15年裡，随着無人機控制技術的逐漸成熟，無人機遙感圖像以其成本效益和易擷取性成為低空遙感研究領域的重要資料源。在此期間，深度神經網絡方法得到了廣泛的研究，并逐漸成為圖像分類、目标檢測和圖像分割等任務的最佳方法。然而，目前應用的大多數深度神經網絡模型，如VGG、RESNET、U-NET、PSPNET，主要是使用手動收集的圖像資料集開發和驗證的，如VOC2007、VOC2012、MS-COCO，如下圖所示。
與人工拍攝的真是圖像相比，從無人機獲得的圖像顯示出顯著差異。這些無人機拍攝的圖像如下：
除了這些圖像資料特征外，無人機遙感目标檢測方法還有兩種常見的應用場景。第一個涉及使用大型台式計算機進行飛行後資料處理。無人機飛行後，捕獲的資料在台式計算機上進行處理。第二個涉及飛行過程中的實時處理，無人機上的嵌入式計算機實時同步處理航空圖像資料。該應用程式通常用于無人機飛行期間的避障和自動任務規劃。是以，應用神經網絡的目标檢測方法需要滿足每個場景的不同要求。對于适用于台式計算機環境的方法，需要高檢測精度。對于适用于嵌入式環境的方法，模型參數需要在一定範圍内才能滿足嵌入式硬體的操作要求。在滿足操作條件後，該方法的檢測精度也需要盡可能高。
是以，無人機遙感圖像中目标檢測的神經網絡方法需要能夠适應這些資料的特定特征。它們的設計應滿足飛行後資料處理的要求，可以提供高精度和召回率的結果，或者它們應設計為具有較小規模參數的模型，可以部署在嵌入式硬體環境中，用于無人機上的實時處理。
03
新架構設計介紹
下圖顯示了我們提出的Drone-YOLO（L）網絡模型的架構。該網絡結構是對YOLOv8-l模型的改進。在網絡的主幹部分，我們使用RepVGG結構的重新參數化卷積子產品作為下采樣層。在訓練過程中，這種卷積結構同時訓練3×3和1×1卷積。在推理過程中，兩個卷積核被合并為一個3×3卷積層。這種機制使網絡能夠在不影響推理速度或擴大模型大小的情況下學習更穩健的特征。在頸部，我們将PAFPN結構擴充到三層，并附加了一個小尺寸的物體檢測頭。通過結合所提出的三明治融合子產品，從網絡主幹的三個不同層特征圖中提取空間和信道特征。這種優化增強了多尺度檢測頭收集待檢測對象的空間定位資訊的能力。
如下圖所示，我們提出了sandwich-fusion（SF），這是一種三尺寸特征圖的新融合子產品，它優化了目标的空間和語義資訊，用于檢測頭。該子產品應用于頸部自上而下的層。該子產品的靈感來自YOLOv6 3.0【YOLOv6 v3.0: A Full-Scale Reloading】中提出的BiC模型。SF的輸入如圖所示，包括主幹較低階段、相應階段和較高階段的特征圖。目标是平衡低級特征的空間資訊和進階特征的語義資訊，以優化網絡頭部對目标位置的識别和分類。
04
項目落地效果
項目中，我們使用Ubuntu 20.04作為作業系統，Python 3.8、PyTorch 1.16.0和Cuda 11.6作為軟體環境。實驗采用NVIDIA 3080ti圖形卡作為硬體。神經網絡的實作代碼是在Ultralytics 8.0.105版本的基礎上修改的。在項目中的訓練、測試和驗證過程中使用的超參數保持一緻。訓練epoch被設定為300，并且輸入到網絡中的圖像被重新縮放到640×640。在下面列出的一些結果中，所有YOLOv8和我們提出的Drone-YOLO網絡都具有來自我們檢測結果。在這些落地中，這些網絡都沒有使用預訓練參數。
在嵌入式應用實驗中，我們使用NVIDIA Tegra TX2作為實驗環境，該環境具有256核NVIDIA Pascal架構GPU，提供1.33 TFLOPS的峰值計算性能和8GB的記憶體。軟體環境為Ubuntu 18.04 LTS作業系統、NVIDIA JetPack 4.4.1、CUDA 10.2和cuDNN 8.0.0。
在VisDrone2019-test測試效果
基于NVIDIA Tegra TX2的結果
Drone-YOLO實際效果
左邊是Yolov8的結果，可以看出紅色框中大部分目标沒有檢測出來
論文位址：www.mdpi.com/2504-446X/7/8/526
© THE END
轉載請聯系本公衆号獲得授權
計算機視覺研究院學習群等你加入！
ABOUT
計算機視覺研究院
計算機視覺研究院主要涉及深度學習領域，主要緻力于目标檢測、目标跟蹤、圖像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的論文算法新架構，提供論文一鍵下載下傳，并分享實戰項目。研究院主要着重”技術研究“和“實踐落地”。研究院會針對不同領域分享實踐過程，讓大家真正體會擺脫理論的真實場景，培養愛動手程式設計愛動腦思考的習慣！
🔗