天天看點

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

作者:計算機視覺研究院

關注并星标

從此不迷路

計算機視覺研究院

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作
EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

公衆号ID|ComputerVisionGzq

學習群|掃碼在首頁擷取加入方式

代碼位址:https://github.com/LSH9832/edgeyolo

計算機視覺研究院專欄

作者:Edison_G

今天分享的研究者提出了一種基于最先進的YOLO架構的高效、低複雜度和無錨的目标檢測器,該檢測器可以在邊緣計算平台上實時實作。

01

概述

研究者開發了一種增強的資料增強方法來有效抑制訓練過程中的過拟合,并設計了一種混合随機損失函數來提高小目标的檢測精度。受FCOS的啟發,提出了一種更輕、更高效的解耦頭,可以在不損失精度的情況下提高推理速度。提出的基線模型在MS COCO2017資料集中可以達到50.6%的AP50:95和69.8%的AP50準确度,在VisDrone2019 DET資料集可以達到26.4%的AP50:95和44.8%的AP50準确度,并且它滿足邊緣計算裝置Nvidia Jetson AGX Xavier的實時性要求(FPS≥30)。

02

介紹

在常見的目标檢測資料集(如MS COCO2017)上,使用兩階段政策的模型比使用一階段政策的要好一點。盡管如此,由于兩階段架構的内部限制,它遠遠不能滿足傳統計算裝置的實時性要求,并且在大多數高性能計算平台上可能面臨同樣的情況。相比之下,單級目标檢測器可以在實時名額和性能之間保持平衡。是以,他們更受研究人員的關注,YOLO系列算法以高速疊代更新。從YOLOv1到YOLOv3的更新主要是對底層架構結構的改進,YOLO的大多數後期主流版本都專注于提高精度和推理速度。

此外,他們的優化測試平台主要是具有高性能GPU的大型工作站。然而,他們最先進的模型在這些邊緣計算裝置上通常以令人不滿意的低FPS運作。為此,一些研究人員提出了參數較少、結構較輕的網絡結構,如MobileNet和ShuffleNet,以取代原有的骨幹網絡,進而在移動裝置和邊緣裝置上實作更好的實時性能,但要犧牲一定的精度。在今天分享中,研究者的目标是設計一種具有良好精度并可以在邊緣裝置上實時運作的物體檢測器。

如下圖所示,研究者還為計算能力較低的邊緣計算裝置設計了更輕、參數更少的模型,這些裝置也顯示出更好的性能。

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

03

新架構

随機資料擴充不可避免地會導緻一些标簽無效,例如(a)中第二張圖的右下角和第三張圖的左下角。雖然有方框,但它們不能提供有效的目标資訊。标簽數量過少會對訓練産生明顯的負面影響,可以通過增加(b)中的有效方框數量來避免這種影響。

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

Enhanced-Mosaic & Mixup

常用的資料增強政策如下(a)和(b)所示,但是(a)和(b)由于資料變換,容易包含不含有效目标的圖像,此外這種情況的機率随着每個原始圖像中标簽數量的減少而逐漸增加。

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

作者是以提出的方法(c):

  • 首先,對多組圖像使用Mosaic方法(可以根據資料集中單個圖檔中标簽的平均數量的豐富程度來設定組數)
  • 然後,通過Mixup方法将最後一個簡單處理的圖像與Mosaic處理的圖像混合(最後一幅圖像的原始圖像邊界在變換後的最終輸出圖像的邊界内)

Lite-Decoupled Head

解耦頭首先在FCOS中提出,然後用于其他Anchor-Free目标檢測器,如YOLOX。在最後幾個網絡層使用解耦結構可以加速網絡收斂并提高回歸性能。但是由于解耦頭采用了導緻額外推理成本的分支結構,是以YOLOv6提出了具有更快推理速度的高效解耦頭,這将中間3×3卷積層的數量減少到僅一層,同時保持與輸入特征圖相同的更大數量的通道。

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

但是這種額外的推理成本随着通道和輸入大小的增加也變得更加明顯。是以引入重參化的技術增強學習能力的同時加快推理。

04

實驗

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作
EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

representative results in VisDrone2019-DET-val

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

representative results on MS COCO2017-val

© THE END

轉載請聯系本公衆号獲得授權

EdgeYOLO:邊緣裝置上實時運作的目标檢測器及Pytorch實作

計算機視覺研究院學習群等你加入!

ABOUT

計算機視覺研究院

計算機視覺研究院主要涉及深度學習領域,主要緻力于人臉檢測、人臉識别,多目标檢測、目标跟蹤、圖像分割等研究方向。研究院接下來會不斷分享最新的論文算法新架構,我們這次改革不同點就是,我們要着重”研究“。之後我們會針對相應領域分享實踐過程,讓大家真正體會擺脫理論的真實場景,培養愛動手程式設計愛動腦思考的習慣!

VX:2311123606

🔗