天天看點

深度學習的小目标檢測算法

作者:哥廷根數學學派

首先,在目标檢測的發展過程中,小物體的檢測精度相較于中大物體要低。無論是相對定義還是絕對定義,歸根結底小物體在圖像中的像素都很小、分辨率低以及缺少特征資訊。小目标檢測精度較低的幾點原因如下:

(1)缺乏特征資訊。由于小物體的像素較少,而在如今深度的神經網絡下,會經過幾十上百次的卷積池化操作,下采樣能夠減少計算量、擴大感受野,生成圖像對應的縮略圖,但會使小目标的資訊大量丢失,使得在特征圖中小目标的資訊越來越少。

(2)神經網絡在前向傳播中資訊丢失。在進行前向傳播過程中,特征圖的語義資訊越來越強,而位置資訊逐漸丢失,這使得難以定位目标位置坐标。

(3)資料集中樣本數量分布不均。如果在訓練集中小目标的數量與大、中目标分布不均會導緻網絡在學習中對不同大小的目标适應力低,導緻檢測精度的降低。在COCO 資料集中,同時含有大中小三種尺寸目标的圖檔占總樣本的52.3%,其中大、中目标與小目标的占比分别為70.7%與83.0%,樣本的合理配置設定使得COCO 資料內建為了小目标檢測的常用資料集。獲得合适的資料集在應用中也是一大難點。

(4)先驗框的設定。由于檢測物體的大小以及寬高多變,使得設定的先驗框難以比對實際情況。現有的方法通過設定多組先驗框或者根據訓練資料集計算出錨框,但在檢測未經訓練的目标時,泛化能力欠佳。

(5)損失函數欠妥。在深度學習模型中,使用損失函數來進行梯度下降進而優化模型參數。選擇一個合适的損失函數就顯得尤為總要。現有的算法中IoU 作為損失函數中重要的一部分,其決定了在檢測中對物體定位的準确度,然而小目标相較于大、中目标而言,IoU 的敏感程度不同。

其次,一些通用小目标檢測方法對比如下:

多尺度特征方法

主要内容:融合低層特征圖的細節資訊與高層特征圖的語義資訊

優點:高分辨率與高語義資訊的融合,減少了資訊的丢失

局限性:特征融合結構的複雜性使得計算量上升

SIOU方法

主要内容:将預測框與真實框的角度納入損失函數

優點:加快網絡的收斂速度

局限性:檢測效果依賴資料集

NWD方法

主要内容:利用提出的方法來度量預測框與真實框二維高斯分布的相似性

優點:無論目标之間是否重疊均能夠度量其相似性,且對尺度不敏感

局限性:計算複雜度提高,網絡收斂時間變長

RFLA方法

主要内容:先計算預測框與真實框二維高斯分布的距離,再通過分數排名為小目标配置設定标簽

優點:解決了微小目标标簽配置設定存在的尺度樣本不平衡問題

局限性:計算複雜度提高,網絡收斂時間變長

Perceptual GAN

主要内容:通過增強小目标的特征,減小大目标與小目标間的特征差異

優點:首次将GAN 用于小目标檢測任務,減小了目标間的特征差異

局限性:缺乏直接監督信号。

MTGAN

主要内容:對小且模糊圖像進行重建,恢複細節資訊

優點:提高了圖像的細節資訊

局限性:經過了兩次特征提取,計算量大

Towards Precise Supervision of Feature Super-Resolution for Small Object Detection

主要内容:通過低分辨率特征生成高分辨率特征

優點:提高了特征圖的細節資訊以及分辨率

局限性:重建過程耗時長,檢測速度慢

QueryDet

主要内容:采用級聯稀疏查詢機制,根據預估的小目标粗略位置來引導高分辨率特征計算準确結果

優點:保證高分辨率的同時提高了網絡檢測效率與速度

局限性:會存在小目标無法定位的問題

SAHI

主要内容:通過将圖像切塊并放大,在每一個塊中檢測小目标,并與原圖中較大目标的檢測結果合并為最終結果

優點:将小目标檢測問題轉為了中大目标的檢測,提升了檢測精度

局限性:由于在處理一張圖檔時會額外推理每一個塊,導緻檢測速度下降

其他方法

Augmentation for small object detection

MRAE

特定領域下的小目标檢測方法

深度學習的小目标檢測算法
深度學習的小目标檢測算法
深度學習的小目标檢測算法

繼續閱讀