天天看點

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

目标檢測是機器視覺的基本問題,在視訊監控、無人駕駛等場景都有廣泛應用。随着深度學習的興起,近年來湧現了大量優秀的目标檢測模型。然而,訓練一個高準确率的檢測模型需要大量的以包圍框形式精細标注的圖檔資料作為模型監督條件,需要花費大量的人力物力。

同時,我們可以從網際網路輕松擷取海量粗标注的圖檔,如利用Flickr的标簽。是以,研究如何在弱監督條件下,即僅提供粗略圖檔類别标注,訓練目标檢測模型,具有重要的意義。已有學者探索了基于多示例學習建構弱監督條件下的目标檢測模型學習方法,但是模型的精确度仍然難以令人滿意。

論文:Collaborative Learning for Weakly Supervised Object Detection

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

論文連結:https://arxiv.org/abs/1802.03531

本論文提出了一種弱監督協同學習(WSCL)的架構,将弱監督學習網絡和強監督學習網絡連接配接成為一個整體網絡,通過一緻性損失限制強監督和弱監督學習網絡具有相似的預測結果,通過強監督和弱監督學習網絡間部分特征共享保證兩個網絡在感覺水準上的一緻性,進而實作強監督和弱監督學習網絡的協同增強學習。弱監督協同學習架構結構如下圖所示:

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

弱監督協同學習架構(以目标檢測為例)

基于上述弱監督協同學習架構,論文設計了一個端到端的弱監督協同檢測網絡(WSCDN),弱監督和強監督的檢測子產品分别采用了目前最優秀WSDDN和 RCNN網絡結構。其網絡結構如下圖所示。

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

弱監督協同目标檢測學習模型

在每次學習疊代中,整個目标檢測網絡隻将圖像級标簽作為弱監督,并且通過預測一緻性損失并行優化強監督和弱監督檢測網絡。

下圖是WSCDN訓練時,強監督和弱監督檢測網絡準确率的變化曲線。

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

可以看出,在訓練的初始階段,弱監督檢測網絡準确率高于強監督檢測網絡。随着協同訓練輪次的增多,兩者的準确率均逐漸上升,但強監督檢測網絡提升的速度更快,并很快超越弱監督檢測網絡。在整個訓練過程中,兩類檢測網絡互相協同,達到了共同提高的效果。

我們比較了弱監督協同檢測網絡與其他相關弱監督檢測方法在PASCAL VOC 2007測試圖檔上的效果(見下圖)。其中,IW是單獨訓練得到的弱監督檢測模型,CSS是分開疊代訓練得到的強監督檢測模型,CLW和CLS分别是通過弱監督協同檢測網絡得到的強監督和弱監督檢測網絡。可以看出,我們的強監督檢測網絡明顯優于其他檢測器網絡,表現在可以得到更全面和更緊湊的包圍框預測。

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

我們用PASCAL VOC 2007和PASCAL VOC 2012資料集進行了測試。結果表明,弱監督協同檢測網絡的定位精确率以及檢測準确率均顯著優于目前最先進的方法。

弱監督協同檢測網絡與其他目前最先進的方法在PASCAL VOC 2007 測試資料集上檢測精确度的比較(AP) (%)

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

弱監督協同檢測網絡與其他目前最先進的方法在PASCAL VOC 2007 trainval set 上定位精确度的比較(CorLoc) (%)

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

弱監督協同檢測網絡與其他目前最先進的方法在PASCAL VOC 2012 測試資料集上檢測精确度的比較(AP) (%)

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

弱監督協同檢測網絡與其他目前最先進的方法在PASCAL VOC 2012 trainval set 上定位精确度的比較(CorLoc) (%)

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

原文釋出時間為:2018-05-14本文作者:上海交通大學未來媒體網絡協同創新中心本文來自雲栖社群合作夥伴新智元,了解相關資訊可以關注“AI_era”。原文連結:

IJCAI Oral:弱監督實作精确目标檢測,上交大提出協同學習架構

繼續閱讀