多标簽分類_多标簽分類文獻閱讀（6）

多标簽航空影像分類的關系網(Relation Network for Multilabel Aerial Image Classification)

摘要

多标簽分類在感覺航空圖像的複雜内容方面起着舉足輕重的作用，并且在過去幾年中引發了一些相關研究。但是，它們中的大多數在利用标簽關系方面花費很少的精力，而這種依賴性對于做出準确的預測至關重要。盡管可以引入長期短期記憶(LSTM)層以鍊傳播方式對此類标簽依賴性進行模組化，但是當某些标簽被錯誤地推斷時，效率可能會受到質疑。為了解決這個問題，我們提出了一種新穎的航空影像多标簽分類網絡，即注意感覺标簽關系推理網絡。特别地，我們的網絡由三個基本子產品組成：1)标簽級特征宗地學習子產品；2)注意區域提取子產品；3)标簽關系推斷子產品。更具體地說，按标簽标注地塊學習子產品旨在提取特定于标簽的進階要素。注意區域提取子產品旨在在不生成區域提議的情況下将這些特征中的可區分區域定位在本地，進而生成注意标簽特定的功能。标簽關系推斷子產品最終使用從前一個子產品的輸出中得出的标簽關系來預測标簽的存在。所提出的網絡的特征在于其具有提取判别性标簽特征和自然且可解釋地推理标簽關系的能力。在我們的實驗中，我們在兩個多标簽航空影像資料集上評估了提出的模型，其中一個是新産生的。這兩個資料集的定量和定性結果證明了我們模型的有效性。

1、介紹

A、識别多個标簽的挑戰

在識别航空圖像的多個标簽時，需要面對兩個主要挑戰。一種是如何從原始圖像中提取語義特征表示。這是至關重要的，但特别是對于高分辨率的航拍圖像來說很困難，因為它們始終包含複雜的空間上下文資訊。正常方法主要訴諸于手工制作的特征和語義模型，而這些方法無法有效地提取進階語義并導緻分類性能有限。是以，需要高效的進階特征提取器。 另一個挑戰是如何充分利用标簽相關性來推斷航空圖像的多個對象标簽。與主要關注于模組化圖像标簽相關性的單标簽分類相反，探索和模組化标簽标簽相關性在識别航空圖像中的多個對象方面起着補充但必不可少的作用。例如，船的存在自信地推斷出水或海的共存，而汽車的存在則暗示了人行道出現的高可能性。不幸的是，文獻中很少涉及這種标簽相關性。一種解決方案是使用遞歸神經網絡(RNN)來學習标簽依賴性。但是，這是通過鍊傳播方式完成的，其性能在很大程度上取決于長期記憶的學習效果。

總體而言，高效的多标簽分類模型應該不僅能夠學習進階特征表示，而且能夠有效地對标簽相關性進行模組化。

B、相關工作

C、工作動機

為了明确模組化标簽關系，我們提出了一種标簽關系推理網絡，用于多标簽航空圖像分類。本文受到關系網絡在視覺問答，對象檢測，視訊分類，視訊中的活動識别和語義細分方面的最新成功的啟發。。關系網絡的特征在于其固有的能力，可以推斷單個實體(例如，圖像中的區域或視訊中的幀)與所有其他實體(例如圖像中的所有區域或視訊中的所有幀)之間的關系。此外，為了提高關系推理的有效性，我們利用空間變換器，該變換器通常用于增強深度神經網絡的變換不變性，以減少不相關的語義特征的影響。

更具體地說，在本文中，提出了一種創新的端到端多标簽航空圖像分類網絡，稱為注意力感覺标簽關系推理網絡，其特征在于它具有定位特定于标簽的區分區域和顯式模組化語義标簽依賴關系的功能。為任務。本文的貢獻是三方面的，具體如下。

1. 我們提出了一種新穎的多标簽航空圖像分類網絡，注意-AL-RN-CNN，它由三個必要組成部分組成：逐個标簽地塊學習子產品，一個注意區域提取子產品和一個标簽關系推斷子產品。據我們所知，這是首次将關系網絡的概念用于預測航空影像的多個目标标簽，并且實驗結果證明了其有效性。
2. 我們以無提議的方式從标簽方式的地塊中提取關注區域。特别地，采用可學習的空間變換器來定位被認為包含判别資訊的注意力區域，然後将它們重新協調為給定的大小。通過這樣做，可以得到注意特征包。
3. 為了促進多标簽航空圖像分類的進展，我們通過在AID資料集中重新标記圖像來産生一個新的資料集AID多标簽資料集。與UCM多标簽資料集相比，由于圖像的空間分辨率不同，場景更多，樣本更多，是以提出的資料集更具挑戰性。

2、方法

A、網絡架構

如圖2所示，所提出的網絡包括三個元件：逐标簽特征地塊學習子產品，關注區域提取子產品和标簽關系推斷子產品。(詳細介紹看原文)

B、标簽式特征包學習

C.注意區域提取子產品

D.标簽關系推斷子產品

3、實驗與讨論

A、資料及簡介

1)UCM多标簽資料集

2)AID多标簽資料集

B、教育訓練細節

我們的模型在TensorFlow-1.12.0上實作，并經過了100個時期的訓練。計算資源是具有16 GB記憶體的NVIDIA Tesla P100 GPU。作為訓練速度和GPU記憶體容量之間的折衷，我們将訓練批次的大小設定為32。為避免過度拟合，一旦驗證損失在五個時期内連續增加，訓練進度将終止。

C.實驗裝置

為了充分探索我們提議的網絡的容量，我們通過用GoogLeNet(Inceptionv3)和ResNet(在我們的情況下為ResNet-50)代替骨幹網來擴充我們的研究。具體來說，我們通過删除全局平均池化和完全連接配接的層以及将“ mixed8”中卷積層和池化層的步幅減小到1來改進GoogLeNet，以提高空間分辨率。此外，為了保留後續卷積層的接收場，将“ mixed9”中的濾波器替換為無用的卷積濾波器，并且将擴散速率定義為2。對于ResNet，我們将濾波器的卷積步幅和擴散速率設為1和2，分别在最後一個殘差塊中。全局平均池和完全連接配接的層也将被删除。

在我們的實驗中，我們将拟議的注意力AL-RN-CNN與以下競争對手進行了比較：标準CNN，CNN-RBFNN 和CA-CNN-BiLSTM 。關于CNN，我們将其用于單标簽分類的最後一個softmax層替換為S形層，以産生多序列序列。對于CA-CNN-BiLSTM，我們遵循中的實驗配置。具體來說，我們首先初始化CA-CNN-BiLSTM的特征提取子產品，并使用在ImageNet資料集上預訓練的CNN和分别從-0.1到0.1的随機值來初始化雙向LSTM層中的權重。然後，我們在訓練階段使用Nestro Adam優化器微調整個網絡，并将初始學習率設定為1 e − 04 。損失是用二進制交叉熵計算的，訓練批次的大小是32。值得注意的是，對于所有模型，輸出序列都采用門檻值0.5進行二值化以生成最終預測。

D. UCM多标簽資料集的結果

1)定量分析：

F1,  F2，精确度，召回率。

2)定性分析：

E. AID多标簽資料集的結果

1)定量分析：

2)定性分析：

F.關于關系推理子產品的讨論

5、結論

在本文中，我們提出了一種新穎的航空影像多标簽分類網絡，即注意感覺标簽關系推理網絡。該網絡包括三個元件：逐個标簽特征地塊學習子產品，一個關注區域提取子產品和一個标簽關系推斷子產品。更具體地說，基于标簽的特征宗地學習子產品被設計為學習進階特征宗地，該進階特征宗地被證明包含标簽相關的語義，并且關注區域提取子產品通過僅保留所定位的特征來進一步生成更精細的關注特征宗地在歧視地區。然後，标簽關系推斷子產品對所有标簽之間的成對關系進行推理，并利用這些關系進行最終預測。為了評估我們網絡的性能，對UCM多标簽資料集和新提出的AID多标簽資料集進行了實驗。與其他深度學習方法相比，我們的網絡可以提供更好的分類結果。此外，我們将提取的特征塊，注意力區域和關系矩陣可視化，以定性的方式展示每個子產品的有效性。展望未來，這種網絡體系結構具有多種潛力，例如，弱監督的對象檢測和語義分段。和關系矩陣，以定性的方式展示每個子產品的有效性。展望未來，這種網絡架構具有多種潛力，例如，弱監督的對象檢測和語義分段。和關系矩陣，以定性的方式展示每個子產品的有效性。展望未來，這種網絡架構具有多種潛力，例如，弱監督的對象檢測和語義分段。