多标签分类_多标签分类文献阅读（6）

多标签航空影像分类的关系网(Relation Network for Multilabel Aerial Image Classification)

摘要

多标签分类在感知航空图像的复杂内容方面起着举足轻重的作用，并且在过去几年中引发了一些相关研究。但是，它们中的大多数在利用标签关系方面花费很少的精力，而这种依赖性对于做出准确的预测至关重要。尽管可以引入长期短期记忆(LSTM)层以链传播方式对此类标签依赖性进行建模，但是当某些标签被错误地推断时，效率可能会受到质疑。为了解决这个问题，我们提出了一种新颖的航空影像多标签分类网络，即注意感知标签关系推理网络。特别地，我们的网络由三个基本模块组成：1)标签级特征宗地学习模块；2)注意区域提取模块；3)标签关系推断模块。更具体地说，按标签标注地块学习模块旨在提取特定于标签的高级要素。注意区域提取模块旨在在不生成区域提议的情况下将这些特征中的可区分区域定位在本地，从而生成注意标签特定的功能。标签关系推断模块最终使用从前一个模块的输出中得出的标签关系来预测标签的存在。所提出的网络的特征在于其具有提取判别性标签特征和自然且可解释地推理标签关系的能力。在我们的实验中，我们在两个多标签航空影像数据集上评估了提出的模型，其中一个是新产生的。这两个数据集的定量和定性结果证明了我们模型的有效性。

1、介绍

A、识别多个标签的挑战

在识别航空图像的多个标签时，需要面对两个主要挑战。一种是如何从原始图像中提取语义特征表示。这是至关重要的，但特别是对于高分辨率的航拍图像来说很困难，因为它们始终包含复杂的空间上下文信息。常规方法主要诉诸于手工制作的特征和语义模型，而这些方法无法有效地提取高级语义并导致分类性能有限。因此，需要高效的高级特征提取器。 另一个挑战是如何充分利用标签相关性来推断航空图像的多个对象标签。与主要关注于建模图像标签相关性的单标签分类相反，探索和建模标签标签相关性在识别航空图像中的多个对象方面起着补充但必不可少的作用。例如，船的存在自信地推断出水或海的共存，而汽车的存在则暗示了人行道出现的高可能性。不幸的是，文献中很少涉及这种标签相关性。一种解决方案是使用递归神经网络(RNN)来学习标签依赖性。但是，这是通过链传播方式完成的，其性能在很大程度上取决于长期记忆的学习效果。

总体而言，高效的多标签分类模型应该不仅能够学习高级特征表示，而且能够有效地对标签相关性进行建模。

B、相关工作

C、工作动机

为了明确建模标签关系，我们提出了一种标签关系推理网络，用于多标签航空图像分类。本文受到关系网络在视觉问答，对象检测，视频分类，视频中的活动识别和语义细分方面的最新成功的启发。。关系网络的特征在于其固有的能力，可以推断单个实体(例如，图像中的区域或视频中的帧)与所有其他实体(例如图像中的所有区域或视频中的所有帧)之间的关系。此外，为了提高关系推理的有效性，我们利用空间变换器，该变换器通常用于增强深度神经网络的变换不变性，以减少不相关的语义特征的影响。

更具体地说，在本文中，提出了一种创新的端到端多标签航空图像分类网络，称为注意力感知标签关系推理网络，其特征在于它具有定位特定于标签的区分区域和显式建模语义标签依赖关系的功能。为任务。本文的贡献是三方面的，具体如下。

1. 我们提出了一种新颖的多标签航空图像分类网络，注意-AL-RN-CNN，它由三个必要组成部分组成：逐个标签地块学习模块，一个注意区域提取模块和一个标签关系推断模块。据我们所知，这是首次将关系网络的概念用于预测航空影像的多个目标标签，并且实验结果证明了其有效性。
2. 我们以无提议的方式从标签方式的地块中提取关注区域。特别地，采用可学习的空间变换器来定位被认为包含判别信息的注意力区域，然后将它们重新协调为给定的大小。通过这样做，可以得到注意特征包。
3. 为了促进多标签航空图像分类的进展，我们通过在AID数据集中重新标记图像来产生一个新的数据集AID多标签数据集。与UCM多标签数据集相比，由于图像的空间分辨率不同，场景更多，样本更多，因此提出的数据集更具挑战性。

2、方法

A、网络架构

如图2所示，所提出的网络包括三个组件：逐标签特征地块学习模块，关注区域提取模块和标签关系推断模块。(详细介绍看原文)

B、标签式特征包学习

C.注意区域提取模块

D.标签关系推断模块

3、实验与讨论

A、数据及简介

1)UCM多标签数据集

2)AID多标签数据集

B、培训细节

我们的模型在TensorFlow-1.12.0上实现，并经过了100个时期的训练。计算资源是具有16 GB内存的NVIDIA Tesla P100 GPU。作为训练速度和GPU内存容量之间的折衷，我们将训练批次的大小设置为32。为避免过度拟合，一旦验证损失在五个时期内连续增加，训练进度将终止。

C.实验装置

为了充分探索我们提议的网络的容量，我们通过用GoogLeNet(Inceptionv3)和ResNet(在我们的情况下为ResNet-50)代替骨干网来扩展我们的研究。具体来说，我们通过删除全局平均池化和完全连接的层以及将“ mixed8”中卷积层和池化层的步幅减小到1来改进GoogLeNet，以提高空间分辨率。此外，为了保留后续卷积层的接收场，将“ mixed9”中的滤波器替换为无用的卷积滤波器，并且将扩散速率定义为2。对于ResNet，我们将滤波器的卷积步幅和扩散速率设为1和2，分别在最后一个残差块中。全局平均池和完全连接的层也将被删除。

在我们的实验中，我们将拟议的注意力AL-RN-CNN与以下竞争对手进行了比较：标准CNN，CNN-RBFNN 和CA-CNN-BiLSTM 。关于CNN，我们将其用于单标签分类的最后一个softmax层替换为S形层，以产生多序列序列。对于CA-CNN-BiLSTM，我们遵循中的实验配置。具体来说，我们首先初始化CA-CNN-BiLSTM的特征提取模块，并使用在ImageNet数据集上预训练的CNN和分别从-0.1到0.1的随机值来初始化双向LSTM层中的权重。然后，我们在训练阶段使用Nestro Adam优化器微调整个网络，并将初始学习率设置为1 e − 04 。损失是用二进制交叉熵计算的，训练批次的大小是32。值得注意的是，对于所有模型，输出序列都采用阈值0.5进行二值化以生成最终预测。

D. UCM多标签数据集的结果

1)定量分析：

F1,  F2，精确度，召回率。

2)定性分析：

E. AID多标签数据集的结果

1)定量分析：

2)定性分析：

F.关于关系推理模块的讨论

5、结论

在本文中，我们提出了一种新颖的航空影像多标签分类网络，即注意感知标签关系推理网络。该网络包括三个组件：逐个标签特征地块学习模块，一个关注区域提取模块和一个标签关系推断模块。更具体地说，基于标签的特征宗地学习模块被设计为学习高级特征宗地，该高级特征宗地被证明包含标签相关的语义，并且关注区域提取模块通过仅保留所定位的特征来进一步生成更精细的关注特征宗地在歧视地区。然后，标签关系推断模块对所有标签之间的成对关系进行推理，并利用这些关系进行最终预测。为了评估我们网络的性能，对UCM多标签数据集和新提出的AID多标签数据集进行了实验。与其他深度学习方法相比，我们的网络可以提供更好的分类结果。此外，我们将提取的特征块，注意力区域和关系矩阵可视化，以定性的方式展示每个模块的有效性。展望未来，这种网络体系结构具有多种潜力，例如，弱监督的对象检测和语义分段。和关系矩阵，以定性的方式展示每个模块的有效性。展望未来，这种网络架构具有多种潜力，例如，弱监督的对象检测和语义分段。和关系矩阵，以定性的方式展示每个模块的有效性。展望未来，这种网络架构具有多种潜力，例如，弱监督的对象检测和语义分段。