FcaNet: Frequency Channel Attention Networks阅读笔记

ICCV 2021

Zequn Qin, Pengyi Zhang, Fei Wu, Xi Li

论文连接；code

一、简介

我们证明GAP是DCT的一个特例。基于这一证明，我们概括了频域中的通道注意力，并提出了具有多光谱通道注意力框架的FcaNet。

我们通过探索使用不同数量的频率分量及其不同组合的影响，提出了选择频率分量的两步准则。

GAP无法很好地捕捉丰富的输入模式信息，从而在处理不同输入时缺乏特征多样性，因此，出现了一个自然的问题，即平均值信息是否仅适用于表示频道注意力中的各种频道。

二、方法

2.1 动机

第一，不同的通道可能具有相同的平均值，而它们对应的语义内容信息却不同。第二，从频率分析的角度，我们证明了GAP等效于离线余弦变换（DCT）的最低频率，仅使用GAP等效于丢弃包含很多有用信息的特征通道的其他频率分量。第三，CBAM也表明仅使用GAP是不够的，同时采用GAP和全局最大池化来增强特征多样性。

2.2 回顾通道注意力和DCT

通道注意力：

通道注意力使用可学习的网络来衡量每个通道的重要性并生成更多信息输出。

gap表示全局平均池化层，fc表示全连接层。

DCT：

DCT的定义可以写成：

f是DCT的频谱，x是输入，L是输入x的长度。二维DCT可以写成：

相应地，逆二维DCT可以写成：

通过通道注意力和DCT的定义，我们可以总结两个关键属性：1）现有方法使用GAP作为通道注意力之前的预处理；2）DCT可以被视为输入的加权和，其中包含方程中的余弦部分。

2.3 Multi-Spectral Channel Attention

通道注意力的理论分析：

GAP是2D DCT的特例，其结果与2D DCT的最低频率分量成正比。

图像或特征可以表示为不同频率分量的组合。通道注意力只使用了一小部分信息，其他频率分量和信息在现有的通道注意方法中被丢弃。

Multi-Spectral Attention Module：

基于理论分析，我们发现现有的channel attention中使用的信息不足，channel attention的预处理方法GAP是2D DCT的特例。这样，我们可以很自然地将 GAP 推广到 2D DCT 的更多频率分量，并引入更多信息来解决 channel attention 中信息不足的问题。

为了引导更多信息，我们使用 2D DCT 的多个频率分量，包括最低频率分量，即 GAP。对于每个部分，分配一个对应的二维 DCT 频率分量，二维 DCT 结果可以作为通道注意力的预处理结果。这样，我们有：

选择频率分量的标准：

对于空间大小为 H × W 的每个通道，我们可以在 2D DCT 之后获得 HW 频率分量。在这种情况下，这些频率分量的总组合数是 CHW。例如，对于 ResNet-50 主干，C 可能等于 2048。测试所有组合的成本很高。通过这种方式，我们提出了一种启发式两步准则来选择多光谱注意模块中的频率分量。

主要思想是首先确定每个频率分量的重要性，然后确定一起使用不同数量的频率分量的效果。首先，我们分别检查通道注意力中每个频率分量的结果。然后，我们根据结果选择 Topk 最高性能频率分量。这样就可以实现多光谱通道注意力。

三、讨论

多光谱框架如何嵌入更多信息：

深度网络是冗余的。如果两个通道彼此冗余，我们只能使用 GAP 获得相同的信息。然而，在我们的多光谱框架中，可以从冗余通道中提取更多信息，因为不同的频率分量包含不同的信息。通过这种方式，提出的多光谱框架可以在通道注意力机制中嵌入更多信息。

四、实验

使用较低的频率可以获得更好的性能，这很直观，也验证了 SENet 的成功。这也验证了深度网络更喜欢低频信息。然而，有趣的是，我们可以看到几乎所有频率分量（除了最高分量）在最低频率分量之间都有非常小的差距，即普通通道注意力与 GAP 。其他频率分量也可以很好地应对信道注意力机制，在频域中对信道注意力进行泛化是有效的。

1. 与仅在通道注意力中使用 GAP 的实验相比，所有使用多光谱注意力的实验都有显着的性能差距。这验证了我们在通道注意力中使用多个频率分量的想法。 2) 16 个频率分量的设置获得最佳性能。