注意力机制CBAM

• • 简介
  • • • • • 目的
  • 算法流程图
  • 代码
  • 实验
  • • • • 最后

简介

2018年ECCV，和BAM为同一团队打造。论文连接:CBAM

Convolutional Block Attention Module.

CBAM是轻量级注意力机制模块，不仅参数量和计算量小，而且能即插即用。

目的

对中间特征图从空间、通道两个维度上进行特征重构，无缝衔接到CNN中，实现端到端的训练。

算法流程图

首先，利用通道注意力机制对输入特征图进行特征重构，然后利用空间注意力机制对重构后的特征图在进行重构，等到最后的特征图。

step1:CBAM通道注意力操作：

输入特征图 F F F经过全局平均池化和全局最大池化，分别得到一维特征向量；两个特征向量经过一个权值共享的MLP，然后再进行权值相加，最后记过sigmoid激活函数得到通道注意力机制 M c M_c Mc​。

详细计算公式如下：

step2:CBAM空间注意力操作：

输入特征图 F ′ F' F′在通道维度上经过全局平均池化和全局最大池化，分别得到size与 F ′ F' F′相同，通道数为1的两个特征图；然后将两个特征图进行concat，再利用一个7*7的卷积核进行卷积操作，最后经过sigmoid激活函数得到空间注意力向量 M s M_s Ms​。

详细计算公式如下：

最后将 F ′ F' F′与注意力向量 M s M_s Ms​相乘，得到最后的Refine Feature。

代码

代码粘贴自github。CBAM

地址：https://github.com/luuuyi/CBAM.PyTorch/blob/master/model/resnet_cbam.py

class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
           
        self.fc = nn.Sequential(nn.Conv2d(in_planes, in_planes // 16, 1, bias=False),
                               nn.ReLU(),
                               nn.Conv2d(in_planes // 16, in_planes, 1, bias=False))
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc(self.avg_pool(x))
        max_out = self.fc(self.max_pool(x))
        out = avg_out + max_out
        return self.sigmoid(out)

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv1(x)
        return self.sigmoid(x)
           

实验

作者进行了大量的实验进行验证：

通道注意力上消融实验：

通过上述实验可以看出，通道注意力中同时使用平均池化金额最大池化，在参数量与浮点数运算量上无明显增加，但错误率更低。

空间注意力上消融实验：

通过上述实验可以看出，同时使用最大池化和平均池化，且卷积核尺寸为7*7时效果最好，且参数量与运算量差异性很小。

空间注意力、通道注意力组合方式实验：

作者进行了多种不同的组合尝试，通过实验发现先通道再空间的串联方式是效果最好的。

此外

作者还进行了许多的对比实验，这里不过多阐述。

最后

简单进行记录，如有问题请大家指正。