天天看点

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

Sensors 2021

Kaihong Huang, Chunshu Li, Jiaqi Zhang, Beilun Wang

论文地址

一、简介

提出了一种伪装目标检测框架CODCEF,通过级联的结构和Feedback Partial Decoders,CODCEF具有卓越抑制噪声能力。

我们提出了一种新的损失函数,Pixel Perception Fusion Loss(PPF)来训练模型。PPF符合级联结构特点,使模型进一步关注高频局部像素。PPF为急剧变化的像素提供额外的权重,以将框架的注意力集中在可能的对象边界上。

二、方法

2.1 简介

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

CODCEF由两个级联网络组成:1)Wide Attention Component(WAC)用于获得检测到轮廓的近似值;2)Accurate Detection Component(ADC)用来细化前面预测到的边缘并且消除残留噪声。

WAC作为一个相对独立的模块,以原始RGB图像作为输入,并输出可用于计算网络损失的预测。ADC将结果的输出与原始图像的中级特征相结合,以筛选出可能的误导信息和噪声。

基于Cross feature module(CFM)的Feedback Partial Decoder(FPD)可以充分利用多层特征中的结构细节和语义信息。

2.2 Wide Attention Component(WAC)

使用ResNet-50作为backbone提取特征。通过上采样和下采样操作和拼接邻近特征获得四个混合特征。

COD任务需要对局部特征有更强的了解,receptive fields block module(RFB)结合了具有不同内核的多个分支和扩张的卷积层,可以减少特征可辨性和鲁棒性的一些损失。Figure4为RFB的结构图。

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

2.3 Accurate Detection Component(ADC)

使用Search Attention function(SA)将初步预测结果与中级特征,其中包含原始图像的大部分特征且低噪声,其中包含原始图像的大部分特征且低噪声。使用高斯滤波器主动模糊边界来防止存在的结果限制后续感知。

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

G表示高斯核,Fmax表示元素最大函数。

2.4 Feedback Partial Decoder

与SOD不同,COD中的重要区域更为复杂。这促使我们使用cross feature module(CFM)来构建Feedback Partial Decoder (FPD)。CFM 接收低级特征和高级特征,并通过选择性特征交织充分利用提取的边界信息和语义信息。在CFM中,高层特征和低层特征通过元素相乘的方式相互交叉,有效抑制特征的背景噪声,锐化预测图的边界。

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

虽然我们可以通过级联一系列 CFM 来获得伪装对象的清晰地图,但在多个特征聚合中会忽略一些精确的边界特征。 FPD 有两个并行的子解码器,每个子解码器由多个串联的 CFM 组成。在传统的解码器中,通常多个网络层并行连接以补充缺失的信息,这带来了不稳定性和复杂性。因此,我们进一步将已经由几个CFM 增强的精炼结果反馈到第二个子解码器中。

第一个子解码的主要结果,作为补充信息,将反馈到第二个子解码的输入流中。这使我们能够有效抑制浅层网络中混淆目标引起的高背景噪声。第二条信息路径的输出通过三层卷积网络的信息进行整合,得到单通道显着性预测图。

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

2.5 Pixel Perception Fusion Loss

鉴于COD任务的特殊性,我们更多地关注灰度值变化剧烈的像素。被伪装的物体边缘相对于背景往往有轻微的灰度突变,这一般来自阴影或颜色收敛的差异。为了利用这些边缘信息,我们引入了像素感知融合损失(PPF),它由像素频率感知损失(PFA)[27]组成,以优化每个组件的预测结果。 PFA 由两部分组成,加权二元交叉熵 (wBCE) 和加权联合交集 (wIoU),与基本 BCE 和 IoU 相比,这两个部分对图像的高频部分给予了更多的权重。

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验
Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验
Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验
Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验
Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

三、实验

Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验
Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验
Cascade and Fusion: A Deep Learning Approach for Camouflaged Object Sensing阅读笔记一、简介二、方法三、实验

继续阅读