天天看点

Instance-sensitive Fully Convolutional Networks - eccv 2016

Instance-sensitive Fully Convolutional Networks - eccv 2016

=====

论文地址:http://arxiv.org/abs/1603.08678

=====

一句话概括:

  根据local coherence的特性,以sliding window的方式,利用FCN产生positive-sensitive的instance-level的segment proposal。

=====

framework

Instance-sensitive Fully Convolutional Networks - eccv 2016

从上图可以看出,该network是一个full convolutional network(based on VGG16),除了feature extractor(VGG16的前13个conv layers)外,还有两个branches:

    1 segment branch

该branch由1*1 conv,3*3 conv和一个assembling layer构成,后接segment的loss layer(采用logistic regression layer)

    2 scoring branch

该branch由3*3 conv,1*1 conv构成,后接一个scoring的loss layer(采用logistic regression layer)

显然segment branch产生instance-level的segmentation mask,scoring branch对segment branch产生的instance mask进行打分。

(这里为objectness score,有点不明白为什么不是class-specific的)。

剩下的network architecture(VGG16-base)见下图:

Instance-sensitive Fully Convolutional Networks - eccv 2016

论文采用了hole algorithm来获取dense的feature map同时保持和原来VGG16的感受野大小。

=====

key module - assembling module

论文中的network(如上所述)是比较容易理解的,除了segment branch的assembling module。

先上图来个感性认识

Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016

从上述三张图可以看出assembling module是如何工作的了,具体来说: 

1 理解k^2 feature maps

由segment branch产生k^2个feature maps(或者理解为predicted masks),

这k^2 feature map编码了不同的位置信息,如top-left,top-center,……,bottom-right。

也就是每个feature map对应一个位置。

2 assembling -> producing instance-level mask

假如给定一个bounding box M(m*m大小),那么就可以将bounding box投影到k^2个feature map。

(类似RoIPooling)

将bounding box划分为k*k个bin,每个bin的大小为(m/k,m/k),

同理,bounding box投影到的feature map上的投影bounding boxes的

每个bounding box N_i (i=1,2, ...., k^2)也划分为k*k个bins。

这样M的每个bin K对应到第K个feature map上的N_k的bin K(刚好都是k^2)

那么对应的instance-level mask的输出为:同样为m*m大小,同样划分为k*k个bins

将第K个feature map上的N_k的bin K的feature values,拷贝到输出对应的bin K上。

(反向传播时,就是将对应的diff反过来拷贝过来就好)

说的有点绕口,但是它就是这么简单。

这里的输入bounding box并不是由proposal method产生的,而是论文作者以sliding window的方式

和指定bounding box的大小来产生的:

1 假设k^2的feature maps的大小为h和w,(同样对应的scoring branch的score map的大小也是h和w)

2 feature map上的每个pixel都产生一个bounding box,其大小为m*m,(论文里m=21)

3 每个pixel根据该bounding box

(已经是投影再feature map上的bounding box了,这个需要注意,而不是再从原图投影到feature map上),

输入其的instance-level的mask

4 这里的每个instance-level mask(一共w*h个)都由一个对应的objectness score,由scoring branch的score map给出

需要注意的是这里的w和h由个隐性的约束条件:h>=m, w>=m

=====

training & testing

那么论文是怎么training和testing的?还是直接看图(笔者直接截出来的)

Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016

=====

local coherence

嗯,直接看图,不说话

Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016

=====

与deepmask的对比

这个嘛,上面的local coherence已经说的很明白了,具体的请各位客官各自看论文和deepmask的论文

=====

实验效果

嗯,直接看图,不说话

Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016

=====

总的来说,

整篇论文的思路很简单,但是效果就是好,复现也容易(但是,笔者还是坐等论文作者开源)

但是笔者有几处不是很明了,不知道哪位客官可以解答下:

1 branches的conv layer设计,为什么segment branch的为1*1,3*3,而scoring branch为3*3,1*1,为什么这样设计?

2 scoring branch的score为什么不是class-specific的而是objectness?

3 为什么不用proposal method的方式来产生bounding boxes?

4 训练segment branch时,是如何为每个predicted instance-level的mask分配对应的ground-truth?

5 为什么不用在论文作者的另外一篇论文上:Instance-aware Semantic Segmentation via Multi-task Network Cascades

笔者在此多谢喇!

欢迎前来探讨!

Instance-sensitive Fully Convolutional Networks - eccv 2016
Instance-sensitive Fully Convolutional Networks - eccv 2016

=====

如果这篇博文对你有帮助,可否赏笔者喝杯奶茶?

Instance-sensitive Fully Convolutional Networks - eccv 2016

继续阅读