Instance-sensitive Fully Convolutional Networks - eccv 2016
=====
论文地址:http://arxiv.org/abs/1603.08678
=====
一句话概括:
根据local coherence的特性,以sliding window的方式,利用FCN产生positive-sensitive的instance-level的segment proposal。
=====
framework
从上图可以看出,该network是一个full convolutional network(based on VGG16),除了feature extractor(VGG16的前13个conv layers)外,还有两个branches:
1 segment branch
该branch由1*1 conv,3*3 conv和一个assembling layer构成,后接segment的loss layer(采用logistic regression layer)
2 scoring branch
该branch由3*3 conv,1*1 conv构成,后接一个scoring的loss layer(采用logistic regression layer)
显然segment branch产生instance-level的segmentation mask,scoring branch对segment branch产生的instance mask进行打分。
(这里为objectness score,有点不明白为什么不是class-specific的)。
剩下的network architecture(VGG16-base)见下图:
论文采用了hole algorithm来获取dense的feature map同时保持和原来VGG16的感受野大小。
=====
key module - assembling module
论文中的network(如上所述)是比较容易理解的,除了segment branch的assembling module。
先上图来个感性认识
从上述三张图可以看出assembling module是如何工作的了,具体来说:
1 理解k^2 feature maps
由segment branch产生k^2个feature maps(或者理解为predicted masks),
这k^2 feature map编码了不同的位置信息,如top-left,top-center,……,bottom-right。
也就是每个feature map对应一个位置。
2 assembling -> producing instance-level mask
假如给定一个bounding box M(m*m大小),那么就可以将bounding box投影到k^2个feature map。
(类似RoIPooling)
将bounding box划分为k*k个bin,每个bin的大小为(m/k,m/k),
同理,bounding box投影到的feature map上的投影bounding boxes的
每个bounding box N_i (i=1,2, ...., k^2)也划分为k*k个bins。
这样M的每个bin K对应到第K个feature map上的N_k的bin K(刚好都是k^2)
那么对应的instance-level mask的输出为:同样为m*m大小,同样划分为k*k个bins
将第K个feature map上的N_k的bin K的feature values,拷贝到输出对应的bin K上。
(反向传播时,就是将对应的diff反过来拷贝过来就好)
说的有点绕口,但是它就是这么简单。
这里的输入bounding box并不是由proposal method产生的,而是论文作者以sliding window的方式
和指定bounding box的大小来产生的:
1 假设k^2的feature maps的大小为h和w,(同样对应的scoring branch的score map的大小也是h和w)
2 feature map上的每个pixel都产生一个bounding box,其大小为m*m,(论文里m=21)
3 每个pixel根据该bounding box
(已经是投影再feature map上的bounding box了,这个需要注意,而不是再从原图投影到feature map上),
输入其的instance-level的mask
4 这里的每个instance-level mask(一共w*h个)都由一个对应的objectness score,由scoring branch的score map给出
需要注意的是这里的w和h由个隐性的约束条件:h>=m, w>=m
=====
training & testing
那么论文是怎么training和testing的?还是直接看图(笔者直接截出来的)
=====
local coherence
嗯,直接看图,不说话
=====
与deepmask的对比
这个嘛,上面的local coherence已经说的很明白了,具体的请各位客官各自看论文和deepmask的论文
=====
实验效果
嗯,直接看图,不说话
=====
总的来说,
整篇论文的思路很简单,但是效果就是好,复现也容易(但是,笔者还是坐等论文作者开源)
但是笔者有几处不是很明了,不知道哪位客官可以解答下:
1 branches的conv layer设计,为什么segment branch的为1*1,3*3,而scoring branch为3*3,1*1,为什么这样设计?
2 scoring branch的score为什么不是class-specific的而是objectness?
3 为什么不用proposal method的方式来产生bounding boxes?
4 训练segment branch时,是如何为每个predicted instance-level的mask分配对应的ground-truth?
5 为什么不用在论文作者的另外一篇论文上:Instance-aware Semantic Segmentation via Multi-task Network Cascades
笔者在此多谢喇!
欢迎前来探讨!
=====
如果这篇博文对你有帮助,可否赏笔者喝杯奶茶?