Instance-aware Semantic Segmentation via Multi-task Network Cascades
Jifeng Dai Kaiming He Jian Sun
本文的出發點是做Instance-aware Semantic Segmentation，但是為了做好這個，作者将其分為三個子任務來做：
1) Differentiating instances. 執行個體區分
2) Estimating masks. 掩膜估計
3) Categorizing objects. 分類目标
通過這種分解，作者提出了如下的多任務學習架構，即：Multi-task Network Cascades (MNCs)，示意流程如下：
下面詳細的介紹下這個流程，即：
1. Multi-task Network Cascades
1). Regressing Box-level Instances
第一個階段是回歸出物體的bbox，這是一個全卷積的子網絡。本文follow了Faster R-CNN的提取proposal的方法Region Proposal Networks (RPNs)。在共享feature之前，作者先用了一個 3*3的Conv 用于降維，緊跟着用2個1*1的Conv層回歸出其位置，并且對目标進行分類。該階段的loss function是：
其中，B是該階段的輸出，是一系列的box，B = { Bi }, Bi = { xi; yi; wi; hi; pi }，box的中心點和長寬分别是：xi yi wi hi, yi是物體的機率。
2). Regressing Mask-level Instances
該階段的輸出是對每一個box的proposal進行像素級的mask分割。
Given a box predicted by stage 1, we extract a feature of this box by Region-of-Interest (RoI) pooling . The purpose of RoI pooling is for producing a fixed-size feature from an arbitrary box, which is set as 14*