Abstract.
在圖像标簽的的監督下，弱監督的語義分割任務是一件很困難的事情，因為他直接将high-level semantic和low-level appearence結合了起來。
Introduction.
在圖像的label的監督下，弱監督的語義分割是對于圖像進行像素級的分割，隻能給圖像中已經現存的語義物體提供 label。由于semantic segmentation隻需要一些人工的label，是以在物體識别，自動駕駛中都展現了很不錯的效果。
在之前的一些工作中，主要用classification networks（分類的網絡）去給object進行定位。由于沒有pixel-wise的annotatioin，classification networks隻能得到不精确的模糊的object regions，達不到對于pixel-wise semantic segmentation的要求。
為了解決這個問題，我們提出了一個iterative bottom-up和top-down的framework，這個結構可以從不精确的，模糊的initial localization，通過開Mining Common Object Feature（MCOF），去逐漸擴充object regions。提出這樣的想法，我們的motivation是，雖然通過classificationnetwork 産生的initial localization是很模糊的，但是它給出了某些圖像的判别區域，這些區域包涵着對于這些物體的重要資訊。
對于Figure 1 （a）如上圖，我們能看到一些圖檔定位到了人的手，一些圖檔定位到了人的頭部。如果有一些訓練的圖檔我們就可以學到他們的物體中的共同特征進而去判斷物體的整個區域。是以在bottom-up step中，我們把initila object localization作為object seeds，然後通過發覺物體的共同特征去擴大object regions；在top-down的setp中，我們用mined object regions as supervision去預測fine object masks來訓練segmentation network
there are some examples of our methods：
我們首先訓練classification network，然後用Classification Activation Maps（CMP）去定位物體的判别區域，随後圖像就被分割為超像素區域并且用CMP給圖像制定了labels，這些區域我們都把它叫做object seeds。為了實作一個bottom-up step，我們訓練了一個region classification network然後用這個網絡去預測object regions.在top-down step中也用之前說過的方法：用refined object regions作為supervision 去預測分割的masks（掩摸），然後我們再将segmentation masks作為object seeds實行逐漸疊代。在疊代中，我們提出來的MCOFframework會産生更加精确的object regions，提高了segmentation network的分割效果。最後的訓練完的segmentation network就用來實行推斷，
Related work.
主要從兩個方面介紹：fully-supervised 和 weakly-supervised。
Fully-supervised Segmantic Segmentation.
全監督的方法需要很多的pixel-wise的标注，從處理方式上他可以被分為兩種：1）region-based network，2）pixel-based network；對于region-based networks 把圖檔當作一系列的regions然後提取他們features去predict他們的labels；對于pixel-based network把整張圖檔當作輸入，然後用卷機網絡端到端的去predict pixel-wise labels。
經過驗證，在語義分割方面pixel-wise networks要比region-based networks 更好，但是在作者的這篇論文中，take advantages of both kinds of networks。我們将證明region-based networks在學習物體的common features 表現出很好的效果，是以可以産生fine object regions 作為監督去訓練 pixel-based networks。
Weakly-Supervised Semantic Segmentation.
現在已經有很多weakly-supervised的工作了，如：1）bounding box 2）scribble and image-level labels
Architecture of the Proposed MCOF
architecture：
對于本文架構的總結：
一般而言對于semantic segmentation我都會采用pixel-wise Network因為相比于region Network，前者的效果會更好一點。但是pixel-wise network也有它自身的缺點，那就是它需要pixel-wise的标注，這是很麻煩的一件事情，個人了解本文很好的解決了pixel-wise的标注問題，對于initial object，隻需要很小的一部分的标注，我們就可以通過疊代，通過兩個不同的網絡互相促進，進而産生很完美的分割。
Mining Common Object Features
Initial Object Seeds
為了得到initial object localization，我麼需要訓練一個classification network，并且用CAM的method 去産生一幅和heatmap of each object。如下圖：
heatmap很模糊，為了去定位物體的顯著區域，首先我們用graphbased segmentation methods 先将圖檔分割成超像素區域，然後在heatmap 的每一個region中取平均值
Mining Common object Features from Initial Object Seeds
The initial object seeds十分的模糊，打不到semantic segmentation的要求，然而它包含了物體具有辨識力的區域。舉個例子，就像Figure 4 一幅圖可能定位到一個人的手，另一幅圖可能定位到人的臉部，作者認為，相同類别的區域來自于同一個歸屬，我們把他叫做物體的共同特征（common object features）。是以如果給定一系列的訓練圖檔和seed regions，我們能學到common object features然後預測出物體的全部區域。為了實作這個我們訓練了一個classification network，我們把它叫做RegionNet，它使用object seeds 作為訓練資料。