天天看點

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

這是一篇ICCV2019的語義分割文章,其核心思想是采用baseline生成的粗糙特征圖作為attention指引分割輸出結果,其中的idea有些像張航提出的Context Encoding(EncNet)。伴随着提出的兩個新子產品,分别是 Class Center Block(CCB)和Class Attention Block(CAB)。

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

Abstract

為了适應每個像素點的不同類中心(class center),即本論文從類别的角度看分割,并且從 coarse-to-fine的角度出發,提出了Attentional Class Feature Network(ACF)模型,在Cityscapes資料集上達到了state-of-the-art的表現—81.85% mIoU。

Introduction

全局适應性池化 global adaptive pooling (GAP) 廣泛被應用在擷取豐富的全局資訊,在不同空間政策上擷取了豐富的上下文資訊( contextual information)。但是當計算上下文資訊時,這些操作并不區分每個像素點究竟歸屬于哪一類。是以,本文提出了class center block子產品來解決這個問題。本文還提到了注意力機制問題,本文直接采取CNN中baseline的粗糙特征圖作為語義資訊的attention指引像素點的分類,這也是本文提出的第二個子產品,即class attention block(CAB)。

文章的貢獻總結如下:

  • 第一次呈現class center的概念,代表類級上下文資訊,幫助像素的不同類别在整個的性能的表現。
  • 提出了注意力類特征(attention Class Feature, ACF)子產品,使不同像素自适應地聚焦于不同的類中心。
  • 提出了一種coarse-to-fine的分類結構——注意類特征網絡(ACFNet),利用類級上下文改善語義

    分割。

  • ACFNet在Cityscapes資料集上達到了81.85%的mIOU。

二、Method

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

Class Center Block(CCB):

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

Class Attention Block(CAB):要利用每個類别的上下文資訊,就要直到所有像素位置屬于哪個類别,這在訓練時是沒有問題的,因為有Ground Truth,但是在測試的時候即實際應用時,沒有Ground Truth,要如何來獲得每個像素位置的類别資訊呢?很自然而然地想到可以先進行一次粗分割得到一個粗略的預測圖,在利用該預測圖來計算近似的class center,後面再利用class center實作精細的分割。

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

作者認為,對于一個給定的像素p屬于A類,模型錯誤分類為B類。但如果模型知道其所代表的類中心A(淺藍色區域)和B(淡黃色區域),模型可以發現p更有可能來A自一個而不是B。是以可以糾正錯誤的預測。可以了解為最近鄰的分類,這裡提出的是class center的概念。

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

Experiments

《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments
《ACFNet: Attentional Class Feature Network for Semantic Segmentation》論文筆記AbstractIntroduction二、MethodExperiments

繼續閱讀