【論文彙總】 ECCV 2020 語義分割paper彙總

語義分割 segmentation [email protected] 2020

ECCV 2020語義分割文章總結，文章下載下傳連結。

文章目錄

• 語義分割 segmentation [email protected] 2020
• 前言
• 邊緣語義分割
• • 1.JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds
  • 2.Improving Semantic Segmentation via Decoupled Body and Edge Supervision
• 弱監督語義分割
• • 3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
  • 4.Splitting vs. Merging: Mining Object Regions with Discrepancy and Interp Loss for Weakly Supervised Semantic Segmentation
  • 5.Weakly Supervised Semantic Segmentation with Boundary Exploration
  • 6.Employing Multi-Estimations for Weakly-Supervised Semantic Segmentation
  • 7.Box2Seg: Attention Weighted Loss and Discriminative Feature Learning for Weakly Supervised Segmentation
  • 8.Regularized Loss for Weakly Supervised Single Class Semantic Segmentation
• 半監督語義分割
• • 9.Negative Pseudo Labeling using Class Proportion for Semantic Segmentation in Pathology
  • 10.Semi-supervised Semantic Segmentation via Strong-weak Dual-branch Network
• 少樣本語義分割
• • 11.Prototype Mixture Models for Few-shot Semantic Segmentation
  • 12.Part-aware Prototype Network for Few-shot Semantic Segmentation
  • 13.Few-Shot Semantic Segmentation with Democratic Attention Networks
• 3D語義分割
• • 14.Image-to-Voxel Model Translation for 3D Scene Reconstruction and Segmentation
  • 15.Virtual Multi-view Fusion for 3D Semantic Segmentation
  • 16.Efficient Outdoor 3D Point Cloud Semantic Segmentation for Critical Road Objects and Distributed Contexts
  • 17.Deep FusionNet for Point Cloud Semantic Segmentation
• 跨域語義分割
• • 18.Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
• 域自适應語義分割
• • 19.Domain Adaptive Semantic Segmentation Using Weak Labels
  • 20.Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
  • 21.Content-Consistent Matching for Domain Adaptive Semantic Segmentation
  • 22.Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation
  • 23.Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation
  • 24.Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation
• 攻擊政策 異常檢測 資訊洩露
• • 25.Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation
  • 26.Indirect Local Attacks for Context-aware Semantic Segmentation Networks
  • 27.Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation
  • 28.Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers
• 語義分割
• • 29.Object-Contextual Representations for Semantic Segmentation
  • 30.The Semantic Mutex Watershed for Efficient Bottom-Up Semantic Instance Segmentation
  • 31.Intra-class Feature Variation Distillation for Semantic Segmentation
  • 32.GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
  • 33.Class-wise Dynamic Graph Convolution for Semantic Segmentation
  • 34.Tensor Low-Rank Reconstruction for Semantic Segmentation
  • 35.SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information
  • 36.Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
  • 37.Attend and Segment: Attention Guided Active Semantic Segmentation
  • 38.Learning to Predict Context-adaptive Convolution for Semantic Segmentation
  • 39.EfficientFCN: Holistically-guided Decoding for Semantic Segmentation
  • 40.Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation
  • 41.SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection

前言

文章彙總了ECCV 2020語義分割相關文章，包括文章的title，code，abstract和methods。彙總文章下載下傳連結。

邊緣語義分割

1.JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds

• code：https://github.com/hzykent/JSENet

  在本文中，我們首次解決了3D語義邊緣檢測任務，并提出了一個新的兩流全卷積網絡，該網絡可以共同執行語義分割和語義邊緣檢測兩項任務。特别是，我們設計了一個聯合修飾子產品，該子產品顯式地連接配接區域資訊和邊緣資訊以改善兩個任務的性能。此外，我們提出了一種新穎的損失函數，該函數鼓勵網絡産生具有更好邊界的語義分割結果。

2.Improving Semantic Segmentation via Decoupled Body and Edge Supervision

• code：https://github.com/lxtGH/DecoupleSegNets

  本文提出了一種語義分割的新範式。我們的見解是，吸引人的語義分割性能需要對對象的主體和邊緣進行顯式模組化，這與圖像的高頻和低頻相對應。為此，我們首先通過學習流場使對象部分更加一緻來使圖像特征變形。通過顯式采樣不同部分（身體或邊緣）像素，在去耦監督下進一步優化了生成的身體特征和剩餘邊緣特征。

弱監督語義分割

3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation

• code：https://github.com/GuoleiSun/MCIS_wsss

  文章挖掘跨圖像的語義資訊，用于減少标注，實作弱監督的語義分割。針對綜合對象模式挖掘的跨圖像語義關系的價值，分類器中加入了兩種神經求知功能，以互補地捕獲跨圖像的語義相似性和差異。特别是，給定一對訓練圖像，一個共同注意會強制分類器從共同注意對象中識别共同的語義，而另一個被稱為對比共同注意，則驅動分類器從中識别未共享的語義。其餘的不常見的對象。這有助于分類者在圖像區域中發現更多的對象模式和更好的地面語義。除了促進對象模式學習之外，共同注意還可以利用其他相關圖像的上下文來改善定位地圖推斷，進而最終受益于語義分割學習。更重要的是，我們的算法提供了一個統一的架構，可以處理非常不同的WSSS設定。

4.Splitting vs. Merging: Mining Object Regions with Discrepancy and Interp Loss for Weakly Supervised Semantic Segmentation

  在本文中，我們專注于在圖像級标簽的監督下的弱監督語義分割的任務。在本文中，我們旨在從優化過程的新穎角度解決這個問題。我們提出了分離與合并優化政策，該政策主要由差異損失和交叉口損失組成。提出的差異損失旨在挖掘出不同空間模式的區域，而不僅僅是最有差別的區域，這會導緻分裂效果。交叉口損失旨在挖掘不同地圖的公共區域，進而導緻合并效果。我們的拆分與合并政策有助于将區域挖掘模型的輸出熱圖擴充到對象比例。最後，通過使用分割與合并政策生成的蒙版訓練分割模型。

5.Weakly Supervised Semantic Segmentation with Boundary Exploration

  為了在弱監督下獲得語義分割，本文提出了一種簡單而有效的方法，該方法基于從訓練圖像中顯式探索對象邊界以保持分割和邊界一緻的思想。具體來說，我們通過利用從CNN分類器獲得的粗略定位圖來合成邊界注釋，并使用注釋來訓練提議的網絡BENet，該網絡進一步挖掘更多的對象邊界以提供分割限制。最後生成的訓練圖像僞注釋用于監督現成的分割網絡。

6.Employing Multi-Estimations for Weakly-Supervised Semantic Segmentation

• code：https://github.com/CWanli/RecoNet

  基于圖像級标簽的弱監督語義分割（WSSS）旨在采用圖像級标簽來訓練語義分割模型，進而節省大量人力來進行昂貴的像素級注釋。解決此問題的典型方法是首先采用帶有圖像級别标簽的類激活圖（CAM）生成僞蒙版（也稱為種子），然後将其用于訓練分割模型。主要困難是種子通常稀疏且不完整。相關的作品通常嘗試通過采用許多鈴铛來增強種子來減輕這個問題。我們提出了一種新穎的方法，通過利用分割模型的魯棒性從多個種子中學習，進而緩解了不準确的種子問題，而不是僅僅依靠一顆種子。我們設法為每個圖像生成許多不同的種子，這是對基礎事實的不同估計。分割模型同時利用這些種子進行學習，并自動确定每個種子的置信度。

7.Box2Seg: Attention Weighted Loss and Discriminative Feature Learning for Weakly Supervised Segmentation

• code：https://github.com/vivkul/Box2Seg

  我們提出了一種使用邊界框注釋的弱監督語義分割方法。邊界框被視為前景對象的嘈雜标簽。我們預測了一個基于類别的注意力圖，該映射顯着地指導每個像素的交叉熵損失以集中在前景像素上并細化分段邊界。這樣可以避免由于背景上的前景标簽不正确而傳播錯誤的漸變。此外，我們學習像素嵌入，以同時針對高類别内特征親和力進行優化，同時增加不同類别之間特征之間的差別。

8.Regularized Loss for Weakly Supervised Single Class Semantic Segmentation

• code：https://github.com/morduspordus/SingleClassRL

  我們提出了一種新的弱監督方法，用于訓練CNN來分割單個興趣類别的對象。我們用有規律的損失函數指導訓練，而不是ground truth。正規化的損失對可能的物體形狀屬性的先驗知識進行模組化，進而引導分割走向更合理的形狀。用定期損失訓練CNN很難。我們制定了退火政策，這對于成功教育訓練至關重要。我們方法的優點是簡單：我們使用标準的CNN架構以及直覺且計算效率高的損失函數。此外，我們對任何任務/資料集應用相同的損失函數，而無需進行任何調整。我們首先評估針對顯着對象分割和共分割的方法。這些任務自然涉及一個感興趣的對象類。

半監督語義分割

9.Negative Pseudo Labeling using Class Proportion for Semantic Segmentation in Pathology

  在病理診斷中，由于腺癌亞型的比例與手術後的複發率和生存時間有關，是以在一些醫院中已将病理圖像中癌症亞型的比例記錄為診斷資訊。 在本文中，我們提出了一種子類型分割方法，該方法使用比例标簽作為弱監督标簽。 如果估計的分類率高于帶注釋的分類率，則我們将生成負僞标簽，該僞僞标簽表示“輸入圖像不屬于此負标簽”，除了标準僞标簽外。它還可以消除減少樣本樣本數量并減輕無法标記低濃度未标記樣本的正僞标記學習的問題，我們的方法優于最新的半監督學習（SSL）方法。

10.Semi-supervised Semantic Segmentation via Strong-weak Dual-branch Network

  為了充分挖掘弱标簽的潛力，我們建議通過強弱雙分支網絡對強注釋和弱注釋進行單獨處理，進而将大量不準确的弱監督與那些強監督區分開來。我們設計了一個共享的網絡元件，以利用強和弱注釋的聯合區分；同時，建議的雙分支分别處理完全和弱監督學習，并有效消除它們的互相幹擾。這種簡單的體系結構在訓練過程中隻需要少量的額外計算成本，但與以前的方法相比卻帶來了重大改進。

少樣本語義分割

11.Prototype Mixture Models for Few-shot Semantic Segmentation

• code：https://github.com/Yang-Bob/PMMs

  在本文中，我們提出了原型混合模型（PMM），該模型将不同的圖像區域與多個原型相關聯，以實施基于原型的語義表示。通過期望最大化算法進行估計，PMM結合了有限支援圖像中豐富的基于通道的語義和空間語義。 PMM既用作表示形式，又用作分類器，充分利用語義來激活查詢圖像中的對象，同時以雙工方式壓下背景區域。

12.Part-aware Prototype Network for Few-shot Semantic Segmentation

• code：https://github.com/Xiangyi1996/PPNet-PyTorch

  在本文中，我們提出了一種基于原型表示的新穎的少量語義分割架構。我們的關鍵思想是将整體類表示分解為一組零件感覺的原型，這些原型能夠捕獲各種細粒度的對象特征。此外，我們建議利用未标記的資料來豐富我們的零件感覺原型，進而更好地模組化語義對象的類内變體。我們開發了一種新穎的圖形神經網絡模型，以基于标記和未标記的圖像生成和增強建議的零件感覺原型。

13.Few-Shot Semantic Segmentation with Democratic Attention Networks

• code：https://github.com/YudeWang/SEAM

  在本文中，我們提出了Democratic Attention Network（DAN）來進行幾次語義分割。我們引入了democratized graph注意力機制，該機制可以激活對象上的更多像素以在支援圖像和查詢圖像之間建立魯棒的對應關系。是以，網絡能夠将更多前景對象的指導資訊從支援傳播到查詢圖像，進而增強其對新對象的魯棒性和通用性。此外，我們通過設計細化融合單元以融合來自中間層的特征以進行查詢圖像分割，提出了多尺度指導。這提供了一種利用多級語義資訊來實作更準确分段的有效方法。

3D語義分割

14.Image-to-Voxel Model Translation for 3D Scene Reconstruction and Segmentation

• code：https://github.com/vlkniaz/SSZ

  人類可以輕易從一幅2D圖像中感覺物體的類别、深度、形狀等，盡管現代深度模型分别解決了這些難題，但它們卻難以同時執行場景3D重建和分割。 我們提出了單鏡頭圖像到語義體素模型轉換架構。我們對抗性地訓練一個生成器，以驗證該對象的姿勢。 此外，梯形體素，體積殘差塊和2D到3D跳躍連接配接有助于我們的模型學習有關3D場景結構的明确推理。 我們收集了一個SemanticVoxels資料集，其中包含116k圖像，真實的語義體素模型，深度圖和6D對象姿勢。

15.Virtual Multi-view Fusion for 3D Semantic Segmentation

• code：https://abhijitkundu.info/projects/multiview_segmentation/

  在本文中，我們将重新審視3D網格的經典多視圖表示形式，并研究使之有效用于3D網格語義分割的幾種技術。給定從RGBD傳感器重建的3D網格，我們的方法有效地選擇了3D網格的不同虛拟視圖，并渲染了多個2D通道以訓練有效的2D語義分割模型。來自多個每個視圖預測的要素将最終融合在3D網格頂點上，以預測網格語義分割标簽。使用ScanNet的大型室内3D語義分割基準，我們證明了與以前的多視圖方法相比，我們的虛拟視圖能夠更有效地訓練2D語義分割網絡。當在3D曲面上彙總每像素2D預測時，與所有先前的多視圖方法相比，我們的虛拟多視圖融合方法能夠顯着提高3D語義分割結果，并且與最近的3D卷積方法相比具有競争優勢。

16.Efficient Outdoor 3D Point Cloud Semantic Segmentation for Critical Road Objects and Distributed Contexts

  在這項工作中，我們提出了一種新的神經網絡模型，稱為具有自注意全局上下文的基于注意的動态卷積網絡（ADConvnet-SAGC），其中i）應用注意機制自适應地關注與任務最相關的鄰近點，以學習3D對象的點特征，特别是對于形狀多樣的小型對象； ii）應用自我關注子產品，以有效地從輸入中捕獲遠端分布式上下文； iii）一種更合理，更緊湊的體系結構，以進行有效的推理。

17.Deep FusionNet for Point Cloud Semantic Segmentation

• code：https://github.com/feihuzhang/LiDARSeg

  我們提出了一種深度融合網絡架構（FusionNet），該架構具有一個獨特的基于體素的“ mini-PointNet”點雲表示形式和一個用于大規模3D語義分割的新功能聚合子產品（融合子產品）。與基于體素的卷積網絡相比，我們的FusionNet可以學習更準确的逐點預測。與流行的逐點卷積相比，它可以實作更有效的特征聚合，具有較低的記憶體和較低的計算複雜度，可用于大規模點雲分割。

跨域語義分割

18.Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

• code：https://github.com/JDAI-CV/FADA

  為了充分利用源域中的監督，我們提出了一種新的對抗性學習政策，用于類級特征對齊，同時保留了跨域語義的内部結構。我們采用了一個細粒度的域區分符，它不僅充當域區分符，而且還在類級别上區分域。傳統的二進制域标簽也被通用化為域編碼作為監督信号，以指導新的特征對齊。使用類别中心距離（CCD）進行的分析驗證了與其他最新方法相比，我們細粒度的對抗政策可實作更好的類别級别對齊。

域自适應語義分割

19.Domain Adaptive Semantic Segmentation Using Weak Labels

• code：http://www.nec-labs.com/~mas/WeakSegDA/

  在這項工作中，我們提出了一種新的架構，用于在目标域中具有圖像級弱标簽的語義分段中進行域自适應。弱标簽可以基于用于非監督域自适應（UDA）的模型預測來獲得，或者從用于語義分割的新的弱監督域自适應（WDA）範式中的人類注釋者獲得。使用弱标簽既實用又有用，因為（i）在WDA中收集圖像級别的目标注釋相對便宜，并且在UDA中不産生任何費用，并且（ii）為類别域對齊提供了機會。我們的架構使用弱标簽來實作特征對齊和僞标簽之間的互相作用，進而在域自适應過程中同時改善兩者。具體來說，我們開發了一個弱标簽分類子產品，以強制網絡參與某些類别，然後使用此類訓練信号來指導所提出的按類别排列的方法。

20.Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search

• code：https://github.com/ambekarsameer96/GLSS

  我們考慮從近紅外圖像中分割皮膚的問題。我們将皮膚分割問題歸結為與目标無關的無監督域自适應（UDA）問題，其中我們使用可見範圍紅色通道的資料來開發NIR圖像上的皮膚分割算法。

21.Content-Consistent Matching for Domain Adaptive Semantic Segmentation

• code：https://github.com/Solacex/CCM

  本文考慮了語義分段從合成源域到實際目标域的适應。CCM的目标是擷取那些與目标域中的真實圖像具有相似分布的合成圖像，以便通過采用内容一緻的合成圖像進行訓練來自然緩解域間隙。具體而言，我們從語義布局比對和逐像素相似性比對兩個方面促進CCM。首先，我們使用來自源域的所有合成圖像來訓練初始分割模型，然後使用該模型為目标域中的未标記圖像生成粗糙的像素級标簽。利用真實/合成圖像的粗略/準确标簽圖，我們從水準和垂直方向構造它們的語義布局矩陣，并執行矩陣比對，以找出語義布局與真實圖像相似的合成圖像。其次，我們選擇那些具有高置信度的預測标簽來為目标域中的所有類别生成特征嵌入，然後進一步對挖掘的布局一緻的合成圖像執行逐像素比對，以擷取外觀一緻的像素。利用提出的CCM，僅考慮那些内容一緻的合成圖像來學習分割模型，這可以有效地減輕那些與内容無關的合成圖像所引起的域偏差。對兩個流行的領域适應任務進行了廣泛的實驗，即GTA5-→Cityscapes和SYNTHIA-→Cityscapes。

22.Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation

• code：https://github.com/jxhuang0508/CrCDA

  本文提出了一種創新的**局部上下文關系一緻域自适應（CrCDA）**技術，旨在在全局級别的一緻性中實作局部級别的一緻性。這個想法是要仔細研究區域級要素表示并将它們與局部級别的一緻性對齊。特别，CrCDA通過基于反向傳播的對抗性學習，在标記的源域的特征空間中顯式地學習并執行原型局部上下文關系，同時将它們轉移到未标記的目标域。自适應熵最大-最小對抗學習方案被設計為跨域最佳地對齊這數百個局部上下文關系，而無需區分或額外的計算開銷。拟議的CrCDA已在兩個具有挑戰性的領域自适應分割任務（例如，針對Cityscapes的GTA5和針對Cityscapes的SYNTHIA）上進行了廣泛的評估，并且實驗證明了其與最新技術相比的出色分割性能。自适應熵最大-最小對抗學習方案被設計為跨域最佳地對齊這數百個局部上下文關系，而無需區分或額外的計算開銷。

23.Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation

  在這裡，我們提出了一個創新的架構，旨在減輕圖像轉換的偏見，并使跨域特征與同一類别對齊。這可以通過以下步驟來實作：1）執行目标到源的翻譯，以及2）從它們的預測标簽重建源圖像和目标圖像。從合成到真實的城市場景了解的大量實驗表明，我們的架構與現有的最新方法具有良好的競争優勢。

24.Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation

  在本文中，我們提出了一種利用語義分割模型的尺度不變性進行自我監督領域自适應的新方法。我們的算法基于一個合理的假設，即通常而言，無論對象和内容的大小（給定上下文）如何，語義标簽都應保持不變。我們顯示此限制在目标域的圖像上受到侵犯，是以可用于在不同比例的更新檔之間傳遞标簽。具體來說，我們展示了與目标尺寸的原始圖像相比，語義分割模型在按目标域的按比例放大更新檔呈現時會産生高熵的輸出。這些比例尺不變的示例是從目标域的最常見圖像中提取的。提出了動态類特定熵門檻值機制來濾除不可靠的僞标簽。此外，我們還結合了焦點損失來解決自我監督學習中的班級失衡問題。

攻擊政策 異常檢測 資訊洩露

25.Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation

• code：https://github.com/YingdaXia/SynthCP

  文章将語義分割與圖像合成用于缺陷檢測和異常檢測。在本文中，我們系統地研究了語義分割的失敗和異常檢測，并提出了一個由兩個子產品組成的統一架構，以解決這兩個相關問題。 第一個子產品是圖像合成子產品，它從分割布局圖生成一個合成圖像，第二個子產品是一個比較子產品，它計算合成圖像和輸入圖像之間的差異。我們在三個具有挑戰性的資料集上驗證了我們的架構，并大幅度提高了最新技術水準。

26.Indirect Local Attacks for Context-aware Semantic Segmentation Networks

  在本文中，我們表明，生成的網絡不僅對擾動影響整個輸入圖像的全局攻擊敏感，而且對擾動限于不與我們的區域重疊的小圖像區域的間接局部攻擊敏感。我們介紹了幾種間接攻擊政策，包括自适應本地攻擊（旨在找到最佳圖像位置來擾動）和通用本地攻擊。 此外，我們提出了針對全局圖像級别并獲得欺騙區域的像素定位的攻擊檢測技術。

27.Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation

• code：https://github.com/SSAW14/segmentation_membership_inference

  視覺資料可能包含私人或敏感資訊，這同樣不适合公開釋出。不幸的是，最近在更廣泛的對抗性機器學習領域中的成員推理和對機器學習模型的推理攻擊方面的研究表明，即使是黑匣子分類器，也會在經過訓練的資料集上洩漏資訊。我們證明了這種隸屬推理攻擊可以成功地在複雜的，最新的語義分割模型上進行。為了減輕相關的風險，我們還研究了針對此類成員推理攻擊的一系列防禦措施，并找到了有效的對策，以應對現有風險，而對細分方法的實用性影響很小。

28.Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers

  我們基于圖像分類的見解，可以通過增加針對對象形狀的網絡偏差來提高輸出的魯棒性。我們提出了一種新的訓練方案，可以增加這種形狀偏差。我們的基本思想是将RGB訓練圖像的一部分與僞造的圖像進行alpha混合，其中每個類别标簽都被賦予一種固定的，随機選擇的顔色，這種顔色不太可能出現在真實圖像中。這迫使網絡更加強烈地依賴形狀提示。我們稱這種資料增強技術為“數字繪畫”。

語義分割

29.Object-Contextual Representations for Semantic Segmentation

• code：https://git.io/openseg
• code：https://git.io/HRNet.OCR

  在本文中，我們研究了語義分割中的上下文聚合問題。由于像素的标簽是像素所屬對象的類别的動機，我們提出了一種簡單而有效的方法，即對象上下文表示，通過利用相應對象類的表示來表征像素。首先，我們在真相分割的監督下學習目标區域。其次，我們通過彙總位于對象區域中的像素的表示來計算對象區域表示。最後，我們計算每個像素與每個對象區域之間的關系，并使用對象上下文表示（它是所有對象區域表示的權重聚合）來擴充每個像素的表示。

30.The Semantic Mutex Watershed for Efficient Bottom-Up Semantic Instance Segmentation

  我們提出了一種貪心算法，用于從有效的Mutex分水嶺分割算法派生出來的聯合圖分割和标記。它優化了與非對稱多路切割目标密切相關的目标函數，并根據經驗顯示了有效的縮放行為。由于算法的效率，它可以直接在像素上運作，而無需事先将圖像過度分割為超像素。我們評估Cityscapes資料集（2D城市場景）和3D顯微鏡的性能。

31.Intra-class Feature Variation Distillation for Semantic Segmentation

• code：https://github.com/YukangWang/IFVD

  在本文中，不同于以前的方法，對于密集的成對關系進行知識蒸餾，我們提出了一種新穎的類内特征變化精餾（IFVD），将繁瑣模型（教師）的類内特征變化（IFV）傳遞給緊湊型模型（學生）。具體而言，我們計算每個類别的特征中心（被視為原型），并通過每個像素上的特征與其對應的逐級原型之間的相似度集來表征IFV。教師模型通常比學生模型學習更強大的類内特征表示，這使他們具有不同的IFV。

32.GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild

• code：https://github.com/LTTM/GMNet

  在這項工作中，我們提出了一個新穎的架構，該架構結合了更高的對象級上下文條件和部件級空間關系來解決任務。為了解決對象級别的歧義，引入了類條件子產品，以在學習部件級語義時保留類級語義。以這種方式，中級特征在解碼階段之前也攜帶該資訊。為了解決零件級别的歧義和局部化問題，我們提出了一種新穎的基于鄰接圖的子產品，旨在比對地面實況和預測零件之間的相對空間關系。

33.Class-wise Dynamic Graph Convolution for Semantic Segmentation

  通過使用局部卷積，金字塔卷積或自我注意機制以局部或全局方式利用上下文資訊，最近的著作在語義分割方面取得了長足的進步。為了避免在先前的工作中可能引起誤導的上下文資訊聚合，我們提出了一種基于類的動态圖卷積（CDGC）子產品來自适應地傳播資訊。在相同類别的像素之間執行圖推理。在提出的CDGC子產品的基礎上，我們進一步介紹了逐級動态圖卷積網絡（CDGCNet），它由CDGC子產品和基本分段網絡兩個主要部分組成，形成了從粗到細的範式。具體而言，CDGC子產品将粗略分割結果作為類掩碼，以提取節點特征以進行圖構造，并對構造的圖進行動态圖卷積，以學習特征聚集和權重配置設定。然後将精煉特征與原始特征融合以獲得最終預測。

34.Tensor Low-Rank Reconstruction for Semantic Segmentation

• code：https://github.com/CWanli/RecoNet

  在本文中，我們提出了一種對3D上下文表示進行模組化的新方法，該方法不僅避免了空間壓縮，而且還解決了進階難度。在這裡，受張量規範多态分解理論（即高階張量可以表示為1級張量的組合）的啟發，我們設計了一個從低階到高階上下文重建架構（即RecoNet）。具體來說，我們首先介紹張量生成子產品（TGM），該子產品生成許多1級張量以捕獲上下文特征的片段。然後，我們使用這些等級1張量通過拟議的張量重構子產品（TRM）恢複高等級上下文特征。

35.SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information

• code：https://github.com/YingdaXia/SynthCP

  受到半自動方法的實用性和實用性的啟發，本文提出了一種新型的深度神經網絡架構，即SideInfNet，該架構有效地将從圖像中學習的特征與從使用者注釋中提取的輔助資訊進行內建。 為了評估我們的方法，我們将提議的網絡應用于三個語義分割任務，并對基準資料集進行了廣泛的實驗。

36.Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation

• code：https://github.com/charlesCXK/RGBD_Semantic_Segmentation_PyTorch

  在本文中，我們提出了一種統一而有效的交叉模态引導編碼器，該編碼器不僅可以有效地重新校準RGB特征響應，還可以通過多個階段提取準确的深度資訊，并交替彙總兩個重新校準的表示。 提出的體系結構的關鍵是新穎的“分離和聚合門控”操作，該操作可以在交叉模态聚合之前聯合過濾和重新校準兩種表示形式。 同時，一方面引入了雙向多步傳播政策，以幫助在兩種模式之間傳播和融合資訊，另一方面，在長期傳播過程中保護其特定城市。 此外，我們提出的編碼器可以輕松地注入到以前的編碼器-解碼器結構中，以提高其在RGB-D語義分割上的性能。

37.Attend and Segment: Attention Guided Active Semantic Segmentation

  在本文中，我們提出了一種在給定部分觀察序列的情況下逐漸分割場景的方法。主要思想是通過參加代理商最不确定的領域來提高其對環境的了解。我們的方法包括自我監督的注意力機制和專門的體系結構，用于維護和利用空間記憶體圖來填充環境中看不見的區域。代理可以選擇并進入某個區域，同時依靠來自通路區域的線索使其他部分産生幻覺。

38.Learning to Predict Context-adaptive Convolution for Semantic Segmentation

  在本文中，我們提出了一種上下文自适應卷積網絡（CaC-Net），以針對語義特征圖的每個空間位置預測一個空間變化的特征權重向量。 在CaC-Net中，從全局上下文資訊中以參數有效的方式預測了一組上下文自适應卷積核。 當用于與語義特征圖進行卷積時，預測的卷積核可以生成捕獲全局和局部上下文資訊的空間變化特征權重因子。

39.EfficientFCN: Holistically-guided Decoding for Semantic Segmentation

  在本文中，我們提出了EfficientFCN，其主幹是沒有任何卷積的常見ImageNet預訓練網絡。引入了整體引導的解碼器，以通過編碼器的多尺度特征獲得高分辨率的語義豐富的特征圖。解碼任務轉換為新穎的代碼簿生成和代碼字組裝任務，這利用了編碼器的進階和低級功能。

40.Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation

  在本文中，我們分享了使用分層語義分割網絡進行結構提取這一任務的發現。我們提出了一種基于先驗的深度分層CNN網絡體系結構，該體系結構允許使用超高分辨率（1800 1000）圖像提取文檔結構。我們将文檔圖像劃分為重疊的水準條帶，以便網絡将條帶分割，并像以前一樣使用其預測蒙版來預測後續條帶的分割。

41.SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection

• code：https://github.com/hlwang1124/SNE-RoadSeg

    自由空間檢測是自動駕駛汽車視覺感覺的重要組成部分。在資料融合卷積神經網絡（CNN）中所做的最新努力已大大改善了語義驅動場景分割。可以将自由空間假定為接地平面，在該平面上這些點具有相似的表面法線。在本文中，我們首先介紹一種名為表面法線估計器（SNE）的新型子產品，該子產品可以從密集的深度/視差圖像中以高精度和高效率推斷出表面法線資訊。此外，我們提出了一種稱為RoadSeg的資料融合CNN架構，該架構可以從RGB圖像和推斷的表面法線資訊中提取和融合特征，以進行準确的自由空間檢測。出于研究目的，我們釋出了一個大型的合成自由空間檢測資料集，在不同的光照和天氣條件下收集的名為“準備行駛（R2D）”道路資料集。