作者丨paopaoslam
编辑丨3D视觉工坊
标题：Depth-Aware Mirror Segmentation
作者：YHaiyang Mei ，Bo Dong , Wen Dong，Pieter Peers， Xin Yang, Qiang Zhang，Xiaopeng Wei
机构：Dalian University of Technology
编译：Cristin
审核: zhh
摘要
大家好，今天为大家带来的文章是 Depth-Aware Mirror Segmentation
我们提出了一种新的镜像分割方法，该方法利用基于ToF的相机的深度估计作为额外线索，以消除具有特殊情况下的错误，其中镜像反射和周围场景之间的RGB颜色对比度或关系是微妙的。一个重要的观察结果是，ToF深度估计值不反应镜面的真实深度，而是返回反射光路径的总长度，从而在镜面边界处产生明显的深度不连续性。为了在镜像分割中利用深度信息，我们首先构建了一个RGB-D镜像分割数据集，然后利用该数据集来训练一个新的深度感知镜像分割框架。我们的镜像分割框架首先基于颜色和深度的不连续性和相关性来定位镜面。接下来，我们的模型通过考虑颜色和深度信息的上下文对比度进一步细化镜像边界。我们广泛验证了我们的深度感知镜像分割方法，并证明我们的模型优于最先进的基于RGB和RGB-D的镜像分割方法。实验结果还表明，深度是镜像分割的有力线索。
主要工作与贡献
1、第一种考虑RGB和深度的镜像分割方法；
2.一个新的RGB-D镜像分割数据集，便于在镜像分割中使用深度的研究；
3.一种新颖的深度感知镜像分割网络，利用RGB和深度不连续性以及镜面内外的相关性；
4.一种新的融合RGB和深度相关的动态加权方案。
算法流程
1. 数据集
我们的第一个贡献是引入了一个新的RGB-D镜像分割数据集，名为RGBD mirror，它包含3049个RGB图像和相应的深度贴图。我们不是自己捕获RGB-D图像，而是从四个流行数据集（即Matterport3D[2]、SUN-RGBD[45]、ScanNet[8]和2D3DS[1]）的选定示例合成RGBD镜像，以确保广泛的多样性和广泛的覆盖范围；汇总见表1，代表性示例见图2（a）。每个选定图像至少包含一个镜像区域，像素级精确参考镜像遮罩由专业注释器创建。据我们所知，RGBD镜像是第一个RGB-D镜像分割数据集。
2. 方法
我们的方法基于对镜面的两个关键观察。首先，镜面在语义和深度上引入了不连续性。前者可以在RGB域中检测到，并已被先前的镜像分割工作所利用。后者称为深度不连续，是深度传感器获得反射场景深度而非镜面物理深度的结果。其次，镜像也会在镜像区域的内部和外部之间产生关联。除了可在RGB域中有效检测到的语义相关性外，还存在深度相关性，因为反射场景的视深度通常比镜子及其周围环境的真实深度更深。我们设计了我们的定位和描绘网络（PDNet），以利用RGB和深度的不连续性和相关性来有效分割镜像。
图1 网络框图（a） 我们的定位和描绘网络（PDNet）及其两个主要构建模块的概述：（b）定位模块（PM）和（c）描绘模块（DM）。
PDNet（如图1（a）所示）通过两个不同的多级特征提取器提供RGB-D图像，以获得RGB和深度特征。深度特征由5个级联的3×3卷积块（8-16-32-64-128通道配置）和最大池提取。我们选择ResNet-50[16]来提取RGB特征。为了计算效率，在将提取的RGB特征与深度特征一起馈送到定位模块（b）或描绘模块（c）之前，将其通过额外的信道缩减卷积。定位模块（PM）使用RGB和深度中的全局和局部特征估计镜子的初始位置。描绘模块（DM）根据局部不连续性和上一级的特征细化镜像边界。最后一次DM的预测被用作最终的镜像分割。
2.1 Positioning Module
给定最高级别的RGB和深度特征，PM根据RGB和深度中的全局和局部不连续性和相关性线索，估计初始镜像位置以及用于指导后续DM模块的相应特征。PM的训练由真实镜面Mask监督。我们的PM模块（图3（b））由两个子分支组成：不连续感知分支（DPB）和相关感知分支（CPB）。
2.2 Delineating Module
给定来自PM或上一级DM的高级镜像检测功能，DM会细化镜像边界（图1（c））。DM的核心是一个描绘块，它利用RGB和深度中的局部不连续性来描绘镜像边界。由于此类优化只应发生在镜像周围的区域，因此我们利用上一个模块（PM或DM）的更高级别功能作为指南，以缩小潜在的优化区域。
2.3 Loss Function
BCE损失是前景-背景分割任务中使用最广泛的损失，它平均且独立地计算每个前景和背景像素的损失。在许多情况下，背景像素的数量超过前景像素的数量，导致偏置损失。为了补偿此类情况，我们还包括map级IoU损失。此外，我们还使用了面片级边缘保留损失来更加关注前景边界。
实验结果
表1 最先进的语义分割方法的定量性能（以◦ 符号），显著目标检测方法(△), RGB-D显著性检测方法(▽), 和RGB镜像分割方法(⋆) 在RGBD镜像训练集中重新训练，并在RGBD镜像测试集中进行比较。需要额外CRF[20]后处理步骤的方法用†符号标记。我们还包括一种基于训练集中镜像掩码位置统计信息的阈值方法。第一、第二和第三个最佳结果分别以红色、绿色和蓝色突出显示。我们的方法在所有四个评估指标中都达到了最佳性能。
图2 PDNet与在RGBD镜像数据集上重新训练的最新分割方法的视觉比较。PDNet在具有小镜像（第1-3行）、大镜像（第4-6行）和多个镜像（第7-9行）的场景以及具有相似边界和/或外观（第10-12行）的挑战性场景上的性能优于其他方法。
图3 不同PDNet变体的视觉消融比较。