作者丨twn29004@知乎
編輯丨3D視覺工坊
論文連結：https://arxiv.org/abs/2004.04962
問題
本文首先說明了一個問題就是NMS是一個非常重要的去除預測結果中重複的後處理過程。一些工作已經發現在NMS中使用IOU來作為排序的标準能夠取得更好的效果。這裡作者還用一個實驗證明了上述說法的正确性。
上表中的Ground truth IoU表示的是通過計算預測的邊界框與基準值之間的IoU作為NMS中的分數的标準。從上表的結果可以看出，在使用IoU來知道NMS之後，模型的精度得到了非常大的提高。此外，之前的一些工作已經做出了使用預測IoU而不是預測class score來作為NMS的評分标準。大部分方法是通過增加一個IoU分支來直接簡單的預測IoU，但是這些方法存在着兩個問題:
1）直接增加一個IoU預測分支，而沒有提取一些對于IoU預測很重要的特征。
2）另一個問題是IoU的預測存在着不對齊的問題。
具體情況如上圖所示，上述結果展示的是經過refine之後的IoU的分布和沒有經過Refine的IoU的分布。在訓練的時候，IoU預測分支是使用的proposal的特征和基準框之間IoU,但是在測試時候，這個預測值被當成了是預測的邊界框與基準框之間的IoU.兩者的IoU分布又不一緻，這就帶來了一定的不對齊問題。下面介紹作者針對上述兩個問題提出的解決方案。
解決方法
沒有相關特征的問題
針對上述問題，作者通過提出兩個模型來解決。這兩個模型分别叫 Attentive Corner Aggregation(ACA), Corners Geometry Encoding(CGE)子產品。作者使用這兩個模型來提取預測IoU所需的特征。從名字可以看出，都是關于Corner的。下面分别介紹這兩個子產品的工作方式。
ACA子產品
首先介紹ACA子產品，在介紹該子產品之前，作者首先介紹了設計該子產品的動機。
從上圖中可以看出，不同角度觀察到的目标的可視部分是一樣的，這可能是不利于我們提取特征的，同時也不利于我們來提取對于預測IoU很重要的特征，是以作者設計了一下這個子產品，按照作者的說法是這個子產品可以在一定程度上減少因為觀察的角度不同帶來的提取特征的差異。
具體設計如下:
在使用PoineNet2生成Proposal，以及生成逐點的語義特征之後，作者使用上述方法來聚合proposal中的點，以生成每個proposal的特征。與PointRCNN中相似，作者同樣使用PointNet2來提取Proposal中的特征，差別在于，是疊加了$K$個SA層之後，在第$K+1$層，作者沒有再使用FPS來采樣點，而是使用proposal的八個角點來作為采樣後的點，然後搜尋位于這個八個角點半徑$r$以内的點，在使用PointNet來提取這些區域的特征，然後再在這些特征上應用注意力機制。具體的注意力機制如下圖所示:
就是分别在不同的角點以及不同的通道層面做一次注意力機制。然後最後的特征是這八個角點的特診之和。
CGE子產品
這個子產品提出的目的是為了利用proposal的幾何特征。上面提取的我們可以了解為語義特征。這部分的結果也非常簡單，就是将proposal的八個角點的世界坐标作為神經網絡的輸入，其具體結構如下:
關于IoU預測不對齊的問題
這部分的設計也很簡單。具體操作看下圖。在進行一次IoU預測之後，将預測的邊界框作為Proposal在輸入Proposal子產品中重複一下，這樣IoU分支最終預測的就是refine後的box和基準狂之間的IoU,這樣就解決了不對齊的問題。值得注意的是，在重複一次的時候，隻有IoU分支改變，其餘分支是不變的。不然又會帶來不對齊的問題。
解決效果
這是本文在Kitti測試集上取得的效果，這個效果一般吧。為什麼有的模型在驗證集和測試集上的差距很小，而有的很大。是方法設計的問題嗎？
消融實驗
IoU對齊是否有效
這裡的baseline表示的是PointRCNN增加了一個IoU分支。Alignment中$\times$表示的是沒有将預測生成的bbox在送到網絡中，$\checkmark$表示的是重複了一次，此外，作者還做了一個關于置信度對齊的實驗。其結果如下:
從上述表格中可以看出，置信度對齊不僅沒有帶來效果提升，來帶來了下降。作者在文中僅簡單的将其解釋為置信度不使用于對齊操作。這個解釋有點牽強，置信度同樣也是預測的proposal的特征得到的置信度啊。
IoU相關特征子產品有效性驗證
ACA子產品中一些操作的對比實驗。