Abstarct

提出一種新的點雲分類網絡架構。該方法的關鍵是将輸入的3D無序點雲自動轉換成一系列有用的2D深度圖，然後使用CNNs方法進行分類。本文提出的模型将點雲轉換成深度圖，并能夠結合任意神經網絡結構來處理點雲。将這些模型與目前最好的分類網絡結合，其結果相比于state-of-the-art也是富有競争力的。此外，由于網絡架構能夠自動地生成一些有用的2D圖像來表示3D點雲，是以在将來可以被用于點雲可視化等其他方面。

Introduction

卷積神經網絡（CNNs）在圖像分類中取得了矚目的效果，受此啟發，本文建構了一個新的神經網絡架構，該網絡能夠讓處理2D圖像的CNNs方法也能用到3D點雲上。最近出現了一些新的方法（PointNet等等），可以直接對無序點雲進行處理和分類，與該方法不同，我們設計了一些可将3D點雲自動轉換為2D圖像的網絡模型，然後在使用CNNs對其2D圖像進行分類；另外，在一些3D格網模型分類中，以前有一些工作會事先對點雲進行渲染生成圖像操作，然而在我們的方法中，圖像不會預處理階段生成，而是在神經網絡中學習得到。

首先，使用一個完全可微的網絡結構從本質上預測出一個或多個有用的點雲形狀或特征視角。其次，另外一個可微的模型從這些視角進行渲染，生成相應的深度圖。最終，第三個子產品組合這些深度圖并使用CNN進行分類。得益于生成的深度圖和CNN網絡，相比于目前同類研究，我們取得了有競争力的分類結果。此外，在測試時，可以将這些視圖作為額外的輸出提取出來，用于點雲的可視化。

Main contributions of this paper

提出一種新的用于點雲分類的神經網絡，相比于現在最好的研究，甚至在困難的噪聲資料集上都取得了富有競争力的結果。主要思想是将無序3D點雲自動轉換成有用的2D圖像，然後使用目前研究得比較透徹的圖像分類網絡進行分類。

我們的方法通過預測有意義的視角方向，生成一個或一系列有用的點雲深度圖。我們舉例說明了通過學習得到的視角方向及其相應的深度圖能夠用于其他的用途，例如一種點雲的可視化。

我們提出一種完全可微的模型來生成深度圖，通過內建一種點雲篩選政策來表示完整的3D對象。這個模型能夠用于将來的任務和點雲架構中。

Related work

深度學習在點雲資料上的應用 :

點雲是一種常見的3D資料，學者們提出來多種深度學習網絡對其進行處理。最直接的方法是将點雲轉換成統一的體素網格，然後将CNNs方法應用到體素表達中。雖然在将點雲轉換成體素網絡的過程中可以将正常的結構化資料加入其中，但是由于該計算方法成本過高，限制了點雲的分辨率。盡管可以使用octree結構、field probing filter等方法解決這一問題，但是仍然存在體素網格分辨率低的問題。一些新的方法沒有将點雲轉換成體素網格，而是直接處理無序點雲。PointNet、PointNet++、Kd網絡等。相比這些方法，我們首次抽取了一些列2D深度圖，然後使用CNN網絡對其進行分類。

利用3D資料的多視圖 :

很多深度學習方法使用多個2D視圖來學習更多複雜的特征。例如MVCNN。相比這些方法，我們的方法可以自動學習到最有用的視圖

使用CNNs進行圖像識别 :

我們的方法首次自動的提取2D圖像使用CNNs方法進行分類。對于3D資料而言，難以獲得像2D資料那樣大的資料集，這正是為什麼我們要從3D資料中抽取2D特征的原因。在本文中，我們使用ResNet對2D視圖進行分類，使用ImageNet作為預訓練資料集。

在神經網絡中渲染深度圖 :

使用神經網絡從3D幾何物體中渲染2D圖像是一件有趣的事情。空間轉換網絡STN可以得到3D體素網格的2D投影。OpenDR是一種三角幾何體渲染器。我們的工作旨在直接從無序點雲上生成深度圖，此外，我們的工作主要集中學習内在的投影方向。

Overview