圖像三維重建方法綜述

轉載請說明出處：

http://blog.csdn.net/zhubaohua_bupt/article/details/74172831

利用相機進行三維重建已經不是一個新鮮的話題，重建的三維環境用途很廣泛，

比如檢測識别目标，作為深度學習的輸入，視覺SLAM。

目前，比較流行的是單、雙目的重建。根據重建的稀疏程度不同，可以分為以下以下幾類：

稀疏重建：

通常是重建一些圖像特征點的深度，這個在基于特征的視覺SLAM裡比較常見，得到的特征點的深度可以用來計算相機位姿。稀疏重建在實際應用，比如檢測，避障，不能滿足需求。

半稠密重建：

通常是重建圖像紋理或梯度比較明顯的區域，這些區域特征比較鮮明。半稠密重建在直接法視覺SLAM裡比較常見。重建的三維點雲相對稠密，可以滿足部分應用需求。

稠密重建：

稠密重建是對整個圖像或者圖像中的絕大部分像素進行重建。與稀疏、半稠密相比，稠密重建對場景的三維資訊了解更全面，更能符合應用需求。但是，由于要重建的點雲數量太多，相對耗時。

1 雙目重建：

雙目重建通常又稱之為，立體比對、雙目比對、雙目立體視覺、靜态比對等。

根據所用的相機差異，比如針孔相機、魚眼相機，實作略有差别。根據重建時比對方式的不同，又可以分為全局、本全局、局部比對。OpenCV的GM,SGBM,BM就分别實作了上述算法。

想要了解這方面知識，以上述關鍵字關鍵字（立體比對、雙目比對、雙目立體視覺）或（Stereo Matching）搜論文。比如[1][2][3]。其過程可描述如下：

利用左右相機得到的兩幅矯正圖像，通過一幅圖在另一幅圖上找比對，然後根據三角測量原理恢複出環境三維資訊。在魚眼相機的比對中，也有不矯正圖像，直接比對的做法，這樣做需要計算圖像極線。   

由于整個比對的過程隻需一個時刻的左右圖像，是以也有人稱為靜态立體視覺。

2 單目重建

傳統的視覺方法（不包括深度學習）單目重建，利用單幅圖像不能完成重建，需要時間域上一系列圖像。

是以有人也稱之為動态立體視覺。根據重建的實時性不同，可以分為離線重建和線上重建。

2.1離線重建：

比如 SFM技術，此技術根據在一段時間内獲得的連續圖像來重建一個三維環境。中文文獻搜(運動恢複結構)，英文搜(Structurefrom motion)。

2.2線上重建：線上重建可以分為漸進式重建和直接式重建。線上重建或多或少都和VO或者(SLAM)有聯系，因為重建的時候需要相機的位姿。

2.2.1漸進式重建

漸進式重建利用下一時刻的圖像不斷融合之前的三維資訊，類似于卡爾曼濾波思想，而且三維重建實際上也是深度重建，是以，漸進式重建也稱之為深度濾波。

比如：[4]SVO和[5]REMODE,這兩個論文是一個作者，SVO和REMODE有深度濾波詳細的過程，并且有開源實作代碼。

SVO: https://github.com/uzh-rpg/rpg_svo    (深度濾波在depth_filter.cpp裡面)

REMODE:https://github.com/uzh-rpg/rpg_open_remode

2.2.2直接式重建  

直接式重建，利用若幹個時刻（一般幾幀至幾十幀）的圖像，一次性完成對同一個場景的三維重建。

直接式重建也有人稱之為深度融合，有點類似于SFM,與SFM不同的是，參與計算的圖像少，實時性較高。

文章[7]是這方面的方法，但代碼沒有開源，如果比較了解深度濾波原理，這個也容易實作。

[1]    Semi-Global-Matching

[2]    Stereo Processing by Semi-Global Matchingand Mutual Information

[3]    基于魚眼相機的立體比對

[4]   C.Forster, M. Pizzoli, and D. Scaramuzza, “SVO: Fast Semi-Direct Monocular VisualOdometry,” in Proc. IEEE Intl. Conf. on Robotics and Automation, 2014.

[5]   MatiaPizzoli, Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular dense reconstruction in real time. In International Conference onRobotics and Automation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.

[6]   V. Usenko,J. Engel, J. Stuckler, and D. Cremers. Reconstructing Street-Scenes inReal-Time From a Driving Car

[7]    Ra´ulMur-Artal and Juan D. Tard´os Probabilistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM,2015