Multi-View Stereo for Community Photo Collections論文翻譯

部分翻譯如下，全文請下載下傳檔案：https://download.csdn.net/download/u014679795/11974708

1 Introduction

我們的方法是基于以下觀察:有大量線上圖檔的情況下，應該存在在相似光照，天氣，曝光條件，相似分辨率和足夠長基線的子集。通過自動識别這些子集，我們可以極大地簡化問題，在提供足夠的視差進行精确重建的同時，比對外觀和比例相似的圖像。雖然這個想法是概念上很簡單,他的有效執行需要兩個方面：在圖像層面，估計尺度，外觀和足夠長的基線；在像素層面，處理遮擋，雜亂，局部光線變化，并鼓勵水準和垂直上視差的比對。我們的主要貢獻是設計和分析這樣一個自适應的視圖選擇過程。我們發現這種方法在很多場景和cpc上都是有效的。事實上，我們的實驗表明，簡單的比對名額能夠在許多場景的重要部分上容忍驚人的廣泛的照明變化。雖然我們希望未來的工作能擴充這一操作範圍，甚至利用外觀上的巨大變化，但我們相信結合簡單度量的視圖選擇是一種有效的工具，也是從網際網路派生的集合中重建場景的重要的第一步。

在此基礎上，我們提出了一種新的多視點立體比對算法。這種表面生長方法以輸入的稀疏特征點為輸入，成功地利用了從結構到運動的技術[2,23]，産生了這樣的輸出，并且最近被證明可以在CPCs上有效地運作。與許多立體方法[21]中常見的擷取離散深度圖的方法不同，我們選擇重建子像素精确的連續深度圖。為了大大提高對源視圖中外觀差異的适應能力，我們使用了一種光度視窗比對方法，其中表面深度和法線同時優化，我們自适應地抛棄了不加強比對視窗的互相關的視圖。與深度合并方法結合使用，結果表明該方法與目前在Middlebury基準上性能最好的多視圖立體重建方法具有競争力

被cpc上的特殊挑戰所激勵，我們提出了一種新的多視點立體比對算法，使用表面生長方法疊代地重建穩健而準确的深度圖。這種表面生長方法以輸入的稀疏特征點為輸入，成功的利用了sfm技術，并在最近被證明可以有效地在CPCs上運作。與許多立體視覺方法中常見的擷取離散深度圖不同，我們選擇重建子像素精度的連續深度圖。為了大大提高對源視圖中外觀差異的适應能力，我們使用了一種光度視窗比對方法，其中對表面深度和法線同時優化，我們自适應地抛棄了不加強比對視窗的互相關的視圖。我們自适應地抛棄了不加強比對視窗互相關性的視圖。與深度合并方法結合使用，結果表明該方法與目前在Middlebury基準上性能最好的多視圖立體重建方法具有競争力

3 Algorithm Overview

我們的方法從網際網路集中重建幾何包括幾個階段。首先，我們标定相機的幾何和畸變。然後，我們為每個輸入圖像估計深度圖——每個圖像作為一個參考視圖正好一次。為了找到好的比對，我們應用了一個兩級視圖選擇算法。在圖像級，全局視圖選擇(章節5.1)為每個參考視圖識别一組好的鄰域圖像，用于立體比對。然後，在像素級，局部視圖選擇(章節5.2)确定這些圖像的子集，進而産生穩定的立體比對。這個子集通常因像素而異。

通過對深度和法線進行優化，在每個像素上進行立體比對，初始估計從SIFT特征點或從以前計算的相鄰視圖的複制開始。在立體視覺優化過程中，可能會丢棄不比對的視圖，并根據局部視圖選擇标準添加新的視圖。像素點的周遊由像素點估計的比對置信度排序。如果找到較高的置信度，像素會被重新通路，并更新深度。

4 Calibrating Internet Photos

由于我們的輸入圖像是從社群照片收集中獲得的，是以通常不提供相機姿态、内部實體和傳感器響應特性。是以，我們必須首先從幾何和放射測量兩方面對這組圖像進行校正。

首先，在可行的情況下，我們使用PTLens從圖像中去除徑向畸變。PTLens是一種商用工具，可以從圖像中繼資料(EXIF标記)中提取相機和鏡頭資訊，并基于相機和鏡頭屬性資料庫糾正徑向畸變。不能被糾正的圖像會自動從CPC中删除，除非我們知道它們沒有明顯的鏡頭畸變(例如，在MVS評估資料集[22]的情況下)。接下來，将剩餘的圖像輸入到一個健壯的、基于SIFT特征檢測器[18]的度量結構-運動(SfM)系統[2,23]中，該系統将為所有成功注冊的圖像生成外部和内部校準(位置、方向、焦距)。它還從比對的特征中生成稀疏的場景重建，并為每個特征生成被檢測到的圖像清單。

為了模拟徑向畸變，我們嘗試将所有輸入圖像轉換到線性徑向空間。除非捕獲系統的準确響應曲線是已知的，否則我們假設圖像是在标準sRGB顔色空間中，并應用反sRGB映射。