在現代工業自動化生産過程中，計算機視覺正成為提高生産效率和檢查産品品質的關鍵技術之一，例如機器零件的自動檢測，智能機器人控制，生産線的自動監控等。
在國防和航空航天領域，計算機視覺還具有更重要的意義，例如自動跟蹤和識别運動目标，自動駕駛汽車導航以及太空機器人的視覺控制。
計算機視覺研究的目的是使計算機具有通過二維圖像資訊識别三維環境資訊的能力。這種功能不僅使機器能夠感覺三維環境中對象的幾何資訊（例如形狀，位置，姿勢運動等），而且還可以進一步描述，存儲，識别和了解它們，計算機視覺具有開發了一套獨立的計算理論和算法。
在本文中，我們介紹了立體視覺的相關内容，即使用多個錄影機視圖來擷取有關視圖深度的資訊。使用立體視覺，可以從不同相機視圖中的圖像得出某個點的世界位置。
立體視覺
雙目立體視覺是機器視覺的重要形式。它基于視差原理，并使用成像裝置從不同位置擷取被測物體的兩個圖像。
密集立體視覺拍攝左右兩個輸入圖像，
這些圖像經過移位和比對以生成每個像素的深度。
結合兩個位置獲得的圖像并觀察它們之間的差異，以便獲得清晰的深度感，建立特征之間的對應關系，并将同一空間中的相同實體點映射到不同圖像中的圖像點。這種差異稱為視差圖。
對極幾何
對極幾何是相機在兩個不同位置生成的兩個圖像與拍攝位置和生成的圖像之間的特殊幾何關系。基本幾何模型如下所示：
相機由相機中心C，C'及其各自的成像平面表示。對于任意空間中的點X，兩個圖像平面上的點分别為x，x'。
點x向後投射到空間中的三維射線中，該三維射線由相機中心和x确定。将該光線投射到第二個圖像平面上，以獲得稱為對極線的直線l' 。顯然突出部X“的X必須是L”。我們也可以繪制連接配接兩個照相機中心位置的線。該線與像平面相交的點稱為極點。因為在立體錄影機的情況下，我們有兩個錄影機，是以有一個線和兩個像平面，是以我們有兩個子極。
考慮不經過空間中任何兩個錄影機的中心的平面π，并且穿過第一個錄影機的中心C和x的光線在X處與平面π相交，然後将該點投影到點上。第二個圖像x'，此過程是平面π的平移。
實際上，所有點xi和對應點x'i的投影在第一張圖像上的投影實際上都是等效的，因為它們在投影上都等效于共面點Xi的集合，是以存在2D映射H，每個xi都映射到x'一世 。
推導基本矩陣和基本矩陣
從相機成像的幾何描述中，我們可以了解以下公式：
其中K是相機内部參數，R和t是第一相機的相機坐标系中第二相機的外部參數，Pw是第一相機的坐标系中的點坐标。Z是從空間點到相機光學中心的距離。
我們首先定義相機的标準化坐标，如下所示
引入以上定義可以獲得：
同時具有t的外部乘積：
在兩側同時将x_2乘以左側：
在上面的公式中，由于等式t ^ x_2的左側是垂直于t和x_2的向量，是以x_2的内積将為0，是以上面的公式實際上可以表示為以下形式：
替換x_1和x_2并重新插入p_ {uv1}和p_ {uv2}得到：
其中，中間項是基本矩陣，其滿足以下條件：
基本矩陣是基本矩陣的一部分，僅與外部參數有關，也就是說，删除錄影機内部參數，您可以得到：
基本矩陣的自由度包括三個平移和旋轉自由度，加上等價的比例，是以基本矩陣的自由度為5。
是以，至少我們可以使用5對點來求解基本矩陣。但是，由于它們的許多固有屬性都是非線性的，是以使用最少的點數求解會比較麻煩，是以通常隻考慮比例的等價性，然後使用8對點求解。這也稱為八點法。
考慮一對比對點及其像素坐标。根據極地限制，有：
展開上面的矩陣并以向量的形式編寫它：
此時，上述極限限制方程可寫為：
将八個點的對極限制放在一起可以得到一個方程組：
基本矩陣或基本矩陣可以通過求解方程組來求解。
完成上述工作，求解了基本矩陣E之後，可以通過SVD分解獲得以下方程式：
其中U和V是正交矩陣，中間的X是奇異值矩陣。根據E的内在性質，我們通過SVD分解知道，對于任何E，都有兩個可能的R和t對應于它。
其中：
立體聲矯正
由于未對準和不同的特性，兩個立體錄影機的圖像都必須扭曲為極線對齊的新圖像。這些新圖像稱為對證圖像。整個過程稱為“校正”，然後将圖像平面扭曲到共面平行平面上。
使用校正過程，我們希望使左右錄影機變形，以使圖像共面并且内在函數相同。使用單應性，我們可以使用原始圖像coodinates來表達這一點：
是以，現在我們可以提出一個問題：如何獲得K ^和R ^。一些好的選擇是：
其中，
其中rL_3是左錄影機R_L的旋轉矩陣的第三列。
視差圖
錄影機成像模型如下圖所示：
其中，P是空間點，f是焦距，Cr，Cl是左右錄影機的光學中心。從下圖可以看出，左右錄影機的光軸是平行的。Ul和Ur是左圖像和右圖像平面上兩個成像點之間距圖像左邊緣的距離。
如果已校準兩個錄影機，則極線平行，并且兩個光軸的方向也平行。
那麼視差與物體深度之間的關系如下：
由此我們可以得出：
根據該公式，b和f為常數，Z與ul-ur成反比，即深度越小，視差越大，并且物體的視差越大。這就是為什麼視差圖中較近的對象更暗的原因。
基本原理是，給定圖像上的某個點，在像素附近選擇一個子視窗，并根據一定的相似性判斷依據，在另一圖像的區域中，選擇最接近該子視窗的圖像。-視窗。
比對成本的計算是針對左圖像和右圖像的每個像素。可以認為一個功能
定義了用于處理左右圖像中比對像素的方法，其中d = ul-ur是我們定義的最小視差範圍：
如果對每個像素都這樣做，可以得到最終的視差圖，但是最終的視差圖的效果很差。點之間的比對容易受到噪聲的影響，是以需要在點周圍建立一個視窗進行比較像素塊，這絕對是更可靠的。
隻要包含足夠的紋理，此方法就可以很好地工作。如果紋理不足，則兩者之間的相似性差異不會有太大差異，并且無法識别出單個比對點。但是，這是一個解決方案。隻要沒有足夠的紋理，我們就可以擴大直到有紋理。
Refrences
• R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2010.
• B. H. Bodkin, Real-time mobile stereo vision [M.S. thesis], University of Tennessee, 2012.
• M. Hansard, S. Lee, O. Choi, and R. P. Horaud, Time-of-Flight Cameras: Principles, Methods and Applications, Springer, 2012.
• S. Foix, G. Alenyà, and C. Torras, “Lock-in time-of-flight (ToF) cameras: a survey,” IEEE Sensors Journal, vol. 11, no. 9, pp. 1917–1926, 2011. View at: Publisher Site | Google Scholar
• M. Y. Kim, S. M. Ayaz, J. Park, and Y. Roh, “Adaptive 3D sensing system based on variable magnification using stereo vision and structured light,” Optics and Lasers in Engineering, vol. 55, pp. 113–127, 2014. View at: Publisher Site | Google Scholar
• S. Zhang, C. Wang, and S. C. Chan, “A new high resolution depth map estimation system using stereo vision and depth sensing device,” in Proceedings of the IEEE 9th International Colloquium on Signal Processing and Its Applications (CSPA ‘13), pp. 49–53, IEEE, Kuala Lumpur, Malaysia, March 2013. View at: Publisher Site | Google Scholar
• W. Kazmi, S. Foix, G. Alenyà, and H. J. Andersen, “Indoor and outdoor depth imaging of leaves with time-of-flight and stereo vision sensors: analysis and comparison,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 88, pp. 128–146, 2014. View at: Publisher Site | Google Scholar
• B. Tippetts, D. J. Lee, K. Lillywhite, and J. Archibald, “Review of stereo vision algorithms and their suitability for resource-limited systems,” Journal of Real-Time Image Processing, pp. 1–21, 2013. View at: Publisher Site | Google Scholar