作者丨HawkWang
一. 3D相機面臨的各種挑戰
正如你已經在上一篇文章52. 光的飛行時間技術 (TOF系列2)中所見，包括TOF技術在内的3D成像技術從誕生到現在已經取得了巨大的發展，并且已經用到了很多領域。
然而，TOF技術在實際運用時還面臨着一些關鍵性的挑戰。我這篇文章就來一一介紹這些挑戰和專家們的解決方案。
像TOF這樣的主動光3D成像技術，首先面臨的挑戰就是在室外的使用時的環境光照的影響。你可以看到，如果3D相機的光源是場景中唯一的光源，那麼整個使用條件是非常符合其工作原理的。然而在室外時，環境光可能大大超過相機自身的光源的強度，使得其結果出現錯誤。
我們來看一個例子，這個視訊中用一個RGBD相機對着一扇門拍攝，我們可以看到在陽光直射時，部分區域的深度會出現錯誤或者缺失的情況。
另外一個挑戰則是散射媒體的影響，因為這些媒體會導緻多條光路的出現，影響對距離的判斷。
一個典型的例子如下，這是在南韓現代贊助的自動駕駛汽車比賽的錄像，一輛自動駕駛汽車行駛在晴朗的天氣條件下，很自然的轉過了這個彎道：
而在另外一個雨霧天時，這輛車再次挑戰同一個彎道時，卻撞到了路牙上：
如果說上面這些還隻是由于室外環境的不确定導緻的問題，但即便在受控的室内環境，3D相機一樣會遇到挑戰，比如因為目标的幾何形狀的原因，光會産生多次的反射，導緻對距離的判斷失真
又或者因為目标材質的多變，導緻多條光路的出現，影響對距離的判斷
從1860年到現在，3D相機以及在速度、解析力、準确度等方方面面有了很大的提升，而未來的3D相機一定會變得越來越适合在各種場景下适用——而這就需要從解決上述這些挑戰開始。
二. 如何處理環境光的影響
正如剛才你看到的，環境光照會影響對距離的判斷
那麼一個顯而易見的方法是拍攝一個遮擋了自身光源的圖像，利用兩個圖像的內插補點來得到僅有自身光源照射時的圖像：
如果你也是這樣想的，那麼恭喜你，你答錯了O(∩_∩)O
這是由于光的波粒二象性導緻的——當我們像上面那樣思考時，潛在的我們認為光是連續的波。但實際上此時光還是一種粒子，因而它到達相機傳感器并被捕獲是一個離散随機過程
可能在機關時間平均會有3個光子進入傳感器，但由于離散随機過程的本質，使得有的時候可能一個光子也沒有，有的時候又有更多的光子進入傳感器
這種不确定性由一個稱為光子噪聲(Photon Noise)的随機變量來表示， 是以，實際測量值是真實測量值+噪聲之和，而此處這個随機可變光子噪聲服從泊松分布，它的标準差剛好等于其均值的平方根。光子噪聲是光的一個非常基本的屬性-無論你的相機有多好，甚至是人眼-每個相機都會經曆光子噪聲。
當環境光存在時，光子噪聲将同時由光源和環境光所貢獻
由于陽光強度遠遠大于光源，是以光子噪聲主要來源于陽光:
是以此時整體的信噪比将是很低的：
觀察這幅圖，可以看到在幾乎所有的情況下，太陽光都比3D相機的光源強2-5個數量級。這就是室外3D成像如此具有挑戰性的原因
一個經典的解決方案是通過多次拍攝取平均來降低噪聲：
當拍攝的圖像數量增加時，整體的信噪比也慢慢提升：
這種方法雖然有一定用處，但需要增加拍攝的次數，也就使得系統的實時性降低了。這裡面還有一個問題，光源發射的光均勻散布在場景上，使得場景中每一個目标點接受到的光強降低了，是以單次拍攝時其信噪比就更低了：
那麼另外一個改進的手段就是從分散的光源改為集中聚焦式的光源，并且把場景分為N個部分，每一次拍攝隻拍攝其中一部分，一共還是拍攝N幅圖像，那麼此時的信噪比将進一步得到提升
和單純隻平均去噪的方法相比，這時候的信噪比提升是非常明顯的
如果聚光是好的，為什麼我們不把所有的光聚焦到一個點上呢？這是許多商用雷射雷達系統所采用的方法。嗯，雖然信号會很高，但是我們必須一次一個點地照亮現場。這種掃描是一個非常緩慢的過程。
當然，另一個極端是平均方法，其中光線散布在整個場景中。正如我們所看到的，為了提升信噪比，需要拍很多幅圖像，這也是非常緩慢的。
是以，一些學者就提出，一定有某種優化的光源的分布方式存在，直覺地說，最優分布應該足夠小，這樣我們就不需要做任何平均，也應該足夠大，這樣我們就不需要做太多的掃描。
威斯康星大學麥迪遜分校的Mohit Gupta教授就提出了這樣的表達式：
這裡面光源的散布是由一個系統常量 控制的，而且與環境光的強度呈反比，這意味着在室外晴天使用時，因為陽光很強，是以要用更加聚焦的光源。而在夜晚場景使用時，可以相應的增大光源的散布面積，減少拍攝時間提升實時性。
Gupta教授設計了一個這樣的原型來解決光源散布的自适應問題，可以通過改變多邊形反射鏡的旋轉速度，來改變其散射面大小：
下面是他們的一些實驗成果，這是在一個晴天上午11點拍攝的圖像畫面，此時的環境光大約是75000 Lux
利用三種方法，在同樣的拍攝次數的限制下，可以看到上面提到的自适應方法的效果是最好的
在正午12點(90000 Lux)、下午1點(94000 Lux)時對哥倫比亞大學的重建結果也證明了這個觀點，即最好的做法是控制光線的擴散，使其适應環境
我們曾經提到過的O'Toole在2015年的Homogeneous Codes for Energy-Efficient Illumination and Imaging中展示了集中式的主動照明的好處
他和團隊設計了這樣一種系統：它包含一個低功耗的小型雷射投影儀，其發射光強隻有30流明，以及一對仔細校準後的卷簾快門相機。還有一個控制器來同步光源和相機：
這樣的系統使得可以在很強的環境光下也能夠得到高品質的三維重建結果
西北大學計算攝影實驗室的成果MC3D: Motion Contrast 3D Laser Scanner将這個原理進一步推進。這個系統中采用了某種特殊的傳感器，它隻對特定的時域運動變化敏感，而對靜态環境光不敏感，這使得它非常接近一個理想的3D相機，因為它的信噪比更高，下面這個視訊對比了它和Kinect重建同一個運動物體的結果
三. 總結
到目前為止，你已經看到了像TOF這種主動照明的3D相機在實際使用中面對的幾種問題。特别的，你應該了解了為什麼在室外使用時 3D相機會面臨挑戰，以及面對這種挑戰最重要的是調整光源分布，調整傳感器的感覺範圍，提升信噪比。
那麼，如何解決其他的幾個問題呢？這就是我下一篇文章将要介紹的内容，敬請期待
四. 參考資料
這篇文章絕大多數是參考了Mohit Gupta教授在2015年ICCV Tutorial中的課件：Core Challenges Faced by Time-of-Flight Cameras，這份課件最好的地方就是每一頁都有老師的演講稿，在此向老師的開放精神緻敬！我們後面的幾篇文章也會繼續沿着他的思路介紹TOF相機面臨的挑戰和解決方案。