背景介紹
最近實驗室在搞基于微透鏡陣列的光場相機，很時髦的玩意，可以先拍照然後對焦，可以說重新定義了攝影，但很可惜，國外已經研究的比較成熟了，基本理論，也就是光場技術，在1996年由斯坦福的Marc Levoy等人提出，采集光場的手段主要有兩種，一種是通過微透鏡陣列，這樣不但能記錄光線的強度資訊，還能記錄光線的角度資訊，另外一種是通過相機陣列技術。前者已經由RenNG成功商業化成Lytro光場相機，後者嘛，還停留在實驗室階段→_→，不過由相機陣列引發出的合成口徑成像技術，很是牛逼，号稱能看清楚被遮擋物體的表面，于是呢，我就調研了一下多相機陣列的國内外研究的情況。下面的這些内容基本上是我寫給老闆的調研報告，為了便于大家了解，我放了很多圖，但畢竟是綜述類的報告，有點文绉绉的說教語氣，木有辦法，湊合着看呗~
我看相機陣列
多相機陣列（Camera Arrays）利用不同空間位置的多個相機來采集不同視角的照片。斯坦福大學的Bennett Wilburn等人[1]用廉價的相機搭建一個高性能的相機陣列（圖1）。這個系統使用正常的MPEG視訊壓縮标準以及IEEE1394通信标準，使得100台CMOS相機協同工作，而所有相機所産生的資料僅需要4台普通的PC處理即可。
圖 1 斯坦福大學搭建的高性能相機陣列
多相機陣列各子相機之間的距離不同，整個相機陣列就有不同的用途。當所有的子相機之間的距離比較小時，也就是相機緊挨着放在一起，這時整個相機陣列可以看作一個單中心投影相機（Single-Center-of-Projection Camera）。這時整個相機陣列可以用來産生超分辨率、高信噪比、高動态範圍的照片。從圖3中可以看到，通過對不同子相機采用不同的曝光時間，我們得到了比所有相機都采用相同曝光時間（圖2）更加廣的動态範圍[1]。另外，當監控相機在夜晚工作時，由于光線不足，相機往往需要使用大光圈，然後大光圈帶來的一個弊端是使圖檔的景深急劇減小，而相機陣列可以克服大光圈帶來景深小的問題[2]（圖4-圖6）。
圖 2所有相機相同曝光時間
圖 3所有相機設定不同曝光時間
圖 4對焦點在近處
圖 5對焦點在遠處
圖 6大景深的合成圖像
當所有的子相機之間的距離都很大時，這時整個相機陣列可以看成是一個多中心投影相機（Multiple-Center-of-Projection Camera），整個相機陣列所産生的資料就叫做光場，通過這些資料，我們可以得到物體的多視角資訊，為其3D重建提供重要資訊。除此之外，可以利用圖檔中的多視角資訊，建構全景照片[3,4]，如圖7所示。
圖 7多視角全景圖檔
當所有的子相機之間的距離處于中等尺度時，這時整個相機陣列可以看作是一個擁有合成孔徑（Synthetic Aperture）的相機：每個子相機作為一個子部分進行采樣，多個相機的組合可以等效為一個具有更大光圈數的大孔徑相機。這個相機能透過樹枝或者人群看到其後面被遮擋物體的表面[5]。在火車站等人流密集的地方，這項技術可以用來跟蹤定位可疑的犯罪分子[6]。圖8是用普通的相機拍的照片，在這些樹枝後面有一個雕像，在雕像後面後一些人，用普通相機無法透過樹枝看到其後面的物體，而合成孔徑的相機可以做到（圖9）。在人群密集的場所，被跟蹤的物體容易被遮擋，用合成孔徑相機進行數字重對焦，能使前景的人群被嚴重的虛化，進而可以輕松透過人群監控其一舉一動（圖10-圖11）。
圖 8普通相機拍攝的照片
圖 9合成口徑相機拍攝
圖 10被人群遮擋的對象
圖 11合成口徑相機成像結果
當被監控的物體所在的平面與相機陣列所在的平面不平行時，用合成孔徑相機去監控物體，可能會導緻計算量過大以及被監控物體不同部分不能同時清晰呈現的問題，幸運的是，Vaibhav Vaish等人[6]發現，當不同對焦平面交于一條直線的時候（圖14），可以完美的解決這個問題（圖12-圖15）。Vaibhav Vaish等人[7]針對多視角的特點設計了多種重構圖像的算法，分别基于對焦（Focus）特征、中值（Median）特征、立體（stereo）特征、熵（Entropy）特征、立體像素着色（Voxel Coloring）特征（圖16-圖22），周志良博士根據廣場強度在遮攔物所對應的空間位置和投影方向上具有強相似性和小方差的特性[8]，進一步提高了重構算法的性能（圖23）。
圖 12使用平面視差（plane parallax）技術不能同時使不在同一個焦平面上的物體清晰成像，圖中對焦在左邊
圖 13使用平面視差（plane parallax）技術不能同時使不在同一個焦平面上的物體清晰成像，圖中對焦在右邊
圖 14當所有對焦平面都交于一條直線且物體所在平面平行其中一個對焦平面使，物體表面可以清晰成像
圖 15使用剪切變形分解（Shear-W arp F actorization）技術的成像結果
圖 16被植物遮擋的物體
圖 17移除植物後理想的被遮擋表面
圖 18基于熵特征的重構
圖 19基于對焦特性的重構
圖 20基于中值特性的重構
圖 21基于立體的重構
圖 22基于立體像素的重構
圖 23基于光場強度方差的重構
當然，當被遮擋物體被嚴重遮擋的時候，由于每個子相機采集的資訊太少，是以最終得不到理想的被遮擋物體的表面，為了解決這個問題，結合現有的成熟的城市監控系統，Tao Yang等人[9]提出了一種新型的實時混合合成口徑成像監控技術，它由兩組相機陣列組成，一組從上而下監控，主要負責合成口徑追蹤，另外一組由一組橫向排列的相機組成，主要負責合成口徑成像（圖24）。用這種方法，即使在物體被嚴重遮擋的情況下，仍然能依靠前一組的相機進行目标追蹤。
圖 24混合合成孔徑成像系統
此外，整個相機陣列可以劃分成多個子陣列，通過對不同子陣列設定不同的曝光時間，可以實作時間和空間上的孔徑合成，進而用來解決低光環境下小光圈拍高速運動物體導緻的模糊問題[1]。如圖25所示，用小光圈長時間曝光的方法得到的圖檔雖然景深大，但是風扇的葉片由于長時間曝光而模糊了，如果通過縮短快門時間，葉片清晰的代價是整張圖檔曝光不足（圖26），雖然可以通過調整對比度的方式來增強圖檔（圖27），但是同時也産生噪點，另一方面，通過大光圈的方法拍攝（圖28），又會使景深太小，導緻背景物體不清晰，是以，如何确定光圈大小、曝光時間以及快門時間等參數是件很困難的事，幸運的是，采用相機陣列的混合型合成口徑成像（Hybrid Synthetic Aperture Imaging），通過等效口徑尺寸和曝光時間的控制，能夠獲得大景深且高速運動部厘清晰的高信噪比圖像（圖29）。
圖 25小光圈長時間曝光導緻的運動模糊
圖 26縮短曝光時間導緻圖檔整體曝光不足
圖 27提升對比度導緻産生噪點
圖 28大光圈拍攝導緻景深小
圖 29混合型合成口徑成像結果，保證圖檔曝光正常的情況下，景深範圍大，同時也減小高速運動物體産生的模糊
綜上所述，相機陣列通過利用不同視角的資訊，以及更加廣闊的視場範圍，使其在合成孔徑成像技術的焦點選擇以及景深調節上有着先天的優勢，同時，其高可拓展性以及低成本的優勢，非常适合景物的識别以及追蹤，已成為隐藏目标的檢測與追蹤的重要手段。
寫在最後
總體來說，多相機陣列技術，在國外，斯坦福大學做的工作比較多，很前沿的東西都是那邊出來的。國内的話，西北工業大學，對，自己的母校，做的還是不錯。作為博士生課題的話，還是很适合的，新方向，容易出文章。可惜我對它不是太感興趣，是以跟老闆商量了一下，換了一個方向，主要是偏向工程的，我感覺這樣才能發揮出我的優勢，嘿嘿，希望能給有志在此方向發展的朋友點啟發哈，發論文了，求挂名，O(∩_∩)O哈哈~
<b>參考文獻</b><b></b>
[1] Wilburn, B., et al. High performance imaging using large camera arrays. in ACM Transactions on Graphics (TOG). 2005. ACM.
[2] Haeberli, P., A multifocus method for controlling depth of field. 1994.
[3] Román, A. and H.P. Lensch. Automatic multiperspective images. in Proceedings of the 17th Eurographics conference on Rendering Techniques. 2006. Eurographics Association.
[4] Roman, A., G. Garg, and M. Levoy. Interactive design of multi-perspective images for visualizing urban landscapes. in Proceedings of the conference on Visualization'04. 2004. IEEE Computer Society.
[5] Vaish, V., et al. Using plane+ parallax for calibrating dense camera arrays. in Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on. 2004. IEEE.
[6] Vaish, V., et al. Synthetic aperture focusing using a shear-warp factorization of the viewing transform. in Computer Vision and Pattern Recognition-Workshops, 2005. CVPR Workshops. IEEE Computer Society Conference on. 2005. IEEE.
[7] Vaish, V., et al. Reconstructing occluded surfaces using synthetic apertures: Stereo, focus and robust measures. in Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. 2006. IEEE.
[8] 周志良, 光場成像技術研究. 2012, 中國科學技術大學.
[9] Yang, T., et al. Continuously tracking and see-through occlusion based on a new hybrid synthetic aperture imaging model. in Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. 2011. IEEE.
About me
大學畢業于西安東大男子技術專修學校（好評1，好評2）
碩士浪迹于帝都中關村，出沒在融科計算機教育訓練學校（好評1，好評2），整天捉摸着黃色圖檔、血腥暴力圖檔、反動圖檔的監控，說白了就是為某牆服務，呵呵
家住浙江甯波，是以在阿裡巴巴工作（16年7月入職），阿裡雲事業部，雲資料庫ApsaraDB源碼組，主攻MySQL核心開發
喜愛計算機，熱愛程式設計，尤其是資料庫領域，熟悉MySQL，資料庫基本理論，資料庫中間件等
對高性能伺服器開發、高性能代碼優化也略有涉獵
此外，偏愛攝影，目前維護lofter照片分享網站，立志成為碼農界最好的攝影師~
有什麼事的話，可以在這裡留言或者通路我的新浪微網誌哦~