根據咨詢公司Yole Développement的資料,3D成像和傳感市場将從2016年的13億美元增長到2022年的90億美元,受益于消費電子市場的可預測的爆炸性增長,消費電子産品的3D成像和傳感市場将從2016年的2000萬美元增長到2022年的60.58億美元。 複合年增長率(CAGR)為158%。

3D影像、傳感的全球市場收益預測
比"驚人"預測更有說服力的是産品進入消費市場。
2017年,蘋果從iPhone X上删除了Touch ID,并切換到采用3D傳感技術的face ID。今年,Android陣營供應商也在探索類似的3D傳感技術。
在這個階段,3D相機已經發展了三條主流技術路線:結構光,飛行時間和立體視覺。從技術上講,最終目标是相同的 - 建立一個3D生态帝國。
在帝國之前 - 選擇什麼槍以及在哪裡可以找到彈藥?
與過去的"百萬像素戰争"不同,大多數智能手機從業者可能會在3D傳感的新戰線上更加努力。
首先是選項的選擇。從技術角度來看,三維結構光學成像的原理是,在結構光将特定的光資訊投射到物體表面後,相機收集反射資訊,然後根據物體引起的光信号的變化計算物體的位置和深度, 然後恢複整個三維空間。該技術的優點是技術成熟,深度圖像分辨率相對較高,但缺點是容易受到光線的影響。
TOF成像原理是将一束相位調制紅外雷射發射到被測物體上,當紅外雷射被反射回相機時,會由于光的飛行時間延遲,導緻相位和發射時相位發生微小變化,通過計算相位變化, 您可以計算被測物體與相機之間的距離。TOF方案基本上不需要采用光學棱鏡,抗幹擾性能好,視角更寬,缺點是深度圖像分辨率低。而目前TOF方案實作AR功能的體驗并不理想,業内分析人士認為,這與裝置不想消耗過多的CPU資源來降低運作速度有關。
雙目距離使用雙攝像頭系統,通過兩個攝像頭的角度形成3D圖像,類似于人眼。目前,雙攝像頭作為快速充電基本上已經成為手機的标準配置,是以這種方案理論上應該是成本最低的。但是,整體系統的複雜性、高功耗、暗光環境性能差、精度低等都會帶來較大的局限性。聯想已經在支援ProJect Tango的Phab2 ProAR手機上嘗試了類似的方法,但體驗并不令人鼓舞。
雙眼視覺、結構光和飛行時間技術比較
其次,更重要的是擁有3D傳感系統的高複雜性和關鍵部件的生産。由于3D相機包含許多需要一緻工作的元件,是以它們還需要足夠的供應鍊管理。有些人甚至将3D相機描述為"子裝置"。
與傳統相機産業鍊相比,3D相機産業鍊增加了"紅外光源、光學元件、紅外傳感器"等部件,使得立腔表面發射雷射器(Vertical-Cavity Surface-Emissions Laser,VCSEL)、準直透鏡(WLO)、光衍射光栅(DOE)等成為核心器件。雖然3D相機早期普遍使用LED作為紅外光源,但LED沒有諧振器,導緻光束散射較多,而VCSEL在精度、耦合、小型化、低功耗、可靠性等方面都更具優勢,是以現在常見的3D相機系統都采用VCSEL作為紅外光源。
有分析認為,3D傳感技術在Android陣營的大規模普及可能要到2019年,主要是因為現階段3D傳感子產品産量低:一是高效率VCSEL元件生産不易,目前平均光電轉換效率隻有30%左右;提高子產品組裝難度。
帝國的第一步 - 設計一款支援3D結構光的手機
Find X 3D結構光學相機的一部分
OPPO Find X于6月19日釋出,與雙軌潛意識結構一樣引人注目的是內建到該結構中的OPPO FaceKey 3D結構光學系統。5月初,OPPO宣布将在六個月内将該結構商業化。很多人沒想到的是,OPPO會在一個月内釋出一款産品。這使得OPPO可以獲得很多"名字"。但更重要的是,OPPO将行業的量産計劃提前了一年。
OPPO FaceKey 3D結構燈
完成整個硬體方案的選型、預研、試制和驗證,包括結構光發射端、接收端和結構光解碼晶片,在半年時間内,同時快速突破結構光子產品選型、基線選型、結構光深度圖、深度圖示定、深度攝像和RGB攝像标定, 面對安全方案驗證等難點,OPPO面臨的硬體開發難點可想而知。
與硬體解決方案一樣困難的是軟體解決方案的設計。安全人臉架構和方案的核心,包括硬體繪圖、圖像校正、網絡算法驗證等,都必須在安全的TEE環境中運作,以解決人臉資訊、支付環境和算法的安全性問題。但在OPPO之前,3D人臉算法在中國還沒有成熟的經驗可以借鑒。在算法自學時,OPPO算法團隊在3D資料、伺服器環境和算法方案方面也沒有任何經驗。
然而,在接下來的短短三個月裡,OPPO算法團隊和硬體團隊利用結構光學硬體完成了10萬次的3D人臉資料采集,人臉資料分布覆寫全球,并在此期間完成了500次TFlops大規模訓練伺服器建設。同時,為了達到百萬分之一的錯誤識别精度,OPPO和AI算法公司與尚唐深入探讨了3D人臉識别算法,并在人臉檢測、人臉識别和實時檢測算法上形成了一套自己的算法方案。
OPPO 3D人臉支付包含安全技術
最後,通過4輪硬體方案疊代和10輪人臉算法疊代訓練,OPPO成功完成了今日頂級體驗的結構光方案。對比資料顯示,OPPO Find X方案在單個深度圖的3D渲染、3D渲染精度、耐光性、50cm-70cm距離識别等方面比iPhone X更為成熟,在20-50cm距離識别、功耗、分辨率、幀速率、體積等方面也同樣先進。而國内首款3D人臉識别算法,也标志着OPPO在技術研發領域一直是行業不可忽視的力量。
除了OPPO之外,其他Android Eco制造商也在探索3D成像技術的未來。與Find X一起,小米在小米8釋出會上推出了小米8探索版,在外星人螢幕的劉海區域內建了3D結構光系統。在Find X釋出後不久,Vivo在上海的MWC上展示了其ToF方案。
帝國發展 - 3D資料需要足夠安全才能用于支付
生物識别技術中最重要的因素是安全性,不應該有"一個"。這也是3D結構光人臉認證相比2D人臉識别的最大優勢之一。雖然後者在過去一年的手機釋出會上也成為必提的功能,但基于算法的2D人臉識别在實作極快解鎖速度的同時,仍然面臨着非常嚴重的安全問題。一些評論家甚至發現,許多2D人臉識别手機隻需使用正常列印機列印A4照片即可解鎖。
比解鎖裝置更嚴重的是個人資訊的安全性。這是指私人敏感資料,包括個人身份資訊,以及銀行卡号和密碼等财務資訊,以及生物資訊本身,例如指紋資料和面部資訊。丢失的銀行卡也可以彌補密碼更改,但指紋或面部資訊一輩子都不能更改,洩露後的風險是永久性的。是以,這就是為什麼支付機構如果要支援人臉或指紋身份驗證,則必須經過非常嚴格的身份驗證過程。
從另一個角度來看,支付機構對3D結構化光學技術的認可,一方面可以認可這項技術的安全性,另一方面,是确認這項技術未來普及的重要因素。是以,OPPO在Find X上支援支付寶人臉支付的技術意義更為顯著。
Find X與支付寶的合作是OPPO與螞蟻金服戰略合作夥伴關系的一部分。除支付外,雙方還将成立聯合創新實驗室,探索軟硬體底層技術的深度融合,如支援OPPO手機性能優化、高頻支付場景一步直接出擊等。
OPPO産品經理李晟在Find X釋出會上介紹了與螞蟻金服的合作
在聯合創新實驗室的推動下,Find X可以在支付寶上市後立即支援支付寶Face Pay。基于結構光作為硬體,結合OPPO基于深度學習的人臉智能識别算法,3D人臉支付可以準确地比較使用者輸入和識别的資訊,錯誤率控制在支付精度的百萬分之一,遠遠高于目前指紋識别錯誤率的五分之一左右。使用者可以期望在未來的更多OPPO手機中使用這項技術,以面部代替指紋,密碼或PIN碼作為移動支付應用的主要驗證方法。
帝國正在興起 - 開放端到端3D資料流
通過3D結構化光學技術獲得的3D資料,如果隻是為了解鎖和付費,那麼使用豐富的資料顯然是不夠的,手機廠商不會停留在這個水準。是以,雖然iPhone X和Find X 3D結構燈現在為使用者提供了安全新穎的體驗,但對于兩家供應商來說,想象整個3D資料的潛在布局更為重要。
今年5月,在Find X釋出前不久,OPPO宣布全球首個采用3D結構化光學技術的5G視訊通話示範取得成功。通過OPPO手機的結構光學系統采集3D資料,采用高通的5G新空運終端樣機,最終接收到遠端的顯示,實作3D人像圖像的恢複。
3D 視訊通話
在6月的WWDC 2018上,蘋果除了專注于ARkit 2之外,還将推出"USDZ"3D檔案格式。一些開發人員評論說,"這一成就可與秦始皇統一六國後實施的'類似汽車的軌道'相媲美,這是一種3D檔案格式,可以跨應用程式傳輸3D資料。"在這次釋出會上,蘋果展示了同一組3D圖像可以在野生動物園,新聞和相機上渲染。從去年iPhone X上首款3D成像系統,到今年的3D圖像呈現,不難看出蘋果在這項技術領域的布局。
作為計算機視覺的一個分支,3D成像提供了底層技術功能,進而使裝置具有增強現實(AR),3D面部等新功能,這些新功能為使用者提供了經典的SoLoMo業務和新興的短視訊,直播,遊戲等的新鮮體驗。除了之前強調的安全支付之外,3D重建,AR和遊戲很可能成為未來3D結構光技術的突破性應用。
以AR應用為例,在3D AR遊戲中,利用結構光對周圍環境進行精确模組化,将模型實時融入遊戲,将虛拟遊戲與現實的三維世界緊密結合,達到逼真的三維效果。或者通過照片相機拍攝的精确結構的三維資訊,可以達到準确的AR文章和微表情效果。Gartner預測,到2021年,40%的智能手機将配備用于AR的3D攝像頭,分析師Jon Erensen甚至表示,"這對AR非常重要,我認為這是你不想落後的東西。"
OPPO Find X 釋出推出 3D 結構光應用場景
是以,我們看到蘋果和OPPO都在布局AR。前者在過去兩年中引入了ARkit作為關鍵點之一,而後者還與唐氏科技,浙江大學CAD-CG國家重點實驗室合作,建立了一種名為ARunit的開發平面,可以支援即時定位和地圖建構(SLAM),多平面恢複,虛拟物體在非平面表面上的放置, 平面标志識别、照明估計、地圖儲存和狀态設定、遮罩等幫助開發人員建立新一代新的 AR 應用程式。自3月19日推出以來,它已經吸引了包括京東和王榮耀在内的13款合作夥伴産品,并有望在2018年全年為8000萬部OPPO手機提供AR支援。
OPPO ARunit
在OPPO看來,移動網際網路正在模糊現實世界和數字世界的界限。虛拟圖像和虛拟圖像、虛拟圖像和真實世界圖像、真實世界圖像和真實世界圖像的結合将為無處不在的現實(UR)帶來全新一代的使用者體驗。這與我們今天看到的VR和AR相去甚遠,真正推動未來沉浸式使用者體驗的将是3D内容和"即将到來的"5G。是以,通過主動結構光感覺目标物體的位置和深度資訊,實作整個3D空間的高分辨率、高精度恢複,再通過低延遲時間5G網絡進行3D視訊的實時傳輸,将成為下一代移動使用者體驗在現實中的關鍵。
5G網絡下的3D視訊通話
通俗地說,OPPO旨在利用高速5G網絡來支援3D視訊信号的傳輸,進而為使用者提供全新的通話體驗。這顯然不再隻是一個二維級别的視訊通話,而是一個展示視訊通話體驗的三維空間。雖然由于顯示技術的局限性,3D資料無法直接呈現,但我們可以看到的是,在未來,一旦3D資料渲染方面的技術到位,我們就可以體驗到像科幻全息投影一樣的數字生活。
總結
3D成像技術确實已經成為很多手機廠商關注的技術發展方向,其重要性在未來可能不亞于5G和AI。但由于技術應用的規模,除了解鎖和付費之外,沒有其他新的殺手級應用。
廠商普遍認為,成本高、費率好等問題将導緻3D傳感器相機在2018年隻适用于價格超過3000元的旗艦機型,但從2019年初開始,将采用指紋、雙攝像頭等技術,成為2000元以上智能手機的标準配置,到2020年, 覆寫範圍将進一步擴大,配備3D傳感器攝像頭的千款車型将不足為奇。
3D傳感器相機市場滲透率預測
随着3D技術在最大的消費電子市場的廣泛使用,應用場景必将更加豐富。OPPO和蘋果的3D帝國将有多活躍?
本文原文,版權歸電子工程專輯所有