天天看點

買算法送手機環節,Google Pixel6人像模式實作摳像精确到發絲

如果說手機和相機的拍照差距在哪方面最明顯,那應該要數淺景深的拍攝效果了。淺景深的效果,即我們常說的背景虛化效果就沒有那麼簡單了,淺景深效果主要依賴大光圈以及大尺寸感光元件,這兩者和體積小巧手機本身就是沖突關系,是以依舊需要依靠算法來實作。

買算法送手機環節,Google Pixel6人像模式實作摳像精确到發絲

目前手機實作淺景深效果的方法依舊是利用摳像算法,将拍攝對焦主體獨立出來,再将其他區域進行虛化模拟處理,得到一張類似光學淺景深效果的照片。是以這裡最為關鍵的技術就是摳像,在人像拍攝場景,最難「摳」的,就是頭發區域,由于幾乎沒有規律且發絲極細,很多手機的算法都會在此區域露餡。針對這些場景,一向以算法見長的Google在近日釋出了一套針對自家Pixel 6系列手機的解決方案。

根據Google AI Blog介紹,這套新的人像模式解決方案利用的是Alpha Matting技術,該技術此前多用于電影制作領域,用于精确的摳像以及背景替換。Google将RGB原照片以及Alpha遮罩低分辨率摳像輸入神經網絡,利用MobileNetV3預測更高分辨率、更加精确的遮罩,進而幫助主體從背景分離。

買算法送手機環節,Google Pixel6人像模式實作摳像精确到發絲
買算法送手機環節,Google Pixel6人像模式實作摳像精确到發絲

從部落格公布的效果對比圖來看,這套算法的摳像提升還是立竿見影的。樣本模特的發型對于目前任意手機來說都是「地獄級」難度,Google能夠将卷發的邊緣發絲精細地勾勒出來,這樣的效果在此之前确實從未見過。通過局部放大的對比圖可以看到,由于摳圖更加精細,是以發絲邊緣的景深過度也相當精準,做到幾乎以假亂真的效果。

買算法送手機環節,Google Pixel6人像模式實作摳像精确到發絲

此外,為了使摳像主體的光線與背景相比對,Google還使用了一種球形的裝置進行樣本采集,該裝置配備331個自定義彩色LED燈,一系列高分辨率攝像頭和一組自定義高分辨率深度傳感器。利用多種角度的打光以及攝像頭的拍攝來模拟不同光線下,人像應當有怎樣的光線效果。

買算法送手機環節,Google Pixel6人像模式實作摳像精确到發絲

針對這項改進,Google也做了示範。示範中,Google将輸入的圖像經過一系列的處理,并重新合成到新背景中,整體臉部的光照條件與背景也是較為符合的,相對于原圖,其光線在背景中并不會顯得特别的突兀。

值得一提的是,今年的Pixel 6手機是Google有史以來相機硬體最為強大的一代,在此之前,Google一直沿用相當老舊的CMOS進行算法優化,其實際的成像效果雖然依舊出色,但仍然難以比肩最新的頂級拍照旗艦。也許也是意識到了硬體上的鴻溝難以跨域,Google在Pixel 6上使用了大底主攝,以求提升整體的拍攝能力。但實際的市場回報似乎并沒有能夠與外界的期待相比對,這似乎又是計算攝影重要性的一個有力佐證。

手機的硬體雖然重要,但在自動模式下,算法仍然是使用者能夠得到的優質拍攝效果的最有力的依靠。此前有消息稱Google手機計算攝影團隊有關鍵成員離職,而這套全新的人像算法顯然給了Google手機使用者一個信心,不過目前我們收集到的内容也僅有Google官方的測試,具體的效果仍然需要等Pixel 6系列實裝之後,經由外界測試來進行評判好與壞。

繼續閱讀