注意：本文最初發表在攝影應用程式Halide的官方部落格上，以前稱為iPhone SE：獨眼之王？作者是應用程式開發人員Ben Sandofsky，少數授權翻譯轉載。
四年後，我們又回到了廉價版本的iPhone。與上一代産品一樣，新款iPhone SE在新舊硬體的組合中控制着價格。iFixit在拆卸過程中還發現，這一代iPhone SE的後鏡頭子產品可以與iPhone 8互換使用。
iPhone 8 和 iPhone SE 拆解比較（圖/iFixit）
如果您僅根據硬體參數對iPhone SE進行評分，那麼讓我們直接閱讀iPhone 8評論。簡而言之，即使已經是三年前的事了，我們認為它仍然非常出色。Sebastiaan1最近用它來拍攝一些RAW格式的照片來測試其實際結果。
但iPhone SE相機的焦點在于系統，而iPhone則做了其他iPhone使用單圖像單色深度估計技術無法做到的事情。翻譯成大話，這是第一款僅用一個平面圖像産生"肖像"效果的iPhone。
随着Halide拍攝的最新更新，系統攝像頭隻能在拍攝角色時打開人像模式
你可能會說，"這不是iPhone XR的樣子嗎？它隻有一個攝像頭！但正如我們在上一篇文章中提到的，盡管iPhone XR也是一個後置單元，但它使用硬體來擷取景深資訊。iPhone XR從傳感器的相位對焦像素中擷取資訊，您可以将其解釋為一對有助于對焦的小眼睛，并且它使用不同眼睛觀察到的微小差異來建立粗略的景深圖像。
然而，這種方法在新款iPhone SE上不可用，因為它的傳感器尺寸很小，是以沒有足夠的相位焦點像素可以使用，是以iPhone SE完全是機器學習來生成景深資料。你可以自己做一個簡單的測試：給它拍照。
（我們建議您使用Halide相機，不僅因為我們開發了這個應用程式，還因為系統相機僅在拍攝人物時打開人像模式。我們将在後面的部分中讨論此問題。）
讓我們将這張照片放大到全屏，并使用iPhone SE拍照：
Lux Optics的吉祥物，六月
iPhone XR将看到一個幾乎平坦的表面 - 即計算機的顯示器。它似乎用圖檔上的顔色調整了景深圖檔，并猜測中間的這件作品略微領先于其他作品。
iPhone XR 生成的景深資料
iPhone SE可生成完全不同的景深圖像。雖然這是錯誤的，但它是驚人的！
iPhone SE 生成的景深資料
這是我祖母在清理父親家時拍攝的另一部50年前的電影......
這真是太神奇了。這是一個非常好的技巧，但畢竟，這都是設計實驗場景。如果我在現實世界中嘗試一下呢？
< h2 級的 ss-hId-1" >實際測試：偶爾有缺陷</h2>
為什麼蘋果在拍攝人物時隻允許系統攝像頭開啟人像模式？這是因為處理圖檔對蘋果來說是一個額外的步驟：如果拍攝對象是人類，它工作得很好，但如果拍攝對象不是人類，有時會有小問題。
在這個例子中，神經網絡無法區分June的頭和它後面的樹。也許是樹作為頭部的角落？
此外，景深地圖似乎在分區（意味着剪切圖檔的不同部分）方面非常出色，但在判斷實際距離時，它們是好的和壞的。以下是六月驚恐面孔的例子：
"2020年對任何人來說都将是糟糕的一年"
我用iPhone 11 Pro和iPhone SE拍攝，很明顯，更多的鏡頭可以獲得更好的資料。iPhone 11捕獲了過道中的所有景深資訊，而iPhone SE在延伸到遠處的地闆時誤判。
左：iPhone 11 Pro;右：iPhone SE
這對現實生活有何影響？讓我們把這個多肉作為一個對象，因為這張照片有很好的層次感。
我們可以在iPhone 11 Pro的景深圖像中看到明顯的邊緣，而iPhone SE隻是抓住了一個粗略的想法。也許是因為神經元學到了很多關于狗的圖檔，卻沒有學會如何區分植物？
最終結果如何？通常情況下，前景中的物體和背景中的物體之間的模糊強度應該存在差異，但iPhone SE的模糊效果都是混合在一起的。
為了使效果更明顯，我增加了人像效果的強度。如果您喜歡iPhone SE的效果，則可以在iPhone 11 Pro上複制它，但不能以另一種方式複制 - 您無法在iPhone SE上複制分層效果。
蘋果機器學習的第二步在區分級别方面起着至關重要的作用。當蘋果推出iPhone XR時，它引入了一個名為"肖像效果遮罩"的API，它可以檢測照片中的人像，并建立具有豐富細節的遮罩。事實上，蒙版的分辨率高于照片中包含的景深資訊。
在2018年使用iPhone XS拍攝時，分辨率縮放至原始圖像的四分之一
隻要前景對象被聚焦并且圖像清晰，大多數人就永遠不會知道你在背景模糊上有多努力。
那麼回到問題：為什麼蘋果隻允許在角色上打開肖像模式？
蘋果傾向于"做得比它說的要多"。讓你在人像模式下拍攝所有東西并非不可能，但他們甯願讓使用者覺得"人像模式隻能拍攝人"，而不是不太穩定的成像效果。但作為開發人員，我們很高興Apple允許我們免費通路這些景深資料。
下一個問題：機器學習是否足夠好，不需要多個相機裝置？
<>機器學習測量景深的挑戰</h2>
我們的大腦令人難以置信。與新款iPad Pro不同，我們的眼睛裡沒有LiDAR來提供景深資訊。我們的大腦從各種來源擷取這些資訊。
最好的方法是比較我們在兩隻眼睛中看到的不同圖像。我們的大腦會比較兩個圖表之間的串聯資訊，差異越大，物體就越遠，帶有兩個攝像頭的iPhone以大緻相同的方式收集景深資訊。
另一種方法是通過運動。當您走路時，遠處的物體比最近位置的物體移動得慢。
遊戲場景 索尼克道奇
這種方法類似于AR應用程式用于确定您在現實世界中的位置的方法。這種方法對攝影師來說并不理想：讓人們在拍照前在空中揮舞手機一段時間太麻煩了。
是以，我們剩下的就是最後的手段：從一張靜止圖像中擷取景深資訊。如果你碰巧認識一個隻能用一隻眼睛看東西的人，你就會知道他們的生活與其他正常人沒有什麼不同;這是因為我們需要依靠其他線索來确定距離，例如已知物體的相對大小。
例如，您知道手機通常有多大。如果你看到一部非常大的手機，你的大腦會猜測它離你很近，即使你以前從未見過它。大多數時候，這個判斷是正确的。
《絕密》是一部被低估的電影
這很簡單。隻需訓練神經網絡來檢測這些細節，對吧？不幸的是，這實際上是一個病态問題。在 Well Pose 問題中，有一個獨特的解決方案，就好像"一列火車以 60 英裡/小時的速度從 A 出發，另一列火車以 80 英裡/小時的速度從 B 出發......"
但是，在猜測景深時，一張圖檔可以得出各種結論。看看下面的爆炸性視訊，其中男子面對槍手，還是背對着鏡頭面對射手？
有些圖像是無法處理的，要麼是因為沒有足夠的支援資訊，要麼是因為圖像本身是無法解釋的。
"瀑布"M.C.埃舍爾
是以總的來說，神經網絡看起來很棒，但它們也未能突破人類智能的極限。在某些情況下，一張圖檔是不夠的。機器學習模型可以生成合理的景深圖，但這并不意味着它必須是正确的。
如果你隻是想輕松拍攝一個人好看的肖像，那不是問題。但是，如果您想準确記錄圖檔并保留盡可能多的資訊以供譯後編輯，則需要額外的視角（例如雙攝像頭系統）或其他傳感器（例如LiDAR）。
機器學習會超越多攝像頭手機嗎？答案是否定的，因為無論系統如何，擷取更多資訊通常更好，這就是為什麼我們進化出兩隻眼睛的原因。
問題是，如果有一天景深測量非常接近實際情況，并且很少有失誤，即使是專業攝影師也會懷疑他們是否願意為額外的硬體支付更多費用。我們認為這個願景不會在今年實作，但看看現在機器學習的速度，也許幾年後我們将使用這項技術，而不必對幾十年後的未來抱有希望。
對于攝影來說，這是一個激動人心的時刻。
< h2類"ss-hId-1">自己嘗試一下</h2>
如果您在閱讀本文後對景深捕獲的場域感到好奇，請嘗試我們剛剛更新的Halide相機。
如果您有任何支援人像模式的iPhone，則可以在Halide的景深模式下拍攝，以檢視生成的景深圖像的外觀。看看你的iPhone如何看待這個美麗的3D世界真的很有趣。
最後，感謝您的閱讀。如果您對 iPhone SE 有更多疑問，請在 Twitter 上與我們聯系。祝您拍好照片！