時間拉回到 2021 年 12 月，少數派團隊在大理團建的那一周，幾乎每天晚上都會有人跑上露台，嘗試用各種各樣的裝置記錄洱海上方那片澄澈的星空。
在這當中，幾台 Google Pixel 裝置的表現最為亮眼。以往我們總在感歎計算攝影的魅力，但隻有用白天刷微網誌、刷抖音的那台手機捕捉到璀璨星河的那一刻，才真正明白算法的精妙與魅力。
驚歎之餘，團隊裡一直主力使用 Google Pixel 的幾位編輯也跟我聊到過一些有意思的細節：在計算攝影這件事情上，即便是一直以來被業界奉為圭臬的 Google Pixel，其實也有一些至今難以克服的短闆。這當中最具代表性問題就包括偏色，這是一個從 Google Pixel 4 開始就有提及、但一直到最近的 Google Pixel 6 都沒能得到有效解決的問題。
夜視算法加持下（右）畫面色彩相比肉眼觀感（左）存在明顯偏色 | 圖：Clyde 使用 Google Pixel 4 拍攝
即便是開頭提到的那些星空樣張也一樣——對 Google 這樣的計算攝影老牌勁旅來說，色彩還原也是個難以完全靠算法來解決的難題。為了讓算出來的星空更加符合觀感審美，在 Google 相冊中的圖檔修飾功能中，Google 甚至還為夜視模式的照片準備了一套「天文濾鏡」用于後期色彩修飾。
那色彩還原這件事為什麼這麼難？
▍問題的根源在于「猜」
如果往希臘語詞根的方向去了解，照片的英文是 Photograph 按字面意思可以被了解為「用光所作的畫」。在攝影這件事情上，最初我們用來「作畫」的載體是膠片，記錄在底片上的光線資訊需要經過化學沖洗才能顯影；以光電二極管為核心的 CCD 與 CMOS 出現後，效率更高的光電信号轉換則成為了主流。
但無論是 CCD 還是智能手機中更常見的 CMOS，受光電二極管的工作原理所限，它們都隻能根據光照強度記錄不同的亮度資訊。換句話說，通過傳感器所接收到的光電信号，僅僅隻能還原出一張黑白照片。
為了讓傳感器捕捉到有色彩的光照資訊，色彩濾波陣列（CFA）出現了。
常見的色彩濾波陣列：拜爾陣列 | 圖：維基百科
你可以将 CFA 了解為光線在到達傳感器之前的一層「濾鏡」，以應用最為廣泛的拜爾陣列濾色鏡為例，拜爾陣列以 2 個綠色像素、1 個紅色像素和 1 個藍色像素為單元，通過濾鏡的光線除了能夠在傳感器上留下強度資訊外，還能同時保留對應的色彩資訊。值得注意的是，因為每個像素隻過濾并記錄紅、綠、藍三種顔色中的一種，這些從單個像素擷取的資訊其實也不能完整反映畫面中不同顔色的組成方式。
光線通過陣列後留下不同色彩資訊 | 圖：維基百科
換句話說，畫面細節的丢失從我們按下手機快門鍵的那一刻就已經開始了。為了得到一張色彩完整的圖像，通過拜爾陣列擷取到的色彩資訊後續還會依靠去馬賽克算法進行插值、重建。如果像下圖這樣采用鄰近像素平均值的算法，根據已采集像素對周邊缺失的像素色彩資訊進行推測，完成整個去馬賽克過程後，重建得到的畫面甚至會占據整個畫面的 2/3。
将拜爾陣列得到的色彩資訊還原的過程，也是細節丢失的過程 | 圖：Google
因為「猜」的成分不可避免，最終得到的圖像一般而言是無法準确還原原始拍攝場景的。即便在鄰近像素平均值算法的基礎之上，後續也衍生出了許多更為複雜的去馬賽克算法，但「通過 CFA 擷取到的色彩資訊有限」這個大前提始終擺在這裡。
另一方面，盡管近年很多廠商都在嘗試其它的 CFA 排列方式，比如華為的 RYYB、OPPO 在 2014 年基于 QuadBayer 陣列的 RGBW，這些排列方式相比傳統的拜爾陣列更多地也是在提高傳感器進光量，符合前幾年手機廠商在夜景拍攝這件事情上「血腥厮殺」的目标，但從實際的情況來看，純粹靠算法猜，對解決色彩還原問題這件事并沒有多大幫助。
▍以 Google Pixel 為鑒
明确「因為照片都是猜的是以色彩還原很難」這個基本事實後，我們再回到文章開頭提到的手機計算攝影巨擘 Google Pixel。如果要說 Google Pixel 誕生後這 6 年時間裡，為手機行業計算攝影發展留下的、最為寶貴的經驗是什麼，個人認為有兩點：利用好一切可用算法資源的變通性，以及垂直整合硬體的能力。
關于第一點，最好的例子是 Google Pixel 3 時引入的 Super Res Zoom（超分） —— 就是 Google 還在用單攝「吊打」其他廠商雙攝長焦的那一代。
在解決數字變焦對畫面進行裁剪、重建進而造成細節丢失這個問題時，Google 相機團隊首先想到的切入點也是上文提到的 CFA 濾鏡。不過相比于其他同行，Google 的工程師選擇了 DRIZZLE —— 一種在天文攝影學中已經流行了數十年的常用拍攝技巧。DRIZZLE 通過捕捉并合成多張拍攝角度略有變化的照片，來實作 2x 甚至 3x 的數字變焦效果，基本理念是将多張低分辨率的連拍照片直接合并對齊到更高分辨率的像素網格中。具體的合并對齊流程如下：
通過平移的方法進行像素補全 | 圖：Google
至于垂直整合硬體的能力，大家更是有目共睹了。
從第二代 Google Pixel 開始，幾乎每一代 Google Pixel 裝置（a 系列以及 Pixel 5 除外）都會搭載專門用于圖像算法處理的獨立晶片，在 Google Pixel 2 上這枚晶片叫做 Pixel Visual Core，在 Pixel 4 上演變成為 Pixel Neural Core，最後來到今年的「大招」——Google Tensor。
原本對傳感器型号不怎麼「敏感」的 Google Pixel，随着計算攝影需求與功能的不斷增加，對獨立圖像處理晶片的依賴也越來越大，走上自研晶片這條路成為了必然（對下文要提到的 OPPO 來說也是如此）——畢竟在已經将 RAM 從 4GB 提升至 6GB 的前提下，Google Pixel 4 使用者依然會時不時遭遇「算力不夠殺背景來湊」的情況。
話說回來，既然算法實力和軟硬體整合強如 Google Pixel 這樣的異類，都依然沒能解決文章開頭提到的色彩還原問題。近年來緊随其後的國内 Android 廠商還有哪些破題思路呢？
▍軟體不夠硬體來補
這裡便來到了另一個被更多人看作是「行業标杆」的廠商 —— Apple 了。既然通過傳感器采集到的色彩資訊難以完整還原，我們不妨再給圖像處理器準備一組現實世界中的實際資料作為色彩校準參考。
而關于色彩的校準，其實早有專門的傳感器負責采集現實中的色彩資料，早在 2017 年之時 Apple 就在 iPhone X 上的「劉海」矩陣裡塞入一顆來自 AMS 的多光譜傳感器。這款定制版本的 6 通道多光譜傳感器頗有為 iPhone 十周年獻禮的意味，其采集的空間色彩資料被用于驅動 True Tone 原彩顯示功能，可讓手機根據環境光色溫來動态調節螢幕顯示。
這個功能到今天依然有些新鮮，并且并非這類傳感器的唯一用途——就像上面提到的那樣，去年釋出的 Apple TV 4K 就内置一個神奇的螢幕校色功能：将與 Apple TV 配對的 iPhone 正面緊貼電視螢幕，即可自動校準這塊螢幕的内容顯示顔色，從這個功能要求 iPhone 配有 Face ID 來看，iPhone 在這個過程中應該就是借着多光譜傳感器化身成了一台簡單的螢幕校色儀。
而後，在華為 P40、P50 Pro 這樣的旗艦機型上，看到了利用多通道多光譜色溫傳感器輔助拍攝的用法，一方面可以作為環境色彩還原标準，提供白平衡參考，另一方面也順帶解決 RYYB 陣列帶來的偏色問題。
OPPO 則在 Find X3 上推出了 10bit 的全鍊路色彩引擎，從螢幕硬體發力，優化色彩體驗，來保證手機拍攝和輸出的一體化觀感。
▍Find X5 如何處理色彩難題
以計算攝影領域先驅 Google Pixel，以及華為、Apple 在軟硬體協同投入上的經驗為參考，OPPO 基于多年深耕影像領域的優勢，在 Find X5 上也做了一次軟硬體垂直整合。
首先是自然色彩傳感器的加入。這次 OPPO 采用的自然色彩傳感器，背後主要依靠一個 13 通道的光譜傳感器，相當于增加了類似人眼結構的電子視網膜，從硬體層面捕捉精準的顔色，還原真實的環境光源資訊，從影像處理的源頭為色彩還原提供高精度資料作為參考。
當然，多光譜傳感器對于消費者也不是新鮮技術。去年年底釋出的華為 P50 Pocket 就能實作紫外線檢測功能，也是通過 10 通道光譜傳感器完成的。這次 Find X5 系列的 13 通道多光譜傳感器應該能把純色色彩校準得更加準确，這是以往連 iPhone 都做不到的。
自研多年的影像 NPU 晶片「馬裡亞納 MariSilicon X」，也将在 Find X5 系列正式搭載，為計算攝影能力帶來底層質變。和以往大部分廠商直接從晶片廠商購入 3A 算法、然後進行小修小補的做法不同，OPPO 可以基于馬裡亞納 MariSilicon X 做更多、更深入也更靈活的底層開發，借助它高達 18Tops 的算力以及自研 3A 算法，無論是整合來自 13 通道光譜傳感器的資料輸入，還是在純色、大面混淆色這類棘手場景下的色彩還原，效果都會有大幅提升。
當然了，最後還有一個色彩輸出風格的标定，這就需要一種對自然和審美的長期經驗積累了。OPPO Find X5 系列此前已經官宣了和擁有百年曆史的哈蘇合作，并且也通過了哈蘇的自然色彩認證，色彩調試方案對标的是哈蘇中畫幅相機，實際拍攝的色彩效果非常令人期待。
我們曾經一直以為手機攝影已經很強大了，但基于算法的盲猜效果已經不能滿足使用者的需求，結合軟硬體綜合實力的自然色彩時代，才剛剛開始。