從寶麗來到數字電影——圖像與視訊色彩的科學

文 / Kylee Peña， Chris Clark， and Mike Whipple

譯 / 章佳傑

技術審校 / 張元尊

原文

https://medium.com/netflix-techblog/protecting-a-storys-future-with-history-and-science-e21a9fb54988

我叫 Kylee， 我手頭有兩張我父母的婚禮照片，隻有這兩張。 今年我父母已經結婚 40 周年了， 是以這兩張當時的照片是用膠片拍攝的， 上面記錄了年輕時婚禮上的尴尬和歡樂。 這兩張照片都是如此的生動活潑， 是對另一個時代的最直接的記錄。

其中一張照片是用寶麗來一次性成像相機拍的， 是唯一的記錄。 這張照片隻有三四寸大， 而且顔色已經開始褪去。

另一張是用 35mm 相機拍的， 我的父母并排站着， 旁邊是伴郎和伴娘。 但是照片曝光太暗， 細節都丢失了， 而且底片也在很久以前就丢了。

這兩張照片有曆史意義， 對我非常重要。 但是我可能永遠沒辦法把他們弄得更好了。 其中一張是一種過時的格式 (譯注: 指寶麗來一次性成像相片)， 所有的色彩和對比度都嵌入在這個原始相片中。 另一張倒是可以通過現代技術手段讓畫面變更幹淨， 并且顯著提升亮度， 前提是原始底片還在。

每個人都有對他們來說很珍貴的圖像: 你的狗做各種神奇的動作的視訊， 你的祖父母他們最後的周年紀念日合影， 你積蓄很久費盡心思籌劃的自己的婚禮。 想象一下， 如果視訊不能播放了， 或者你祖父母的合影變的模糊， 或者你的皮膚和婚紗上有綠色色調。

對于電影和電視節目來說， 導演和攝影師每時每刻都在面對這樣的事情。 他們竭盡全力到達那個正确的地點， 并且正确的拍下了圖像， 結果播出時圖像看起來不太對， 很糟糕， (更糟糕的是) 每秒播放 24 次。

我們一直緻力于為 Netflix 解決這樣的問題。 我們不止于在電影和電視藝術領域探索， 而且研究了曆史和科學。 我們行業的技術創新加速非常快， 對未來我們總是充滿未知。 但是， 我們可以使用過去的經驗和知識， 包括百年電影制作曆史中積累的經驗， 以及對人類感覺系統的研究。 我們使用這些經驗和知識， 最大限度的儲存内容， 以便在新技術出現時可以用上， 使得我們可以有更好的觀看體驗。 我們的目标是保留這些重要圖像的同時保留創作意圖。

隻要我們在建構和測試色彩管理工作流程上仔細一點， 花費一點注意力， 就可以讓一個電視節目從頭到尾的每一點看起來都很完美。 素材做好存檔， 可以讓節目的生命力更持久， 而不需重制。 我們在 Netflix 上需要的素材， 比如 NAM， GAM 和 VDM， 也許是一些數位檔案， 通過我們的内容中心 (Content Hub) 進入雲端存儲， 但這些概念植根于曆史和科學。

NAM， GAM 和 VDM 中有什麼?

傳遞 (素材) 給 Netflix 的人， 或者有興趣傳遞的人， 都對這些術語很熟悉: 未分級檔案主檔案 (non-graded archival master， NAM)， 分級檔案主檔案 (graded archival master， GAM) 和視訊顯示主檔案 (video display master， VDM)。 在我們 Netflix 這麼叫， 其他工作室或者機構可能有别的名稱。 一般來說， 每次傳遞 Netflix 都要包含這些檔案素材。

未分級檔案主檔案 (NAM) 是未進行色彩分級的副本， 但是與最終剪輯鎖定版本是完全統一的， 包括後期特效 (VFX)。 未分級檔案主檔案在原始工作色彩空間 (如學院影像編碼系統 ACES， 詳見後文， 或原始相機 Log 空間) 中渲染， 沒有疊加輸出變換或顯示變換。

分級檔案主檔案 (GAM) 将最終的顔色分級政策添加到與最終剪輯鎖定畫面一緻的副本中， 并且也在原始工作色彩空間 (如 ACES 或原始相機 Log 空間) 中渲染。 同樣的， 也沒有疊加輸出變換或顯示變換。

未分級檔案主檔案和分級檔案主檔案看起來都不好看， 因為這些圖像是在對數 (也就是 Log) 或者線性色彩空間中的。 這樣的圖像不是為了顯示的， 而且這些圖像比顯示屏能記錄更多潛在的資訊量。 為了友善對比視覺效果， 我們需要視訊顯示主檔案 (VDM)。

視訊顯示主檔案 (VDM) 也是與最終剪輯鎖定畫面相一緻的一個副本， 包括後期特效， 隻不過這次加上輸出或顯示變換一起渲染， 這意味着它在主顯示器的顔色空間中進行編碼。

NAM-GAM-VDM 樣例: Log 空間工作流 (ARRI LogC)

NAM-GAM-VDM 樣例: 線性空間工作流 (ACES)

SMPTE IMF (Interoperable Master Format， 可互動主格式) 是用于制作所有流媒體素材的主要格式， 為了傳遞可互動主格式， 上面提到的這素材都是必須的， 每一種素材都要以未壓縮或無損壓縮格式傳遞， 例如 16 位 DPX， EXR 或 TIFF 序列。

這些素材在未來為我們提供了巨大的靈活性， 因為我們使用原始色彩空間儲存該影像的副本。 一方面我們保留了最初拍攝的所有原始資訊和動态範圍， 另一方面我們可以在保留原始的創作意圖的同時來重制節目 (并且更輕松)， 確定它們在未來幾年内繼續保持最佳狀态。

要了解這些術語和流程的來源， 我們必須回到電影課。

電影史入門

更深入地思考 Netflix 以及那些創意技術工作的演變， 這些技術演變在背後推動着電視和電影發展， 我們最終想到的可能是實體膠片。 事實上， 我們的 NAM， GAM 和 VDM 檔案素材源于超過一百年的電影史。

在今天拍攝制作 (節目) 大部分都轉用數字化采集， 使用相機卡和硬碟存儲。 一個世紀以前， 那個時候影像拍攝的唯一媒體就是賽璐珞 (譯注: 老式電影膠片)。 而對它的實體處理手段， 在随後的幾年裡得到了發展和完善。

一段電影膠片 (來源: Wikimedia Commons)

在對膠片的實體處理工作流程中， 批量拍攝完後， 所有曝光的膠片底片被送到暗房進行洗印。 好幾個膠卷串在一起形成暗房卷， 然後使用一組簡單的光線值沖印樣片， 制作出友善人看的正片 (譯注: 原始膠卷上留有的圖像顔色與正常顔色相反， 被稱作負片， 而沖印出的照片顔色是正常的， 稱作正片)。

剪輯師會将膠卷剪切在一起， 并将負片剪輯表單 (類似于 EDL， 但不是檔案名和時間碼， 而是剪輯表單和鍵碼) 發送給負片剪切員， 以確定剪輯鎖定畫面與原始負片符合。

負片剪切員把膠片粘起來形成最終版本， 這個版本就相當于我們今天的未分級檔案主檔案 (NAM)。

在這之後，攝影導演會和配光員一起對所有負片進行單光沖印， 然後對每個場景進行創意調整。 配光員将通過模拟曝光， 逐個鏡頭對曬印機燈光進行調整， 這個過程類似于現在建立顔色政策清單 (CDL)。 當顔色确定後， 用定好時的曬印燈來曬印負片。 這個第二負片， 也就是負片的負片， 被稱為中間正片 (interpositive， IP)。

這個中間正片， 或者說負片的負片， 包括最終的調色政策， 就相當于現在我們的分級檔案主檔案 (GAM)。由于這個膠片版本基于原始的負片， 它可以與原始負片保持相同的資訊量和動态範圍。

中間負片 (Internegatives) 是從中間正片 (IP) 建立的， 用于批量洗印， 并且用于制作友善給人看的印片用正片。 這種印片用正片與負片不一樣， 通過膠片投影儀投射出來， 就是友善人看的正常色彩的圖像。 這種印片用膠片就相當于我們今天的視訊顯示主檔案 (VDM)。

35mm 印片用膠片。 來源: 維基百科

膠片處理流程不斷向數字工作流程轉變， 而動态影像專家們不斷改進和提高這一過程，逐漸形成了現代的工作流程。 電影行業數十年來的努力， 加上近年來産量激增的更快， 價格更便宜的存儲系統， 以及體積更小， 性能更好的相機傳感器， 使得我們能夠建立一個穩健的存檔系統， 随時準備好對節目進行重制， 不會有任何場景丢失。

接下來， 科學課堂: 色彩科學

要在當今的數字化工作流程中建立這些檔案素材 (并且維持一個開心而富有創意的團隊， 在檢視他們的節目時， 過程中的每一點， 都保持了他們的拍攝意圖)， 關鍵在于從一開始就要做好色彩管理。 對色彩科學有所了解是有益的， 有助于了解色彩 / 感覺 / 以及顯示技術是什麼， 以及為什麼這些概念是重要的。

如今大多數圖檔都是彩色圖檔。 顔色由不同的波長的光組成， 不同波長的顔色， 我們稱之為紅色， 綠色， 藍色， 或者許多其他名稱。

來源: Colour Science for Python

顔色形成有兩個階段:

1. 光線進入眼睛， 視網膜上小小的細胞 (錐細胞) 對此産生反應。

1. 神經信号向後傳導到我們的大腦 (視覺皮層)， 形成了一種顔色感覺。

來源: Wikimedia Commons

這其中， 視網膜部分 (1) 是相對研究得比較透徹的， CIE 對此進行了标準化， 形成了可測量的三刺激值， 稱為 XYZ 。 三刺激值的測量基于我們人眼的三種錐細胞， 分别對應可見光波長中的長波 (L)， 中波 (M) 和短波 (S)。

XYZ 通常被稱為色度或顔色的度量， 如果給出 XYZ1 和 XYZ2 一樣的話， 那麼對于一般觀察者來說， 這兩個顔色就是一樣的。 舉個例子， 我們用列印機列印一個蘋果的圖像， 用的是列印機的顔料， 而如果列印結果的 XYZ 和真實蘋果的 XYZ 是一樣的， 即使顔料的光譜特性和蘋果的不一樣， (但是看起來列印結果和蘋果就是一樣的)。 這就是大多數色彩系統的工作原理。

而認知部分 (2) 就複雜多了， 這涉及你的觀察環境， 适應狀态， 期望和記憶。 這被稱為顔色表觀， 并且也經過充分研究和模組化。 我們将在以後的部落格裡讨論。

出于這個原因， XYZ 提供了一種經過驗證的方法， 可以精确校準顯示器進行比對。 除非有人想出如何直接向大腦傳信号， 否則顯示器 (譯注: 此處指代一切顯示裝置) 是我們檢視内容的唯一方式， 是以我們需要了解它們的特性并確定它們按預期工作， 這非常重要。

但是在我們讨論顯示器之前， 我們需要建立用來顯示的圖像。

一般來說， 我們行業中的相機在對光的響應方面， 盡可能嘗試模拟接近人類視覺系統， 通過使用濾鏡來模拟人眼的三種錐細胞的響應。 一台完美的相機将能夠記錄所有可見顔色， 并将它們存儲為 XYZ， 進而完美存儲場景中的所有顔色! 不幸的是， 讓相機的電子系統實作這一點很困難， 是以大多數相機都不是完美比對真實顔色的。 盡管如此，“模拟人眼” 的設計标準仍然是對的， 而且大多數相機都做得相當不錯。

既然相機不完美， 那麼在簡單情況下， 相機做兩件事:

1. 采用一個輸入變換， 将原始傳感器的 RGB 信号變為 XYZ 色度， 對這個變換進行優化， 以使得對真實世界中的大部分重要的顔色表現良好。

1. 采用一個輸出變換， 将 XYZ 色度轉變為用于顯示的 RGB。

• XYZ， 在本篇部落格中， 指的是 CIE 1931 2 度觀察者的色比對函數 (color matching functions， CMFs)。 這與 DCI X’Y’Z’ 不同， 它是一種基于 XYZ 的色彩編碼方式， 針對數位影像。

• 比如說人的膚色， 天空的藍色， 樹葉， 以及其他常見的顔色。

有時候這兩個步驟合在一起完成。 比如當你用相機或者智能手機拍了一張 JPEG 照片， 這兩個步驟都被執行了， 然後你得到了一張所謂的 “顯示器相關” 的圖像。 換句話說， RGB 值對應于從顯示器發出的 (光線的) 顔色。

值得注意的是， 廣播錄影機通常以相同的方式操作。 它們執行步驟 1 和步驟 2， 輸出 “顯示器相關” 的圖像， 這些圖像可以直接發送到顯示器。

而拍攝 RAW 是不同的。 專業相機可以不用執行步驟 1 和步驟 2。 這意味着你将獲得原始傳感器 RGB 值。 在處理或 “沖印” 該圖像之前， 不會使用任何顔色變換。

現在， 比如說， 你執行了上面的步驟 1， 但是沒有執行步驟 2， 然後你輸出了一個 XYZ 的圖像， 這就是所謂的 “場景相關” 的圖像。 換句話說， 這個圖像的像素值大緻（這裡用大緻， 是因為相機不是完美色度比對的。）對應于場景中的顔色， 不管是直接的 XYZ 還是 XYZ 所定義的 RGB 值。

一般來說， 場景相關的圖像包含的資訊了比顯示器能顯示的更多， 就像膠片負片一樣。 對動态範圍和色彩來說都是如此。 我們可以用很多種方式來存儲， 業界的相機廠商通常會定義他們自己的 “場景相關” 的色彩空間。

以下是一些例子:

1. ARRI: Alexa LogC Wide Gamut

1. Sony: S-Log3 S-Gamut3。cine

1. Panasonic: V-Log V-Gamut

1. RED: RED Wide Gamut Log3G10

這些色彩空間是專門優化的， 包含了相機可記錄的光線和色彩， 并且以整型數字編碼存儲 (通常為 10 位或者 12 位編碼)。 這就是輸入變換了 (譯注: 即前述兩個步驟中的步驟 1)。

将 “場景相關” 的色彩空間中的顔色直接顯示到螢幕上， 看起來這樣操作沒什麼問題。 但是考慮到場景和螢幕之間亮度的變化， 以及觀看環境的不同， 我們還是需要做輸出變換 (譯注: 前述兩件事中的步驟 2)。 比如說， 一張晴天的照片， 不會和真實的太陽亮度一樣， 是以在色彩和對比度方面就必須考慮這樣的不同。 這種 “圖檔渲染” 有很多辦法可以做到， 不過本篇部落格不會詳細讨論這些方法。 但是這個概念又對圖檔系統整體的 “觀感” 非常重要， 我們還是值得在此進行一些簡單介紹。

出于上述的原因， 相機廠商通常會提供一個預設的輸出變換 (用色彩查找表的形式， 或者說 LUT)， 讓你可以拍一張 Log 空間的圖像， 并且 (直接) 在某個色彩空間 (比如 BT。 1886) 進行觀看。

來源: 柯達公司

練就色彩管理的黃金眼

這些概念彙集在一起， 就形成了色彩管理的工作流程。 由于色彩管理可以確定圖像的保真度， 觀看效果的可預測性， 并且友善處理不同的片源， 是以這是對電影和電視劇的現在 和 未來進行保護的最佳手段。 色彩管理工作流程需要一個定義好的工作色彩空間， 和一個統一的輸出變換或者 LUT。 這些必須明确記錄存檔， 并且提供給工作流中的所有參與者。

一旦工作色彩空間确定了， 所有的色彩校正步驟都在那個色彩空間中進行。 但是， 我們知道這個色彩空間是 “場景相關” 的， 不友善直接觀看， 是以我們必須加上輸出變換， 來預覽我們的圖檔在顯示器上顯示的效果。

在這個例子中， 工作色彩空間是 Log， 顯示色彩空間是 BT。 1886。 輸出變換将兩者劃分開。 隻有對 BT。 1886 的流媒體主檔案才加入輸出變換， 歸檔主檔案 (未分級主檔案和分級主檔案) 還是在 Log 色彩空間中。

如果把所有圖像都轉變到 BT。 1886 這樣的顯示色彩空間中， 看起來 好像 會讓流程簡單一點， 但是這會導緻後期特效處理過程和最終結果檔丢失了所有的動态範圍和額外資訊。 當過幾年新的顯示技術出現的時候， 你的圖像就會像 Kylee 父母的婚禮照片一樣留下遺憾。

使用輸出變換或者說顯示 LUT， 不管這個 LUT 是由色彩學家還是數字傳媒公司設計的創意 LUT， 甚至相機的預設 LUT， 比如 ARRI 的 709 LUT， 這不止是提供了一個基本的 “觀感”， 而且也保護和保留了工作色彩空間。 工作色彩空間可以提供完整的動态範圍， 為後續的色彩調整和後期特效， 以及最終的 NAM 和 GAM 歸檔素材提供便利。

此外， 在有第二相機的拍攝制作過程中， 可以用輸入變換來把圖像轉換到這個更大的工作色彩空間中。 大多數專業相機都公布他們的色彩空間定義， 而大多數專業的色彩分級軟體 (譯注: 調色軟體) 在工具集中都實作了這些色彩空間。 這可以将圖像轉換到一個統一的色彩空間中， 減少了對不同相機進行顔色配準所花費的時間。

學院色彩編碼系統 (Academy Color Encoding Standard， ACES) 是一個色彩管理體系， 嘗試将這些 “場景相關” 的色彩空間統一成一個更大的、标準的色彩空間。 它涵蓋了所有的可見顔色， 使用 16 位的半精度浮點來編碼 (32 檔的線性動态範圍， 譯注: 這是錯誤的， 16 位半精度浮點無法記錄完整的 32 檔線性動态範圍)， 使用 OpenEXR 容器格式進行存儲。 ACES 遠超過目前所有相機的能力。 相機廠商也釋出了輸入變換， 以便将相機原生的傳感器 RGB 圖像轉變到 ACES RGB 圖像。

來源: 學院派電影藝術與科學

學院色彩編碼系統 (ACES) 同樣也定義了一個标準的輸出變換， 以便在一個校準過的顯示器上觀看圖像， 而不用管是用什麼相機拍攝的。 由于主流的色彩分級和後期特效軟體都内置了這些 ACES 輸出變換， 因而這成為關鍵的一步， 為工作圖像提供一個一緻的觀感。

需要指出， 以前由于裝置性能不足， 這些輸出變換不得不以不可變 LUT 的形式輸出。 不過， 随着現代 GPU 的迅速發展， 系統不再需要 LUT， 而可以直接用純數學的方式來計算這些顔色變換。

把這些放一起怎麼樣?

與相機色彩空間類似， 螢幕色彩空間也是在 XYZ 空間中定義的。 但是， 由于受到絕對亮度和色域的限制， 目前沒有一款顯示器可以顯示 “場景相關” 的圖像中的所有資訊。 同時， 顯示器技術的發展， 使得你在螢幕上看到的效果每年都會提升。

顯示器接受一個信号， 發出對應的光。 顯示器标準， 以及标定過程， 允許我們發送一個信号， 得到一個确定的輸出光線和顔色。

當今大多數顯示器都采用紅綠藍 (RGB) 三原色的光線， 使用加色三原色系統， 當三原色混合起來， 或者說加在一起， 就顯示出白色。 “白點” 就是等量的三原色信号發送給顯示器所顯示的顔色。

顯示器标準存在的意義， 就是可以讓你從 1 号顯示器上拿一個圖像放到 2 号顯示器上顯示， 并且得到同樣的色彩。 換句話說， (顯示器标準) 決定了 (顯示器) 使用怎樣的紅綠藍三原色和白點。

這對于廣播電視以及網際網路來說是非常重要的。 在這些場合下， 圖像被同時發送給成千上萬的顯示器去顯示。 常見的顯示器标準包括 sRGB (網際網路， 移動裝置)， BT。 1886 (高清廣播電視)， Rec。 2020 (超高清以及高動态範圍廣播電視) 以及 P3 (數位相機和高動态範圍圖像)。

這些标準定義了三個主要的部分:

1. 三原色， 通常用 XYZ 坐标表示;

1. 白點， 通常用 XYZ 坐标表示;

1. 電-光傳遞函數 / 信号-亮度 (Y)

ITU-R BT。709 标準 (也就是 Rec。 709) 定義的三原色和白點

ITU-R BT。1886 标準定義的電光傳遞函數

為了調試顯示器以便盡可能地符合标準， 需要測量一些測試圖樣。 通常測試圖樣包括紅綠藍白的色塊， 以及用于測量電光傳遞函數的灰階。

隻有标定了顯示器， (對圖像的) 創意加工才是有意義的， 色彩變換也才是有用的。 一個有色彩管理的工作流必須包括這一步， 才能真正影響圖像保真度和一緻性。

自從我們第一次開始在公共場所和家庭中能顯示動态影像以來， 顯示技術已經走過了漫長的道路。 從影院中的投影系統到無線廣播， 再到自發光螢幕， 比如 OLED 甚至是 iPhone 的螢幕， 我們對圖像的顯示技術也在不斷發展。 色彩管理和正确的歸檔素材可保證電影滿足未來的高品質顯示需求。

總結

回到一開始的我父母的故事， 以及他們留下的婚禮照片， 很明顯， 與你周圍發生的事情相比， 及時處理那一刻的所有挑戰是多麼微不足道: 預算、時間、人員、技術。 但随着時間的推移， 那段經曆的遺留記錄隻會變得更加珍貴， 你會完全錯失令它保持良好狀态的機會。

與電影和電視一樣， 妥善保護這些精彩時刻的照片， 并保持當時的創作意圖， 是非常重要的。 它們可以在之後多年的回味和享受中保持良好的狀态。 有一些電視節目成為文化經典， 有一些是個人收藏， 多年來提供休閑娛樂。 無論什麼情況， 對許多電影制作人來說， 這些節目是他們個人生涯的高潮， 值得我們心懷敬意， 提供高品質的觀看體驗， 并使用高保真存檔。

在 Netflix， 我們不斷完善我們的流程和方法， 同時繼續依賴這麼多年的電影曆史和科學研究的廣泛集體智慧。 在創新技術與基礎設施團隊中， 我們始終在尋找新的創新方法， 以增加素材的實用性， 同時為創意人員和技術人員提供更多靈活性。 曆史和科學可以為我們提供許多資源， 而我們與生産社群建立的關系可能會給予最好的指導。

有一些電影随着時間消失了， 有些重制的電影也遇到整段場景缺失的情況。 而且我也不是唯一一個倒黴蛋， 家庭相冊的照片正在褪色， 這些照片的品質也被當時的技術所限制了。 而詳細周到的規劃和技術， 可以讓人們的經曆和故事， 在未來幾十年内得以妥善儲存。

————————————————

版權聲明：本文為CSDN部落客「LiveVideoStack_」的原創文章，遵循CC 4.0 BY-SA版權協定，轉載請附上原文出處連結及本聲明。

原文連結：

https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/88266160

「視訊雲技術」你最值得關注的音視訊技術公衆号，每周推送來自阿裡雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。