（映維網Nweon 2022年03月10日）計算機圖形學的一個長期目标是創造令人信服的逼真人臉複制品，而這通常需要依靠經驗豐富的美術微調大量空間變化的着色參數。作為虛拟人的一個重要組成要素，社群在精确模組化皮膚方面付出了巨大的努力。皮膚之是以具有挑戰性，不僅是因為它與光存在複雜的互動，同時因為人類的視覺系統已經進化出強大的面部感覺。
最近，學界對通過捕獲來估計皮膚特性的興趣有所增加，主要是集中于利用生物實體限制條件，從漫反射中反演皮膚的生物實體特性。在名為《Estimation of Spectral Biophysical Skin Properties from Captured RGB Albedo》的論文中，Meta，康奈爾大學和倫敦大學學院提出了一個全新的模型。其中，它可以基于生物實體的光譜皮膚反照率空間，并利用神經網絡從簡單的RGB反照率中準确恢複皮膚的主要成分和結構。
為了實作所述目标，模型以對人類皮膚主要特性的生物實體描述作為，并通過蒙特卡羅模拟将其轉化為反照率。所述過程由兩個步驟組成。首先，研究人員預先計算一個反照率空間，而它是由所有可能的皮膚參數組合産生的高維膚色張量。然後，學習從反照率到相關皮膚屬性的逆映射。
團隊描述了如何建立反照率空間、皮膚模型的細節和使用的資料，以及實際複雜性和表現力的平衡。
1. 皮膚模型：結構和光學特性
1.1 皮膚結構
團隊決定将模型限制為兩層，即表皮和真皮，因為類似的假設在過去已證明是足夠的，并且符合團隊的目的。表皮由兩部分組成：活表皮和角質層。後者是最外層，其特性（表面粗糙度和皮脂生成）會影響皮膚的鏡面反射。但鑒于其低吸收和相對較小的厚度，它對皮膚反照率的影響最小。另一方面，研究人員将真皮模組化為兩個子層（網狀真皮和乳頭狀真皮）的平均散射和吸收特性的單層。它模拟為半無限媒體，并忽略了皮下脂肪層。這是為了保持模型的通用性，重點是面部：真皮旁邊不僅可以是脂肪，同時可以是軟骨或肌肉等其他内部組織，這在很大程度上取決于被試的解剖位置和構成。另外，團隊發現包括真皮厚度對産生的漫反射的影響最小。
1.2. 吸收
根據衆所周知的多層組織光學模型，研究人員通過光譜吸收（µa）和散射（µs）系數來描述每一層的光學特性。每層µai的吸收是每層存在的各種生色團吸收µac的加性貢獻的結果。
本着生物實體方法的相同精神，團隊納入了黑色素的作用，并将血液中存在的血紅蛋白Vb整合到真皮中。
1.3. 散射
團隊将表皮和真皮視為均質媒體，後者是半無限。兩層的折射率均為1.4，這是由相應亞層（角質層（1.53）、活表皮（1.34）、乳頭狀真皮（1.39）和網狀真皮（1.395）的權重（按厚度）和得出。
2. 反照率生成的分層模型
為了計算皮膚斑塊的漫反射，研究人員首先嘗試使用基于Kubelka-Munk的分層模型。但它缺乏表現力，無法有力地恢複足夠廣泛的皮膚類型的參數。是以，研究人員決定轉向brute force Monte Carlo random walk。在這個階段，研究人員将重點放在通過皮膚結構不同層的堆疊來解決運輸問題。接下來，在2D中進行行走，假設每個層的方位平面對稱。表皮和真皮之間的界面僅考慮散射和吸收參數的變化，因為兩層的折射率測量結果基本相同。對于每個膚色，對可見光範圍内的波長進行光譜模拟，波長在380到780 nm之間。實驗發現，10 nm的行走足以産生穩定、無噪點的反照率。對于每個波長，發射一百萬個光子，模拟在兩層半無限媒體上的2D随機行走，以産生漫反射反照率（與渲染步驟相反，在渲染步驟中，利用uv映射反照率來進行真正的3D随機行走）。
研究人員将皮膚視為指數衰減的均質媒體。請注意，一旦光子穿過最外面的界面并擴散到組織中，即從反向表面法線周圍的朗伯分布中選擇初始方向，模拟就會開始。然後，通過繪制不同膚色的光譜反射率來驗證生物實體模型。
3. 反照率空間參數化和采樣
基于生物實體的反照率空間是通過改變表1所列範圍内的皮膚屬性建立。請注意，研究人員認為表皮厚度是至關重要的參數估計。考慮到面部的這個參數，以及黑色素濃度的不同值，這有助于獲得局部暗區（如痣），并泛化到任何皮膚類型。團隊同時允許黑色素和血紅蛋白超出測量的成人正常值，以便自動處理面部異常值。這個範圍的擴大對于氧合水準是合理的，因為它可以根據人的身體狀态變化很多。對于黑色素類型比率，在可用的測量資料中幾乎沒有一緻性。
是以，諸如膽紅素和β-胡蘿蔔素濃度等參數依然固定在人類皮膚測量的共同值。表皮厚度、黑色素類型比率和血紅蛋白類型比率均得到統一處理。
4.恢複皮膚屬性
團隊提出的生物實體模型定義了從皮膚參數到皮膚反照率的正向映射。對于逆過程，研究人員需要描述從皮膚反照率到皮膚參數的映射。這種映射的非雙射性質使得這項任務具有挑戰性，其中大量皮膚屬性的組合可以導緻相同的反照率。
值得注意的是，所述模型在光譜空間中運作，以計算對應于每個皮膚參數組合的反射率，但随後将此類反射率內建到RGB中以學習映射。這是一種設計選擇：它簡化了捕獲，并提供足夠好的恢複皮膚參數貼圖，以便a）重建原始反照率；b）執行合理的編輯。但在更高維空間中操作可以緩解同色異譜現象，這有助于更準确地分離皮膚參數，将模型泛化到任何光源，或對不同的曝光水準具有魯棒性等等。
4.1. Look-up Tensor（LUT）
團隊按照上述的采樣政策預先計算膚色的寬張量。為了估計給定輸入反照率的皮膚參數，搜尋反照率的每個紋理上的LUT，以找到使重建L2誤差最小化的最佳皮膚參數集。然後，操縱它們，并從LUT查詢新的相應反照率。這種方法能夠忠實地重建皮膚反照率，誤差接近于零。然而，由于從RGB到皮膚參數的映射不平滑，是以反轉參數貼圖存在噪點，并且有許多不連續性。反過來，對相鄰像素進行編輯操作可能會導緻重建反照率發生意外的突變。
4.2. 神經皮膚參數
估計為了克服LUT方法的局限性，研究人員選擇訓練一個編碼器-解碼器網絡來恢複平滑的皮膚參數圖。編碼器和解碼器都是四個完全連接配接層的MLP，兩個隐藏層各有70個神經元。編碼器将3D皮膚反照率映射為5D皮膚參數向量，而解碼器進行反向映射。
利用生物實體皮膚模型，團隊生成了一個由600k對5D皮膚參數向量和相應的3D反照率組成的資料集，分别分割80%和20%用于訓練和驗證。為了驗證，研究人員根據均勻分布對皮膚參數進行采樣。對于訓練，使用低差異序列，依靠準蒙特卡羅更好地覆寫皮膚參數。随後，按照上面描述的方案對兩者進行非線性重繪，并使用生物實體模型計算相應的反照率。
5.實作與結果
反照率空間是通過光譜計算生成，但輸入反照率是在RGB空間中。為了将多波段光譜值降采樣為RGB，團隊使用了現有的積分方法。考慮到漫反射反照率具有相當有限的色域和動态範圍，大多數顔色空間将可行（使用sRGB）。研究人員對光源進行了改變，以便與之前的研究進行直接比較。
團隊對Fitzpatrick量表涵蓋的幾種皮膚類型的皮膚參數進行估計和操作。在LUT方法中，在3.70GHz的英特爾至強W-2135中，使用最大張量（256k膚色）對張量進行force多線程（12）搜尋，2k×2k圖像的搜尋時間從2小時到5小時不等，4k×4k圖像的搜尋時間超過7小時。相反，學習到的映射具有記憶體消耗少和計算效率高的優點（在上述同一英特爾至強CPU上，2k×2k圖像的平均時間不到2秒）。
另外，為了空間正則化和性能，團隊犧牲了一點點重建正确性（在最終渲染中不可察覺）。在實驗比較中，一般的觀察結果是：團隊的重建誤差要低得多。
相關論文：Estimation of Spectral Biophysical Skin Properties from Captured RGB Albedo
總的來說，團隊的貢獻主要包括：
- 光譜皮膚反照率的表達空間受到真實皮膚實體特性的限制，與組織光學和醫學研究中報告的測量結果一緻。這樣的空間是通過一個複雜的人體皮膚生物實體模型所創造。
- 從皮膚反照率到其相關光譜生物實體皮膚特性的學習逆映射，其能夠從RGB捕獲的反照率恢複平滑、高分辨率的皮膚特性空間變化映射。
- 總之，這是一個以最小誤差忠實再現各種皮膚類型的反照率的架構，并且可以通過估計的生物實體特性以穩健的方式實作編輯功能。