Mertens T, Kautz J, Van Reeth F. Exposure fusion: A simple and practical alternative to high dynamic range photography[C]//Computer graphics forum. Oxford, UK: Blackwell Publishing Ltd, 2009, 28(1): 161-171.
摘要
本文提出了一種将包圍曝光的序列融合到高品質圖像中的技術，而無需先轉換為高動态範圍（HDR）。跳過基于實體的HDR組裝步驟可簡化采集管道。這避免了相機響應曲線校準，并且計算效率高。它還允許在序列中包括flash圖像。我們的技術在飽和度和對比度等簡單品質名額的指導下融合了多種曝光。以多分辨率方式完成此操作以解決這些頻率中的亮度變化。由此産生的圖像品質可與現有的色調映射運算符相媲美。
在本文中，我們建議跳過計算HDR的步驟，直接将多次曝光融合為高品質，低動态範圍的圖像，以備顯示（例如，映射有色調的圖檔）。方法背後的想法是，為多重曝光序列中的每個像素計算一個感覺品質度量，該度量編碼所需的品質，例如飽和度和對比度。根據我們的品質衡量标準，我們從序列中選擇“好”像素，然後将它們組合成最終結果。
多分辨率合成的有效性：
Quality Measures
由于曝光不足和曝光過度，堆棧中的許多圖像都包含平坦，無色的區域。這樣的區域應該沒有權重，而應保留包含鮮豔色彩和細節的有趣區域。
通過以下名額實作這一目标：
-
Contrast:
對每個圖像的灰階版本應用拉普拉斯濾波器，并獲得濾波器響應的絕對值。這樣就産生了一個簡單的對比名額 C C C。它傾向于為重要元素（例如邊緣和紋理）配置設定較高的權重。類似的措施用于擴充景深的多焦點融合。
-
Saturation:
随着照片的曝光時間延長，所得到的色彩變得不飽和，并最終被剪裁。飽和色是理想的，并且可以使圖像看起來生動。在每個像素處都包含一個飽和度 S S S，該飽和度 S S S為R，G和B通道内的标準偏差。
-
Well-exposedness:
僅檢視通道内的原始強度，就可以揭示像素的曝光程度。我們希望保持強度不接近0（曝光不足）或1（曝光過度）。我們使用高斯曲線： e x p ( − ( i − 0.5 ) 2 2 σ ) exp(-\frac{(i-0.5)^2}{2\sigma}) exp(−2σ(i−0.5)2), 其中 σ = 0.2 \sigma=0.2 σ=0.2, 根據強度與0.5的接近程度對每個強度進行權重。要考慮多個顔色通道，我們将高斯曲線分别應用于每個通道，并将結果相乘，得出量度 E E E。
Fusion
對于每個像素，我們使用乘法将來自不同度量的資訊組合成标量權重圖，類似于線性組合的權重項，我們可以使用幂函數來控制每個度量的影響：
W i j , k = ( C i j , k ) w C × ( S i j , k ) w S × ( E i j , k ) w E （ 1 ） W_{ij, k} = (C_{ij, k})^{w_C} \times (S_{ij, k})^{w_S} \times (E_{ij, k})^{w_E}\quad（1） Wij,k=(Cij,k)wC×(Sij,k)wS×(Eij,k)wE（1）
下标ij，k是指第k個圖像中的像素（i，j）。
我們使用我們根據品質測算得出的權重，将沿着每個像素計算權重平均值融合N張圖檔。為獲得一緻的結果，我們對N個權重圖的值進行歸一化，以使它們在每個像素（in，j）處加和為1：
W ^ i j , k = [ ∑ k ′ = 1 N W i j , k ′ ] − 1 W i j , k \hat{W}_{ij,k}=[ \sum_{k'=1}^{N}W_{ij,k'}]^{-1} W_{ij,k} W^ij,k=[k′=1∑NWij,k′]−1Wij,k
然後可以通過輸入圖像的權重混合獲得結果圖像R:
R i j = ∑ k = 1 N W ^ i j , k I i j , k R_{ij}=\sum_{k=1}^{N}\hat{W}_{ij,k}I_{ij,k} Rij=k=1∑NW^ij,kIij,k
以 I k I_k Ik表示序列中的第k個輸入圖像。不幸的是，僅應用以上方程式不能得出令人滿意的結果。無論權重變化如何，都會出現令人不安的接縫。發生這種情況是因為我們合并的圖像由于其不同的曝光時間而包含不同的絕對強度。通過使用高斯濾波器對權重圖進行平滑處理，可以避免急劇的權重圖轉換，但這會導緻邊緣周圍出現不希望的光暈，并且會在對象邊界上溢出資訊。使用雙邊過濾器進行邊緣感覺的平滑操作似乎是更好的選擇。但是，尚不清楚如何定義控制圖像，應該在哪裡停止平滑處理。原始灰階圖像作為對照圖像效果不佳。而且，很難找到好的用于雙邊過濾器的參數（即用于控制空間和強度影響的參數。
解決接縫問題，我們将圖像A的拉普拉斯金字塔分解中的第l級定義為 L { A } l L\{A\}^l L{A}l，對于圖像B的高斯金字塔定義為 G { B } l G \{B\} ^l G{B}l。然後，我們以類似于方程式的方式混合系數（不同金字塔等級的像素強度）:
L { R } i j l = ∑ k = 1 N G { W ^ } i j , k l L { I } i j , k l L\{R\}_{ij}^l = \sum_{k=1}^NG\{\hat{W}\}^l_{ij,k} L\{I\}^l_{ij,k} L{R}ijl=k=1∑NG{W^}ij,klL{I}ij,kl
是以，将得出的拉普拉斯金字塔的每個級别 l l l計算為級别 l l l的原始拉普拉斯分解的權重平均值，而權重圖的高斯金字塔的第l級别用作權重。最後，将金字塔 L { R } l L\{R\}^l L{R}l 折疊以獲得 R R R。
多分辨率混合在避免接縫方面非常有效，因為它混合了圖像特征而不是強度。由于混合等式（1）是在每個比例下分别計算的，是以權重圖中的尖銳過渡僅會影響原始圖像（例如邊緣）中出現的尖銳過渡。相反，原始圖像中的平坦區域将始終具有可忽略的系數幅度，是以，即使輸入之間的絕對強度可能不同，權重函數也可能不會受到急劇變化的影響。
在處理彩色圖像時，我們發現在每個彩色通道中分别進行曝光融合可以産生良好的效果。
實驗
我們所有的示例都是由JPG編碼的照片構成的，具有未知的伽瑪屈曲和相機響應曲線。在大多數示例中，使用了權重平均的品質度量（ w C = w S = w E = 1 w_C=w_S=w_E=1 wC=wS=wE=1），flash exposure 的圖像使用（ w C = 1 ， w S = w E = 0 w_C=1 ，w_S=w_E=0 wC=1，wS=wE=0）