ABSTRACT
增強局部色調映射(ELTM)是一種靈活的色調映射算子，旨在在各種測試場景中同時提供良好的全局和局部對比度。此外，它有直覺的和解耦的調優界面，為使用者提供了對最終圖像外觀的完全控制。ELTM基于細節/基礎層分解，線上性域和對數域壓縮基面。這為ELTM提供了魯棒性，而改進的色調壓縮函數提供了良好的局部對比度。使用不同内容、亮度和分辨率的圖像對結果進行了驗證。在本次測試中，ELTM在7個最先進的全局和本地色調映射算子中被認為是最佳的色調映射算子。甚至更好的整體效果，通過使用建議的亮度控制，以處理極端場景。堅固性和靈活性，以實作理想的外觀，使ELTM适用于使用者體驗是主要關注的應用程式，如消費電子産品的情況。
1. Introduction
在真實世界的場景中，亮度變化是非常高的，可以跨越10個數量級。人眼可以同時感覺約4個數量級的對比度，而目前的消費者相機隻能捕捉到這個動态範圍的有限部分，大約2-3個數量級。最近發明的傳感器能夠捕捉更多場景的動态範圍。這些傳感器通常基于不同的暴露傳感器元素，這允許它們同時捕捉場景的黑暗和明亮部分。普通的低動态範圍(LDR)相機也可以通過組合不同曝光設定[1]拍攝的多幅圖像來捕捉場景的高動态範圍(HDR)。
盡管上述方法能夠捕獲HDR場景，但在标準顯示裝置上複制這些圖像存在一個問題。目前的商用顯示器能夠以2個數量級的對比度再現圖像。現在已經有了動态範圍更大的原型顯示器，但這項技術仍在發展中。是以，要在普通的LDR顯示器上實作HDR圖像複制，需要使用色調映射操作符對圖像進行處理。
色調映射算子在盡可能保留圖像特征的同時降低了HDR圖像的對比度。根據空間适應性的不同，這些算子主要分為全局算子和局部算子兩大類。
全局操作符對所有圖像像素應用相同的映射函數，實作簡單，具有良好的全局對比度。不幸的是，全局操作符往往會隐瞞高亮區域的細節。
局部算子适應局部亮度值，對每個像素應用不同的映射，進而更好地儲存細節。随着複雜性的增加，局部操作符可能會産生一些不受歡迎的僞影:暈輪僞影、較差的全局對比度、超現實效果等。
在消費類電子産品中，不斷需要為使用者提供最佳的主觀圖像品質。雖然我們定義了一些主觀的圖像品質屬性，如全局/局部對比、細節強度、色彩，但對于哪種設定能産生最佳的主觀印象，人們有不同的看法。是以，為消費類電子産品設計的色調映射操作符能夠容易地調整所需的圖像外觀是非常重要的。這使得公司甚至最終使用者能夠調整色調映射設定，以實作其特定裝置的圖像品質目标。
本文提出的增強局部色調映射算子(ELTM)，最大限度地利用輸出的動态範圍，在保持和增強細節的同時，提供良好的全局對比度。是以，雖然ELTM在形式上屬于局部色調映射算子組，但它實際上位于全局和局部色調映射算子之間，利用了這兩種方法的最佳特征。ELTM還提供了一組解耦的調諧參數，為實作預期的輸出外觀提供了直覺的界面。
2. Related work
人類視覺系統(HVS)對光強變化具有高度的非線性響應。Weber-Fechner定律将這種特性定義為對數，這就是為什麼對數和基于幂的函數是全局色調映射中最常用的函數族之一。全局色調映射算子[2-6]對所有圖像像素應用相同的映射函數。盡管這些操作符具有非常高效的實作和健壯性，但它們在細節儲存方面表現不佳，因為它們傾向于抑制細節，特别是高亮的區域。
Reinhard et al.[5]建議對他們的全局色調映射算子進行擴充，使用局部而不是全局平均值，使算子适應圖像的不同部分。
有幾種算法[7-9]使用多級分解來提取細節，并在不同分辨率級别上應用動态範圍壓縮。Pattanaik et al.[7]提出使用高斯金字塔，但這種方法被證明會産生強暈影。為了避免暈影，Tumblin和Turk[8]提出了沖擊濾波和平滑，而不是簡單的高斯濾波。Li等人[9]使用對稱分析/重構濾波器組來達到同樣的目的。然而，這些方法有很高的記憶體需求，并且可能是計算密集型的。
Durand and Dorsey[10]提出了一種更簡單的方法，該方法也使用了細節/基面分解。他們利用邊緣感覺濾波過程，将對數域的輸入圖像分解為基本平面和細節平面。在他們的工作中，他們使用雙邊濾波器，但其他邊緣感覺濾波器[11-16]也可以使用。導頻濾波器[16]因其良好的暈抑制特性和計算簡單而在這些濾波器中脫穎而出。
基于Retinex理論的算法[17,18]也被用于局部色調映射。這些算法是基于中環繞自适應水準的計算，然後在色調映射過程中使用。近年來出現了幾種新的方法[19-24]。他們通常将色調映射過程分為預處理、全局自适應和基于Retinex的局部色調映射。為了防止圖像看起來過于平坦，這些算法通常在處理結束時使用直方圖拉伸，減少了對最終輸出亮度的控制。
對比度增強技術[25-29]也可用于動态範圍壓縮。Monobe等人[25]研究了利用局部鄰域提取并增強全局色調映射圖像的局部對比度的思想。HDR圖像再現還研究了局部直方圖均衡化[26]和局部伽馬校正[27,28]。在[29]中研究了基于顯著性保持的目标直方圖的計算，避免了過度增強。雖然這些算法可以産生視覺上令人滿意的結果，但它們缺乏對最終場景外觀和細節再現強度的靈活控制。
Fattal等人[30]引入了一種在梯度域中工作的色調映射算法。它通過減少輸入圖像的大梯度來減少輸出圖像的動态範圍。雖然這種方法可以提供非常令人滿意的結果，但根據期望的梯度計算輸出圖像值需要求解泊松方程，這是一個非常耗時的過程。Mantiuk et al.[31]提出了類似的方法。他們提出了感覺對比處理的整個架構，其中一個例子就是動态範圍縮小。這種方法的複雜度仍然很高，因為算法需要根據計算的對比度值估計輸出圖像的步驟。
顔色外觀模型也可用于動态範圍壓縮。也就是說，他們試圖預測HVS在各種光照條件下對某種刺激的反應。根據這些預測，可以對輸入圖像進行适當的修改，以減小動态範圍，并保留原始的細節和顔色。最受歡迎的彩色外觀型号是iCAM[32]和iCAM06[33]。
關于色調映射算子的知覺研究有很多[34,35]。他們普遍認為，全局色調映射算子比局部色調映射算子具有更強的對比度，但細節再現更差，特别是在高亮的區域。亮度也會被評估，但由于它通常是一個輸入參數，是以在比較之前，所有的操作符都被調優以在輸出處産生總體上相似的亮度。
本研究的主要目标是提供一種魯棒的色調映射算子，能夠很好地處理各種類型的場景。它應該産生良好的全局對比度，可與全局色調映射算子相媲美，但它也應該提供良好的細節複制，可與局部色調映射算子相媲美或更好。為了使它能夠在各種用例中使用，為ELTM配備一組解耦和直覺的調諧參數是非常重要的，這些參數為使用者提供了對場景外觀的關鍵方面的控制。
3. ELTM algorithm
3.1. System overview
HDR輻照度圖通常是通過不同曝光傳感器或使用不同曝光幀組合多個不同曝光來獲得的。通過在所有三個顔色通道上劃分每個通道的最大亮度，它被歸一化以适合範圍[0,1]。
雖然有些顔色外觀模型分别壓縮每個顔色通道[313,33]，但通常隻壓縮亮度通道，因為它包含關于亮度級别的消色差資訊。在此基礎上，計算壓縮亮度輸出RGB值，得到彩色圖像。相對亮度Y由ITU-R BT.709标準變換得到的線性相對R、G、B值:
ELTM算法框圖如圖1所示。利用邊緣感覺濾波器将輸入亮度(Y)在對數域分解為一個基底(BPlog)和兩個細節平面(DPClog,DPFlog)。基底平面的對比度在對數域使用簡單的線性縮放來調整。這個預處理步驟将基面适合于預定義的值範圍，為色調壓縮過程提供更好的控制。細節平面在對數域中分别增強群組合，産生一個輸出細節平面。将細節劃分為粗(DPClog)和細(DPFlog)，可以對輸出圖像的局部對比度和清晰度進行解耦控制。線上性域使用自适應的色調壓縮函數，該函數根據基平面統計資訊調整其形狀。壓縮基面(BPC)乘以細節面(DP)生成LDR亮度面(YC)。最後，在顔色恢複塊中計算輸出LDR RGB值。下面的小節将解釋每一個步驟。
3.2. Decomposition
通常的方法是在對數域中将輸入的亮度分解為基本平面和細節平面。即飽和點外的像素值與照射到相機傳感器上的光照量i呈線性相關關系。它是照度i(表示照射到物體上的光線)與反射系數r的乘積，反射系數r是由物體的反射特性引起的:
照明具有主導的低頻成分，在整個圖像中逐漸變化。反射率的變化是快速的圖像從像素到像素，調制照明和建立細節的圖像。是以，使用普通的濾波技術很難線上性域将反射和光照分離開來，因為它們具有乘法性。Stockham[36]建議使用标準的線性濾波方法可以得到這種分離，如果不使用I，則對其對數值進行濾波。對數函數将乘法現象轉換為加法現象，可以使用标準濾波方法進行分離:
其中Ylog是相對亮度Y的對數值，ε是一個很小的值，設定為10−6，用來避免Y值為零引起的奇點。
使用邊緣感覺濾波器将log亮度分解為基本平面(BPlog)和細節平面(DPClog, DPFlog)。雖然這裡可以使用一些更複雜的邊緣感覺圖像分解方法[11-16]，但它們的複雜性仍然很高，我們發現引導濾波器[16]為ELTM提供了最好的品質/複雜度權衡。它提供了更好的細節分解，比雙邊濾波器更不容易出現梯度反轉僞影，比其他邊緣感覺方法更快。它可以非常高效地計算，因為它隻需要4個框過濾函數，可以在O(N)時間内實作，其中N是圖像中的像素數，而不依賴于過濾器的大小。
ELTM将輸入圖像分解為兩個細節平面，而不是通常的一個細節平面。第一個細節平面包含精細細節(DPFlog)，使用一個小半徑的過濾器獲得。精細的細節決定了圖像的微對比度和銳度。第二個細節平面包含粗細節(DPClog)，使用一個大半徑的過濾器獲得。粗細節包含較大的特征和光照變化資訊，它們主要負責局部對比度。這種分離為ELTM提供了對細節增強的額外控制。例如，局部對比度可以通過放大粗細節來提高，同時通過保持小增益的細節來避免過銳化和噪聲放大。
在分解過程中，細節的最大振幅可限制在一個預定義值，精細細節為λF，粗細節為λC。為避免資訊丢失，在細節限制後對基礎層進行重新計算。這個限制的值定義了允許從輸入傳遞到細節層的詳細資訊的數量。細節限制的動機是為了控制由脈沖噪聲、死像素、鏡面細節或梯度反轉引起的突然轉換。此剪輯為算法調優提供了額外的靈活性。可以通過将每個過濾器的細節限制設定為零來繞過它們。如果所有的濾波器都被忽略，則算子将被簡化為全局色調映射。分解過程的步驟如下:
其中rS、εS、rL、εL分别為小邊緣感覺濾波器的半徑和大邊緣感覺濾波器的正則化參數。在此實作中對于EAF的操作采用了[16]引導濾波器。BPFlog是用小導濾波器對輸入對數亮度進行處理後得到的中間基面。函數clip将輸入值飽和到[-limit, limit]之外，其他值保持不變。
設定小導濾波器的半徑(rS)為3，計算大導濾波器的半徑(rL)為最小值(高度、寬度)的10%。将每個濾波器的正則化參數(εS， εL)設定為0.1。精細細節限制λF設定為0.02，同時切割脈沖噪聲和鏡面細節。粗細節限值λC設得足夠高，為1，不限制任何粗細節。這些參數在預設ELTM配置中使用。
3.3. Logarithm domain contrast reduction
通常的對比度降低方法，如Tumblin和Turk[8]所建議的，以及Durand和Dorsey[10]所使用的，是簡單地用常數因子在對數域中縮放基平面。這等價于線上性域中應用幂函數。如果色調壓縮僅通過在對數域中縮放來完成，更大的壓縮比可能導緻嚴重的全局對比度降低，産生平面圖像。
另一方面，Reinhard et al.[5]提出移動對數亮度值來調整對數均值，并線上性域應用實際的對比度降低。這種方法保留了整體對比，但通常犧牲了高亮區域的細節。
為了在不丢失高亮區域細節的情況下獲得良好的全局對比度，ELTM采用了這兩種方法的結合。色調壓縮部分在對數域中完成，部分線上性域中完成。對數域的對比度降低用于将廣泛變化的輸入圖像的動态範圍限制在預定義的範圍内，而線性域的色調壓縮則調整色調映射圖像的最終外觀。從某種意義上說，這一步很重要，因為它使輸出圖像對于各種各樣的輸入圖像具有一緻的行為。
由于曝光設定不好，或者從絕對亮度到相對亮度過渡不好，可能會出現最大相對亮度值線上性域小于1，在對數域小于0的情況。這導緻輸出動态範圍的使用不足。是以，對數域處理對基面直方圖進行平移和縮放，拟合預定目标範圍(τR):
其中，α為基準平面比例比，β為對數域中的基準平面偏移量。BP的對數是初始對比度調整後對數域中的基面。
移位的目的是設定輸出圖像的白點。這是通過将最高對數亮度值設定為0來實作的，以補償最終的曝光誤差。縮放確定log直方圖符合預定義的對比度，進而為最終線上性域的壓縮圖像做好準備。
為了避免異常值，色調壓縮步驟中使用的最小值和最大值使用0.01百分位和99.9百分位計算，而不是簡單的最小值和最大值。對所有的輸入圖像，将基層壓縮的對數域τR目标範圍設定為5。
3.4. Detail enhancement
通過将每個細節平面與使用者指定的增益因子相乘，可以在對數域中增強細節平面，進而提供空間上統一的細節處理。然而，在某些情況下，需要進行空間變化的細節處理。Bennet和McMillan[37]認為，由于圖像細節形狀的不确定性高，噪聲的影響大，是以應該抑制圖像中屬于暗區的細節。另一方面，Mantiuk等人[4]認為顯示器在亮度值小的情況下對比度再現能力較差，為了達到最好的再現效果，需要在暗圖像區域增加對比度。
在本工作中，假設噪聲在圖像處理管道的其他階段被處理。是以，在黑暗區域的額外細節增強被建議作為一個空間變化細節處理的例子。請注意，這種空間變化的細節處理在色調映射算法中很難控制，因為基平面沒有被限制在預定義的範圍内。在對數域範圍壓縮後，ELTM中有限的基面範圍使得可以很容易地建立一個空間變化的增益映射。即，對數域範圍壓縮将基平面值拟合在範圍[−5,0]内，最暗的像素占據該範圍的下半部分。如果将此基礎圖與−0.4相乘，它将提供可變細節增益圖，在最暗的區域最大增益為2，在更大的亮度值時，增益會下降到0。空間變化的最大附加細節增益被設定為2，因為較大的值會誇大細節。通過将剪切增益修正到最小值1，可以避免明亮區域的細節抑制。可變增益映射可以用來增強目标區域的細節:
其中，SG為空間變化的增益圖，而ηF和ηC分别為細細節和粗細節的空間均勻增益因子。DP ' Flog和DP ' Clog是調整後的細部平面和粗部平面。不同的空間變化細節增強地圖可以很容易地建立，呈現的地圖隻是一個例子。
在ELTM的預設配置中，精細細節增益(ηF)設定為1，粗細節增益(ηC)設定為1.5，以提高局部對比度，同時避免圖像過度銳化和噪聲放大。此外，在預設的ELTM配置中沒有使用空間變化的增益映射。
基平面縮放和細節修改後，應用基2指數函數将基平面和細節轉移回線性域:
其中BP和DP是經過對數域處理後的線性域的基面和細節面。
3.5. Tone compression
對數域的處理将基平面直方圖置于預定義的範圍内，使得以後的步驟對輸入的動态範圍不那麼敏感。最終的動态範圍縮小和對比度增強可以通過應用一些衆所周知的全局色調壓縮函數來實作，如伽馬、對數或有理函數色調壓縮[2]。由于對數緊張度壓縮符合韋伯-費希納定律，即僅有顯著差異，是以壓縮基面(BPC)可由下式計算:
其中壓縮強度由參數p控制。
在對數域處理後直接使用色調壓縮函數可以顯著降低全局對比度，并導緻輸出圖像出現霧狀。為了增加對比度，可以使用直方圖拉伸。但是，如果在色調壓縮後使用[12,31]，它會恢複全局對比度，但也會降低動态範圍壓縮效果，使輸出圖像變暗。是以，在色調映射算法的最後，通過直方圖拉伸難以提供一緻的輸出和亮度控制。為了充分利用色調壓縮曲線，ELTM使用調至基面統計的色調壓縮函數。這與對數域處理之後，在應用原始色調壓縮曲線之前進行直方圖拉伸是一樣的(8)。這個過程将確定良好的全局對比度和輸出動态範圍的充分利用，同時保持輸出亮度的一緻性控制能力。雖然通過調整輸入像素範圍改善了全局對比度，但基平面的高亮區域和陰影區域分别被映射為1和0，導緻這些區域的細節被剪切。這意味着這些地區的局部對比将受到影響。為了保留這些敏感區域的細節，我們建議對色調壓縮函數的輸出範圍進行限制，在圖像的明暗區域為細節留出足夠的淨空和留足空間，進而減少裁剪。ELTM改進後的色調壓縮函數可以寫成:
其中，對數域處理後的最小和最大基平面值，BPmin和BPmax根據基平面統計計算，作為輸入基平面值的0.1百分位和99.9百分位。輸出基面最小值和最大值BPCmin和BPCmax為調優參數。它們的預設值設定為0.1和0.9。
不同參數p值下的修改後的色調壓縮函數族如圖2所示。
提出的架構不局限于函數(8)，可以與其他全局色調壓縮函數結合使用。雖然主要的改進是在色調壓縮函數的修改，但值得一提的是，如果不進行對數域的基面調整，将很難控制算法，并為各種場景提供一緻的輸出品質。有些色調映射方法使用對數域[4,10,12]或線性域[3,4,6,8]的色調壓縮。攝影色調映射[5]使用對數和線性域色調壓縮的結合。雖然該算子隻使用對數域的移位和不同于ELTM的色調壓縮函數，但在各種場景的測試中，它表現得非常好。這表明對數域和線性域的局部色調壓縮方法能夠持續産生良好的輸出。
将細節平面(DP)與壓縮亮度基面(BPC)簡單乘法還原細節，得到輸出亮度平面(YC):
3.6. Color restoration
最終的色調映射輸出圖像由輸入的線性RGB值和輸出的壓縮亮度，使用由Tumblin和Turk[8]引入的可變飽和度參數s對Schlick的[3]公式進行修改，得到:
參數γ表示正确顯示輸出圖像所需的伽馬校正因子。伽瑪校正因子的值取決于顯示特性，對于sRGB值，它是2.2。伽馬校正已經包含在YC值中。如果考慮gamma校正前的輸出RGB值，可以注意到，對于Schlick[3]建議的參數s=1，将保留RGB比率，進而保留顔色色調。
4. ELTM tuning
ELTM的主要優勢之一是易于調整所需的主觀外觀。有幾個解耦的參數可以用來設定輸出圖像的理想外觀，如表1所示，以及它們的預設值。
圖3為ELTM的調優能力。它示範了每次更改一個調優參數的外觀效果。由于飽和修正是使用标準程式進行調整的，是以不包括在本示範中。在圖3中，除了示範調優的參數外，對所有圖像使用相同的參數集，該參數值在每個圖像下面指定。為了表示，細節限制(λF， λC)和細節增益(ηF， ηC)均設為1，其他參數均設為預設值，如表1所示。
參數的預設值是在調優過程中生成的，并為大範圍的輸入HDR圖像提供一緻的良好輸出。在調優過程中使用了來自測試集的前15個圖像。調優是根據作者的主觀喜好進行的，可以很容易地實作不同的調優。
雖然許多色調映射操作符提供類似的控制參數，但沒有色調映射操作符提供這種解耦調優。現有算子中所提供的參數往往同時影響圖像品質的幾個方面，使得調優過程非常困難。例如，Durand和Dorsey的色調映射[10]提供了對細節的控制，但很難在不犧牲局部對比度的情況下調整亮度。梯度算子[29,37]通過減小輸入圖像中的大梯度，實作動态範圍壓縮，進而在調整輸出圖像亮度的同時改變細節級别。全局操作符，如攝影色調再現[5]和顯示自适應色調映射[4]，對輸出亮度有更好的控制，但它通常以亮度和暗區局部對比度為代價，而這不能被顯式地調整。調優的靈活性和易用性是色調映射算法非常重要的特性，特别是當它被用于具有非常不同的硬體設定的商業産品時，如手機相機。
5. ELTM brightness control
雖然ELTM為各種場景提供了良好的映射，但注意到在某些情況下，它會産生太亮或太暗的輸出。如果輸入場景有非常低調或高調的直方圖，這通常會發生。即，由于所有場景的色調壓縮參數p是相同的，是以線性域内固定的色調壓縮曲線不可能滿足所有這些極值。為了提供額外的魯棒性，提出了調諧參數p的校正因子。對數基面BP ' log的平均值是對場景鍵[5]很好的近似，是以用它來校正壓縮參數。由于參數p控制對數色調壓縮函數的斜率，我們啟發式地發現幂函數提供了統一的校正。校正後的色調壓縮參數p '可計算為:
參數m定義了最佳平均對數亮度，如果基平面的平均對數值等于m，則不進行校正。參數k定義了偏離最佳平均值的修正強度。通過分析ELTM在大型圖像資料庫[42]上的色調壓縮性能，發現k值為1,m值為−2.7，在各種場景下的效果最好。需要注意的是，可以通過改變初始參數p來調整整體亮度強度。如果增加或減少色調壓縮參數的預設值，所有序列将呈現為暗/亮。所提出的控制效果如圖4所示。
6. Results
7. Conclusion
本文提出了一種局部色調映射算法ELTM。雖然ELTM是基于成熟的基礎和技術，但它以一種新穎的方式将它們結合在一起，為各種類型的HDR場景帶來一貫良好的效果。它産生的圖像具有良好的全局和局部對比度，保留了突出的區域和陰影的細節，這多虧了對色調壓縮函數的建議修改。提出的架構在某種意義上是通用的，其他色調壓縮功能也可以使用。在對數域和線性域之間的分割色調壓縮過程，在使用預設參數設定的情況下，能夠穩健地運作各種動态範圍的場景。
ELTM的設計目标是最大限度地提供一組解耦的調諧參數，使使用者能夠修改場景外觀的每個方面。粗和細細節平面，以及最大幅度裁剪能力，允許更好地控制局部對比度和圖像清晰度。亮度控制在ELTM中引入了額外的魯棒性，可以适應非常高調和低調的場景，而不需要改變亮度調節的靈活性和能力。
目前的開發工作集中在ELTM算法的時間控制上，這将使其能夠在HDR視訊用例中使用。為了實作實時操作，還研究了性能優化。