Li Z, Zheng X, Bhanu B, et al. Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky[C]// Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky. 2020 25th International Conference on Pattern Recognition (ICPR). IEEE: 8267-8274.
包含天空的室外圖像的快速區域自适應去霧和增強（分割+亮度翻轉顔色恢複+局部Gamma）
摘要
惡劣的天氣、陰霾和霧會嚴重降低戶外成像系統的性能。由于大範圍的景深，大多數圖像去霧或增強方法在應用于現實世界的朦胧室外場景時，尤其是有天空的場景時，都會出現顔色失真和光暈僞影。為了有效地恢複遠處和附近區域的細節并保持天空的色彩保真度，在本研究中，我們提出了一種基于可替換插件分割子產品和區域自适應處理的新型圖像去霧和增強方法。首先，将灰色天空、純白色物體和其他部分的區域分開。其次，将具有顔色恢複 (MSRCR) 和基于區域比率的自适應 Gamma 校正的亮度反轉多尺度 Retinex 應用于非灰色和非白色區域。最後，通過使用均值濾波區域掩碼無縫拼接增強區域。大量實驗表明，所提出的方法不僅在可見性和色彩保真度方面都優于幾種最先進的去霧方法，而且還提供了具有更少僞影和光暈的增強輸出，尤其是在天空區域。
1. 介紹
惡劣的天氣——陰霾、雨、霧、雪和沙塵暴——會由于低光能見度條件而降低戶外成像和監測系統的性能 [1]。 由于光的散射和大氣顆粒物的吸收 [2]，在這些天氣條件下捕獲的圖像會顯着退化。 為了在不更換相機或使用額外裝置的情況下提高輸入圖像的品質，圖像去霧和增強技術可用于大多數易受惡劣天氣影響的現有戶外成像系統。
為了消除霧霾的影響，人們提出了各種圖像去霧和增強方法來恢複圖像中的顔色、邊緣和細節。圖 1 顯示了通過不同方法去霧的室外圖像的示例。為了同時實作動态範圍壓縮、顔色一緻性和亮度再現，Jobson [4] 将他們的單尺度 Retinex 擴充為具有顔色恢複 (MSRCR) 的多尺度 Retinex (MSR)，這對于增強 8 位彩色圖像特别有用照明缺陷。 Wang[5]利用MSRCR算法提出了一種基于實體模型和圖像亮度分量的單幅圖像去霧方法；然而，一些戶外場景的圖像顔色失真。值得注意的是，Galdran [6] 從理論上證明了基于 Retinex 的對反轉強度的增強解決了圖像去霧問題。 Berman [7] 通過識别 RGB 空間中的霧霾線，為圖像去霧 (NLD) 引入了非局部先驗。但是，當大氣光比場景亮得多時，這種方法可能會失敗，這在室外朦胧的場景中很常見。為了自然地還原帶有天空的圖像，Chen [8] 通過設計多個濾波器（F-DCP）和先驗場景假設，提出了一種基于改進的暗通道先驗（DCP）的保色單圖像去霧方法。 Zhu [9] 提出了一種基于顔色衰減先驗（CAP）和深度圖監督學習的快速圖像去霧方法。 Cai [10] 建構了一個可訓練的端到端深度神經網絡 (DNN) DehazeNet 來估計傳輸圖，然後使用大氣散射模型恢複無霧圖像。 Yang [11] 開發了一個近端 DehazeNet（PDN），将霧霾成像模型限制和圖像先驗學習整合到一個網絡中。 Liu [12] 提出了一種用于單圖像去霧的端到端可訓練 GridDehazeNet (GDN)，它不依賴于大氣散射模型。
與室内圖像相比，室外場景的圖像通常具有更大的景深 (DOF)，從無限的天空跨越到附近的物體。 近距離和遠距離攝影的圖像先驗模型有很大不同。 現有的圖像去霧方法，包括 Retinex [3-5, 13]、先驗資訊 [6-7] 和學習 [8-11] 方法，通過去霧在一定程度上提高了可見性。 然而，這些方法主要存在顔色失真、無霧區域的過度增強或天空區域的光暈僞影 [1]，如圖 1 所示。
為了自然地去霧和增強遠處和附近的區域并保留室外圖像中天空區域的顔色，我們提出了一種**區域自适應圖像去霧和增強（RADE）**方法。以前的工作和我們的工作之間的差異列在表 I 中。提出了亮度反轉 MSRCR (Lu-inv MSRCR) 增強和基于區域比的自适應 Gamma 校正。此外，研究了各種區域分割方法并采用了無縫拼接技術。值得注意的是，所提出的方法在對天空的室外場景進行去霧方面是有效的，并且不需要訓練資料或先驗知識。我們的主要貢獻如下：（1）我們引入了一個可替換的插件區域分割子產品，并讨論了分割灰色天空、白色物體和其他區域的典型分割方法； (2) 我們提出了亮度反轉 MSRCR 作為傳統 MSRCR 的保色和快速版本； (3) 我們提出了一種基于區域比率的局部伽瑪變換，作為進一步的自适應增強和色彩校正。
2 技術方法
由于遠距和短距成像之間的差異，遠處天空和被灰色霧霾覆寫的遠處物體的退化先驗與場景中的附近物體不同。 是以，對于具有各種深度物體的室外圖像，單一的去霧或增強技術幾乎無法獲得滿意的輸出。 由于霧霾的存在，直接強度增強可能會在遠處引入光暈僞影。 過度去霧往往會導緻整體變暗，尤其是對于場景中附近的物體。 此外，單獨應用這些技術中的任何一種都容易導緻遠處天空或附近物體的顔色失真。
考慮到室外圖像上出現的區域的多樣性，所提出的方法将選擇性技術應用于三種類型的區域：(1) 白色或近似白色物體，(2) 灰色天空和霧霾覆寫的遠處區域，(3) 和其它地方。正如包括 MSRCR 在内的許多圖像去霧或增強算法所示，對圖像中白色或極淺顔色區域的過度處理很容易導緻僞影和光暈，這也是引入顔色失真的關鍵因素 [19]。然而，白色或接近白色的物體很少包含輸入圖像記錄的室外場景的細節或資訊；是以，它們不需要過度的增強或處理。此外，對于顔色成分很少的灰色區域，這通常與天空（位于很遠的距離）或包含一些細節（如建築物或樹木）的陰霾覆寫區域有關，對比度受限的自适應直方圖均衡化（CLAHE）[20 ] 在大多數情況下産生令人滿意的輸出。這是我們将兩類地區與其他地區分開的動機。
圖 2 描述了所提出的技術方法的主要流程圖。 我們指定了五個主要過程：(1) Lu-inv MSRCR，(2) 區域分割，(3) 灰色區域的 CLAHE，(4) 基于區域比率的自适應 Gamma 校正，以及 (5) 無縫拼接。 這些步驟的中間産品的示例也顯示在圖 2 中。
A. 區域分割
幾種方法可用于圖像分割。 我們設計了一個可替換的插件分割子產品，并測試了基于門檻值、K-means 聚類 [21]、DCP 中的傳輸圖和語義分割 DNN [22] 的四種典型方法。 盡管大多數分割方法是針對對象識别或前景/背景選擇等任務提出的，但它們可以通過在輸出上設定門檻值來區分白色、灰色和其他區域。 值得注意的是，為了有效和高效的分割，我們在這項工作中使用的門檻值技術也可以直接應用于輸入模糊圖像的亮度分量，其中包含與 DOF 相關的光強度的最多資訊。
首先，在預進行中，輸入圖像的亮度 Y 被一個中值濾波器去噪。 此外，根據Y的值，輸入圖像的像素被兩個門檻值t1和t2分為三類：1為白色或近白色物體，2為灰色區域（包括天空區域），3為其他 區域，如（1）。 對于灰階圖像，像素值 0 表示純黑色，1 表示純白色。 是以，場景中的白色或極淺色物體與亮度值非常接近1的像素有關。 同樣，由于霧霾和霧氣，無限遠處的天空和被霧霾覆寫的一些遠端物體看起來是灰色的 或灰白色。 是以，這些像素的通道 Y 強度接近 1，但小于白色或近白色物體中像素的強度。
其中 (x,y) 是像素坐标； Y是灰階亮度圖像； L為區域掩碼所訓示的标簽圖像； t1 和 t2 是介于 0 和 1 之間的門檻值，用于将純白色和灰色區域與其他區域分開。 在我們的實驗中，我們設定 t1 = 0.72 和 t2 = 0.97 作為經驗值。 是以，值大于 0.97 的像素被認為是“白色或接近白色的物體”，值在 0.72 和 0.97 之間的像素是“灰色區域”，值小于 0.72 的像素是“其他區域”。
對于除語義分割 DNN 模型之外的其他分割方法，門檻值設定可以直接應用于其輸出。對于DNNs，因為大部分都标注了天空區域，是以我們隻需要通過門檻值t2=0.97來區分純白色區域，并結合除标注天空之外的其他區域。圖 3 顯示了不同分割結果和相應去霧圖像的示例。對于大多數圖像，這些方法可以有效區分三種類型的區域。盡管它們産生的區域蒙版大不相同，但去霧後的輸出顯示出細微的差別（參見圖 3 最後一行圖像頂部的明亮白色天空區域）。原因是白色和灰色區域不會被 RADE 過度增強以保持顔色。結果，這兩種類型的區域在去霧後保持接近的灰階。此外，RADE 應用淡入淡出算法進行無縫拼接，進而平滑區域之間的邊界。這些分割方法的定量比較在第四節中讨論。
B. 亮度反轉 MSRCR
為了改善色彩再現并提供動态範圍壓縮，MSRCR 被提議作為 MSR 算法的擴充，具有色彩恢複因子 Ci(x,y) [4]。
R M S R C R i = C i ⋅ R M S R i R_{M S R C R i}=C_{i} \cdot R_{M S R i} RMSRCRi=Ci⋅RMSRi
其中 RMSRi 和 RMSRCRi 分别是由 MSR 和 MSRCR 算法增強的輸出圖像的對數； Ci表示第i個通道的顔色恢複系數，表示為（3）。
C i = β ln ( a I i / ∑ c = 1 N I c ) C_{i}=\beta \ln \left(a I_{i} / \sum_{c=1}^{N} I_{c}\right) Ci=βln(aIi/c=1∑NIc)
其中 Ii 是輸入圖像 I 的第 i 個顔色分量； N=3代表RGB顔色通道； a 是增益常數，β 是強度的非線性控制因子。
通過引入因子 Ci 來調整三色通道的比例，MSRCR 算法調整輸入圖像的局部對比度并産生與 MSR 相比具有更好可視化效果的輸出 [4]。 然而，MSRCR 被提議用于一般圖像增強任務，而不是用于圖像去霧。 是以，當 MSRCR 應用于朦胧的室外圖像時，光暈、僞影和顔色失真更有可能被引入到恢複的輸出中 [19]。
在最近的一項研究中，Galdran [6] 證明了 (4)，這意味着如果我們通過強度反轉操作将它們的輸入和輸出轉換為 (4)，則基于 Retinex 的方法可以直接應用于圖像去霧：
Dehazing ( I ) = 1 − Retinex ( 1 − I ) \text { Dehazing }(I)=1-\operatorname{Retinex}(1-I) Dehazing (I)=1−Retinex(1−I)
其中 I 是強度歸一化為 [0, 1] 的模糊輸入圖像。 Retinex 是指任何基于 Retinex 的方法，例如 MSRCR。 作為參考，當 Retinex 被指定為 MSRCR 時，我們在我們的實驗中将（4）的輸出記錄為“Invert MSRCR”。
圖 1(a) 顯示了一個典型的朦胧室外圖像：以天空為背景的附近和遠處的建築物。 MSRCR 方法增強了模糊輸入的邊緣和對比度，但會導緻顔色失真：輸出太暗，黃色過多（圖 1（h））。 反轉 MSRCR 使圖像過亮，以至于遠處的物體被不自然的白光淹沒（圖 1（i））。 大量實驗表明，MSRCR 和 Invert MSRCR 的輸出中普遍存在顔色失真，尤其是在 DOF 跳躍的區域（例如天空），主要是因為 MSRCR 中使用的初始 MSR [4] 分别增強了 RGB 顔色通道的強度，這已經 導緻顔色失真的原因，幾乎無法通過以下顔色恢複過程進行校正。
為了在 MSRCR 去霧後保持顔色保真度，在我們的工作中，我們提出了 Lu-inv MSRCR，它在圖 2 中的黃色塊中有詳細說明。首先，将輸入圖像從 RGB 值轉換為 YCbCr 顔色空間以獲得 亮度分量 Y。第二，如 (5) 所述，Invert_MSR 僅應用于 Y。 第三，輸出 Y 被歸一化并與輸入圖像的色度 Cb 和 Cr 組合以重新轉換為 RGB 值。 最後，我們直接在 MSR 增強圖像 JMSR 上使用 MSRCR 的顔色恢複過程，而不是它的對數 RMSR。 在（6）中，我們基于（2）推導出MSR（JMSRi）和MSRCR（JMSRCRi）的輸出之間的關系。
其中 i 表示 RGB 的第 i 個顔色通道。
C. 灰色區域的 CLAHE
與純白色或近白色物體不同，灰色區域可能包含濃霧和濃霧背後的一些細節（例如遠處的建築物或樹木）。 由于大的景深跨度，将大多數傳統的圖像去霧或增強方法直接應用于具有此類灰色區域的整個室外圖像可能會導緻輸出的顔色偏移、光暈或整體變暗。 由于這些區域非常接近灰色和白色，幾乎沒有任何顔色資訊，是以可以通過 CLAHE 有效地增強它們。
圖 4 顯示了遠處建築物在某些局部區域（圖 4（a））被濃霧覆寫的示例，該區域被标記為區域遮罩中的天空（圖 4（b））。 無花果。 圖4©和4(d)表明MSRCR方法普遍使圖像變暗并在天空區域帶來光暈，而Invert MSRCR方法使天空過度明亮，使遠處的建築物變得模糊。 然而，所提出的方法 RADE 為遠處和附近的建築物産生了更好的輸出。
D. 基于區域比的自适應 Gamma 校正
Gamma 校正是一種常用的非線性變換，通過擴充或壓縮局部灰階範圍來增強圖像中太暗或太亮的區域 [16]。 然而，對于包含天空區域或白色物體的室外圖像，應用固定參數的Gamma變換很可能導緻校正過度或不足：不同比例的灰白區域會通過基于Retinex的增強導緻不同程度的顔色失真 算法，包括 MSRCR。 為了動态調整模糊室外圖像的變換曲線參數，我們提出了一種基于灰色區域（标記為 2）和白色物體（标記為 1）與總圖像大小的區域比的自适應 Gamma 校正。
2.1節中标記為1、2、3的像素總數分别為count1、count2、count3，分别代表白色、灰色等區域的像素數。 灰白色區域（高強度像素）的比例由（7）定義：
其中ratio是0到1之間的一個值，表示高強度像素（包括灰白區域）的比例，m和n是圖像的寬度和高度。
當我們應用伽馬變換時，顔色失真的風險越高，比率越高（即灰色和白色區域越大）。 此外，這兩種類型的區域将在區域拼接的最後一步被 CLAHE 的輸出替換。 是以，不需要對這些區域進行校正。 相反，比率越低（即“其他區域”越大），Lu-inv MSRCR 會使圖像更亮，并且需要通過 Gamma 變換使圖像變暗。
如圖 1 所示，由 Invert MSRCR 處理的輸出經常遭受明亮區域的低對比度和朦胧的室外圖像的整體增亮。 基于 Invert MSR，2.2 節中提出的 Lu-inv MSRCR 産生保色輸出，但圖像仍然過亮。 為了進一步增強 Lu-inv MSRCR 産生的輸出的對比度，我們通過（8）定義基于區域比的自适應 Gamma 校正如下：
G ( J ) = J γ = J 1 + α ( 1 − ratio ) , 0 < α < 1 G(J)=J^{\gamma}=J^{1+\alpha(1-\text { ratio })}, \quad 0<\alpha<1 G(J)=Jγ=J1+α(1− ratio ),0<α<1
其中 γ 是 Gamma 系數，G 和 J 分别是輸出強度和輸入強度，均已歸一化為 [0, 1]； 該比率可以使用（7）計算； a 是一個系數，其值介于 0 和 1 之間。對于大多數常見的自然圖像，我們建議設定 a=0.8。
ratio 的值直接決定了 Gamma 曲線的形狀和輸出的視覺效果。 如果ratio = 1，對應于γ = 1，則圖像充滿灰霧或白色物體，應使用2.3節中介紹的CLAHE進行增強，而不是自适應Gamma校正。 如果 ratio = 0，這對應于 γ 的最大值，則圖像被 Lu-inv MSRCR 過亮。 然後應用 Gamma 校正使圖像變暗并增強明亮區域的對比度。
E. 無縫拼接
我們沒有直接拼接增強區域，而是使用淡入淡出技術進行無縫拼接。 均值濾波區域掩碼用于添權重重以組合兩種類型的區域。 其他區域 Jother 和灰色區域 Jgray 的增強圖像的拼接輸出圖像 Jout 可以使用（9）計算如下：
其中*是卷積算子； Fk×k表示一個大小為k×k的均值濾波器的核，Mgray指的是（1）中标記為2的灰色區域的掩碼，可由式（10）定義：
其中 (x,y)、t1 和 t2 與 (1) 中的相同。
對白色區域和其他區域的拼接進行類似的操作。
三、 實驗結果
（待補充……）
A. 評估标準
由于我們實驗中使用的圖像都是真實世界的（不是合成的模糊圖像），沒有相應的地面真實無霧圖像，是以計算了三個常用的圖像品質非參考名額進行評估 [23]。 這些标準是由 (11)–(14) 定義的平均梯度 (AG)、對比度 (σ2)、資訊熵 (IE) 和顔色相關性 (COR)，如下所示。
A G = 1 ( m − 1 ) × ( n − 1 ) ∑ x = 1 m − 1 ∑ y = 1 n − 1 1 2 ( Δ I x 2 + Δ I y 2 ) A G=\frac{1}{(m-1) \times(n-1)} \sum_{x=1}^{m-1} \sum_{y=1}^{n-1} \sqrt{\frac{1}{2}\left(\Delta I_{x}{ }^{2}+\Delta I_{y}{ }^{2}\right)} AG=(m−1)×(n−1)1x=1∑m−1y=1∑n−121(ΔIx2+ΔIy2)
σ 2 = 1 m × n ∑ x = 1 m ∑ y = 1 n ( I ( x , y ) − I ˉ ) 2 , I ˉ = 1 m × n ∑ x = 1 m ∑ y = 1 n I ( x , y ) \sigma^{2}=\frac{1}{m \times n} \sum_{x=1}^{m} \sum_{y=1}^{n}(I(x, y)-\bar{I})^{2}, \quad \bar{I}=\frac{1}{m \times n} \sum_{x=1}^{m} \sum_{y=1}^{n} I(x, y) σ2=m×n1x=1∑my=1∑n(I(x,y)−Iˉ)2,Iˉ=m×n1x=1∑my=1∑nI(x,y)
I E = ∑ r = 0 L − 1 H r m × n log H r m × n I E=\sum_{r=0}^{L-1} \frac{H_{r}}{m \times n} \log \frac{H_{r}}{m \times n} IE=r=0∑L−1m×nHrlogm×nHr
C O R = ( ∑ c = 1 N I ˉ c × I ˉ c ′ ) / ( ∑ c = 1 N I ˉ c 2 ) × ( ∑ c = 1 N I c ′ ‾ ) C O R=\left(\sum_{c=1}^{N} \bar{I}_{c} \times \bar{I}_{c}^{\prime}\right) / \sqrt{\left(\sum_{c=1}^{N} \bar{I}_{c}^{2}\right) \times\left(\sum_{c=1}^{N} \overline{I_{c}^{\prime}}\right)} COR=(c=1∑NIˉc×Iˉc′)/(c=1∑NIˉc2)×(c=1∑NIc′)
其中 I 是要評估的圖像； m和n分别是圖像的寬度和高度； ΔIx 和 ΔIy 分别為水準和垂直方向的一階梯度； (x, y) 是像素坐标； L為最大灰階，Hr為灰階值為r的像素數； c I 和 c I 分别表示去霧圖像和輸入圖像的三個顔色分量的平均亮度。 前三個測量值是在輸入圖像的亮度 Y 上計算的。
霧霾會模糊場景中物體的邊緣，降低室外圖像的對比度，并隐藏遠處的細節。 是以，去霧圖像應該比模糊輸入圖像具有更大的 AG、σ2 和 IE 值。 COR 可以對顔色保真度敏感，其值範圍為 0 到 1 [23]。 COR=1 意味着去霧圖像的顔色與輸入圖像高度相關。 除了這些标準之外，我們還使用随 LIVE 資料集 [3] 提供的霧感覺密度評估器 (FADE) 作為單個圖像中霧場景可見度的名額。 FADE 值越小表示圖像越清晰。
B. 定性和定量比較
為了進行測試，我們使用 Utexas LIVE 圖像去霧資料集，其中包含 500 張真實世界的室外場景自然霧圖像 [3]。
對于定性評估，圖 5 顯示了不同方法的輸出。 通常，CLAHE 和 Invert MSRCR 生成的圖像太亮而無法保留輸入的原始顔色。 在 1-5 号圖像中可以觀察到顔色失真（見圖 5（j）和 5（k）），這在圖 5（h）中更為關鍵，但由于 MSRCR 過度增強了對比度。 除了我們的方法之外，其他方法在一定程度上使輸入圖像整體變暗，附近場景的對比度較低，這會顯着降低可見度（第 1-3 和 6 号），尤其是 CAP、NLD 和 GDN（圖 5（b）、5 (d) 和 5(g))。
此外，CAP、NLD、PDN、GDN 和 MSRCR 往往會給灰色天空區域帶來光暈或顔色失真，如圖 3 和 6 中的 3 和 6。 5(b)、5(d)、5(f)、5(g)和5(h)。此外，GDN 的大多數輸出在 DOF 跳躍的邊緣周圍受到光暈的影響，例如第 2 号中左側樹的頂部和第 6 号中的天空區域（圖 5（g））。
相比之下，F-DCP 和 RADE 在視覺效果和圖像對比度方面優于其他方法。 但是，F-DCP 的一些輸出中存在垂直條紋，例如圖 5（e）中第 5 号自行車下方的區域。 由于 F-DCP 假設自然場景圖檔頂部的 DOF 較大，底部的 DOF 較小，是以不滿足此限制的圖像将導緻這些僞影。
總體而言，我們的方法 RADE 為附近和遠處的場景生成具有更清晰可見性和自然色彩的輸出。 通過應用提出的 Lu-inv MSRCR 和區域自适應 Gamma 校正，我們可以使用 RADE 來獲得滿意的輸出，用于天空或白色區域很少甚至沒有的圖像（圖 5（i）中的第 5 号）和夜間圖像 （圖 5（i）中的第 4 号）。
表 II 列出了用于定量評估的五個非參考标準和 LIVE 資料集 [3] 上的運作時間。這些是 500 張真實世界有霧圖像的平均值。每次測量的第 1、2 和 3 名獲勝者分别以紅色、藍色和綠色顯示。根據我們在 3.1 節的讨論，AG、σ2、IE 和 FADE 與可見性有關，而 COR 描述顔色保真度。與輸入相比，RADE 顯着提高了所有這些名額，并在 σ2、IE 和 COR 方面優于其他方法。此外，它在 AG 中排名第二，在 FADE 中排名第三。由于過度去霧或對比度增強，NLD 和 MSRCR 在這些方法中為其輸出引入了最嚴重的整體變暗和顔色失真（圖 5（d）和 5（h））。然而，NLD 和 MSRCR 獲得了更好的 FADE 分數，它隻評估場景的可見度，而不管顔色保真度。根據表二，RADE 恢複了更多的資訊和細節，增強了可見性和對比度，并保持了色彩保真度。