去雾论文Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky

Li Z, Zheng X, Bhanu B, et al. Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky[C]// Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky. 2020 25th International Conference on Pattern Recognition (ICPR). IEEE: 8267-8274.

包含天空的室外图像的快速区域自适应去雾和增强（分割+亮度翻转颜色恢复+局部Gamma）

摘要

恶劣的天气、阴霾和雾会严重降低户外成像系统的性能。由于大范围的景深，大多数图像去雾或增强方法在应用于现实世界的朦胧室外场景时，尤其是有天空的场景时，都会出现颜色失真和光晕伪影。为了有效地恢复远处和附近区域的细节并保持天空的色彩保真度，在本研究中，我们提出了一种基于可替换插件分割模块和区域自适应处理的新型图像去雾和增强方法。首先，将灰色天空、纯白色物体和其他部分的区域分开。其次，将具有颜色恢复 (MSRCR) 和基于区域比率的自适应 Gamma 校正的亮度反转多尺度 Retinex 应用于非灰色和非白色区域。最后，通过使用均值滤波区域掩码无缝拼接增强区域。大量实验表明，所提出的方法不仅在可见性和色彩保真度方面都优于几种最先进的去雾方法，而且还提供了具有更少伪影和光晕的增强输出，尤其是在天空区域。

1. 介绍

恶劣的天气——阴霾、雨、雾、雪和沙尘暴——会由于低光能见度条件而降低户外成像和监测系统的性能 [1]。 由于光的散射和大气颗粒物的吸收 [2]，在这些天气条件下捕获的图像会显着退化。 为了在不更换相机或使用额外设备的情况下提高输入图像的质量，图像去雾和增强技术可用于大多数易受恶劣天气影响的现有户外成像系统。

为了消除雾霾的影响，人们提出了各种图像去雾和增强方法来恢复图像中的颜色、边缘和细节。图 1 显示了通过不同方法去雾的室外图像的示例。为了同时实现动态范围压缩、颜色一致性和亮度再现，Jobson [4] 将他们的单尺度 Retinex 扩展为具有颜色恢复 (MSRCR) 的多尺度 Retinex (MSR)，这对于增强 8 位彩色图像特别有用照明缺陷。 Wang[5]利用MSRCR算法提出了一种基于物理模型和图像亮度分量的单幅图像去雾方法；然而，一些户外场景的图像颜色失真。值得注意的是，Galdran [6] 从理论上证明了基于 Retinex 的对反转强度的增强解决了图像去雾问题。 Berman [7] 通过识别 RGB 空间中的雾霾线，为图像去雾 (NLD) 引入了非局部先验。但是，当大气光比场景亮得多时，这种方法可能会失败，这在室外朦胧的场景中很常见。为了自然地还原带有天空的图像，Chen [8] 通过设计多个滤波器（F-DCP）和先验场景假设，提出了一种基于改进的暗通道先验（DCP）的保色单图像去雾方法。 Zhu [9] 提出了一种基于颜色衰减先验（CAP）和深度图监督学习的快速图像去雾方法。 Cai [10] 构建了一个可训练的端到端深度神经网络 (DNN) DehazeNet 来估计传输图，然后使用大气散射模型恢复无雾图像。 Yang [11] 开发了一个近端 DehazeNet（PDN），将雾霾成像模型约束和图像先验学习整合到一个网络中。 Liu [12] 提出了一种用于单图像去雾的端到端可训练 GridDehazeNet (GDN)，它不依赖于大气散射模型。

与室内图像相比，室外场景的图像通常具有更大的景深 (DOF)，从无限的天空跨越到附近的物体。 近距离和远距离摄影的图像先验模型有很大不同。 现有的图像去雾方法，包括 Retinex [3-5, 13]、先验信息 [6-7] 和学习 [8-11] 方法，通过去雾在一定程度上提高了可见性。 然而，这些方法主要存在颜色失真、无雾区域的过度增强或天空区域的光晕伪影 [1]，如图 1 所示。

为了自然地去雾和增强远处和附近的区域并保留室外图像中天空区域的颜色，我们提出了一种**区域自适应图像去雾和增强（RADE）**方法。以前的工作和我们的工作之间的差异列在表 I 中。提出了亮度反转 MSRCR (Lu-inv MSRCR) 增强和基于区域比的自适应 Gamma 校正。此外，研究了各种区域分割方法并采用了无缝拼接技术。值得注意的是，所提出的方法在对天空的室外场景进行去雾方面是有效的，并且不需要训练数据或先验知识。我们的主要贡献如下：（1）我们引入了一个可替换的插件区域分割模块，并讨论了分割灰色天空、白色物体和其他区域的典型分割方法； (2) 我们提出了亮度反转 MSRCR 作为传统 MSRCR 的保色和快速版本； (3) 我们提出了一种基于区域比率的局部伽玛变换，作为进一步的自适应增强和色彩校正。

2 技术方法

由于远距和短距成像之间的差异，远处天空和被灰色雾霾覆盖的远处物体的退化先验与场景中的附近物体不同。 因此，对于具有各种深度物体的室外图像，单一的去雾或增强技术几乎无法获得满意的输出。 由于雾霾的存在，直接强度增强可能会在远处引入光晕伪影。 过度去雾往往会导致整体变暗，尤其是对于场景中附近的物体。 此外，单独应用这些技术中的任何一种都容易导致远处天空或附近物体的颜色失真。

考虑到室外图像上出现的区域的多样性，所提出的方法将选择性技术应用于三种类型的区域：(1) 白色或近似白色物体，(2) 灰色天空和雾霾覆盖的远处区域，(3) 和其它地方。正如包括 MSRCR 在内的许多图像去雾或增强算法所示，对图像中白色或极浅颜色区域的过度处理很容易导致伪影和光晕，这也是引入颜色失真的关键因素 [19]。然而，白色或接近白色的物体很少包含输入图像记录的室外场景的细节或信息；因此，它们不需要过度的增强或处理。此外，对于颜色成分很少的灰色区域，这通常与天空（位于很远的距离）或包含一些细节（如建筑物或树木）的阴霾覆盖区域有关，对比度受限的自适应直方图均衡化（CLAHE）[20 ] 在大多数情况下产生令人满意的输出。这是我们将两类地区与其他地区分开的动机。

图 2 描述了所提出的技术方法的主要流程图。 我们指定了五个主要过程：(1) Lu-inv MSRCR，(2) 区域分割，(3) 灰色区域的 CLAHE，(4) 基于区域比率的自适应 Gamma 校正，以及 (5) 无缝拼接。 这些步骤的中间产品的示例也显示在图 2 中。

A. 区域分割

几种方法可用于图像分割。 我们设计了一个可替换的插件分割模块，并测试了基于阈值、K-means 聚类 [21]、DCP 中的传输图和语义分割 DNN [22] 的四种典型方法。 尽管大多数分割方法是针对对象识别或前景/背景选择等任务提出的，但它们可以通过在输出上设置阈值来区分白色、灰色和其他区域。 值得注意的是，为了有效和高效的分割，我们在这项工作中使用的阈值技术也可以直接应用于输入模糊图像的亮度分量，其中包含与 DOF 相关的光强度的最多信息。

首先，在预处理中，输入图像的亮度 Y 被一个中值滤波器去噪。 此外，根据Y的值，输入图像的像素被两个阈值t1和t2分为三类：1为白色或近白色物体，2为灰色区域（包括天空区域），3为其他 区域，如（1）。 对于灰度图像，像素值 0 表示纯黑色，1 表示纯白色。 因此，场景中的白色或极浅色物体与亮度值非常接近1的像素有关。 同样，由于雾霾和雾气，无限远处的天空和被雾霾覆盖的一些远程物体看起来是灰色的 或灰白色。 因此，这些像素的通道 Y 强度接近 1，但小于白色或近白色物体中像素的强度。

其中 (x,y) 是像素坐标； Y是灰度亮度图像； L为区域掩码所指示的标签图像； t1 和 t2 是介于 0 和 1 之间的阈值，用于将纯白色和灰色区域与其他区域分开。 在我们的实验中，我们设置 t1 = 0.72 和 t2 = 0.97 作为经验值。 因此，值大于 0.97 的像素被认为是“白色或接近白色的物体”，值在 0.72 和 0.97 之间的像素是“灰色区域”，值小于 0.72 的像素是“其他区域”。

对于除语义分割 DNN 模型之外的其他分割方法，阈值设置可以直接应用于其输出。对于DNNs，因为大部分都标注了天空区域，所以我们只需要通过阈值t2=0.97来区分纯白色区域，并结合除标注天空之外的其他区域。图 3 显示了不同分割结果和相应去雾图像的示例。对于大多数图像，这些方法可以有效区分三种类型的区域。尽管它们产生的区域蒙版大不相同，但去雾后的输出显示出细微的区别（参见图 3 最后一行图像顶部的明亮白色天空区域）。原因是白色和灰色区域不会被 RADE 过度增强以保持颜色。结果，这两种类型的区域在去雾后保持接近的灰度。此外，RADE 应用淡入淡出算法进行无缝拼接，从而平滑区域之间的边界。这些分割方法的定量比较在第四节中讨论。

B. 亮度反转 MSRCR

为了改善色彩再现并提供动态范围压缩，MSRCR 被提议作为 MSR 算法的扩展，具有色彩恢复因子 Ci(x,y) [4]。

R M S R C R i = C i ⋅ R M S R i R_{M S R C R i}=C_{i} \cdot R_{M S R i} RMSRCRi​=Ci​⋅RMSRi​

其中 RMSRi 和 RMSRCRi 分别是由 MSR 和 MSRCR 算法增强的输出图像的对数； Ci表示第i个通道的颜色恢复系数，表示为（3）。

C i = β ln ⁡ ( a I i / ∑ c = 1 N I c ) C_{i}=\beta \ln \left(a I_{i} / \sum_{c=1}^{N} I_{c}\right) Ci​=βln(aIi​/c=1∑N​Ic​)

其中 Ii 是输入图像 I 的第 i 个颜色分量； N=3代表RGB颜色通道； a 是增益常数，β 是强度的非线性控制因子。

通过引入因子 Ci 来调整三色通道的比例，MSRCR 算法调整输入图像的局部对比度并产生与 MSR 相比具有更好可视化效果的输出 [4]。 然而，MSRCR 被提议用于一般图像增强任务，而不是用于图像去雾。 因此，当 MSRCR 应用于朦胧的室外图像时，光晕、伪影和颜色失真更有可能被引入到恢复的输出中 [19]。

在最近的一项研究中，Galdran [6] 证明了 (4)，这意味着如果我们通过强度反转操作将它们的输入和输出转换为 (4)，则基于 Retinex 的方法可以直接应用于图像去雾：

 Dehazing  ( I ) = 1 − Retinex ⁡ ( 1 − I ) \text { Dehazing }(I)=1-\operatorname{Retinex}(1-I)  Dehazing (I)=1−Retinex(1−I)

其中 I 是强度归一化为 [0, 1] 的模糊输入图像。 Retinex 是指任何基于 Retinex 的方法，例如 MSRCR。 作为参考，当 Retinex 被指定为 MSRCR 时，我们在我们的实验中将（4）的输出记录为“Invert MSRCR”。

图 1(a) 显示了一个典型的朦胧室外图像：以天空为背景的附近和远处的建筑物。 MSRCR 方法增强了模糊输入的边缘和对比度，但会导致颜色失真：输出太暗，黄色过多（图 1（h））。 反转 MSRCR 使图像过亮，以至于远处的物体被不自然的白光淹没（图 1（i））。 大量实验表明，MSRCR 和 Invert MSRCR 的输出中普遍存在颜色失真，尤其是在 DOF 跳跃的区域（例如天空），主要是因为 MSRCR 中使用的初始 MSR [4] 分别增强了 RGB 颜色通道的强度，这已经 导致颜色失真的原因，几乎无法通过以下颜色恢复过程进行校正。

为了在 MSRCR 去雾后保持颜色保真度，在我们的工作中，我们提出了 Lu-inv MSRCR，它在图 2 中的黄色块中有详细说明。首先，将输入图像从 RGB 值转换为 YCbCr 颜色空间以获得 亮度分量 Y。第二，如 (5) 所述，Invert_MSR 仅应用于 Y。 第三，输出 Y 被归一化并与输入图像的色度 Cb 和 Cr 组合以重新转换为 RGB 值。 最后，我们直接在 MSR 增强图像 JMSR 上使用 MSRCR 的颜色恢复过程，而不是它的对数 RMSR。 在（6）中，我们基于（2）推导出MSR（JMSRi）和MSRCR（JMSRCRi）的输出之间的关系。

其中 i 表示 RGB 的第 i 个颜色通道。

C. 灰色区域的 CLAHE

与纯白色或近白色物体不同，灰色区域可能包含浓雾和浓雾背后的一些细节（例如远处的建筑物或树木）。 由于大的景深跨度，将大多数传统的图像去雾或增强方法直接应用于具有此类灰色区域的整个室外图像可能会导致输出的颜色偏移、光晕或整体变暗。 由于这些区域非常接近灰色和白色，几乎没有任何颜色信息，因此可以通过 CLAHE 有效地增强它们。

图 4 显示了远处建筑物在某些局部区域（图 4（a））被浓雾覆盖的示例，该区域被标记为区域遮罩中的天空（图 4（b））。 无花果。 图4©和4(d)表明MSRCR方法普遍使图像变暗并在天空区域带来光晕，而Invert MSRCR方法使天空过度明亮，使远处的建筑物变得模糊。 然而，所提出的方法 RADE 为远处和附近的建筑物产生了更好的输出。

D. 基于区域比的自适应 Gamma 校正

Gamma 校正是一种常用的非线性变换，通过扩展或压缩局部灰度范围来增强图像中太暗或太亮的区域 [16]。 然而，对于包含天空区域或白色物体的室外图像，应用固定参数的Gamma变换很可能导致校正过度或不足：不同比例的灰白区域会通过基于Retinex的增强导致不同程度的颜色失真 算法，包括 MSRCR。 为了动态调整模糊室外图像的变换曲线参数，我们提出了一种基于灰色区域（标记为 2）和白色物体（标记为 1）与总图像大小的区域比的自适应 Gamma 校正。

2.1节中标记为1、2、3的像素总数分别为count1、count2、count3，分别代表白色、灰色等区域的像素数。 灰白色区域（高强度像素）的比例由（7）定义：

其中ratio是0到1之间的一个值，表示高强度像素（包括灰白区域）的比例，m和n是图像的宽度和高度。

当我们应用伽马变换时，颜色失真的风险越高，比率越高（即灰色和白色区域越大）。 此外，这两种类型的区域将在区域拼接的最后一步被 CLAHE 的输出替换。 因此，不需要对这些区域进行校正。 相反，比率越低（即“其他区域”越大），Lu-inv MSRCR 会使图像更亮，并且需要通过 Gamma 变换使图像变暗。

如图 1 所示，由 Invert MSRCR 处理的输出经常遭受明亮区域的低对比度和朦胧的室外图像的整体增亮。 基于 Invert MSR，2.2 节中提出的 Lu-inv MSRCR 产生保色输出，但图像仍然过亮。 为了进一步增强 Lu-inv MSRCR 产生的输出的对比度，我们通过（8）定义基于区域比的自适应 Gamma 校正如下：

G ( J ) = J γ = J 1 + α ( 1 −  ratio  ) , 0 < α < 1 G(J)=J^{\gamma}=J^{1+\alpha(1-\text { ratio })}, \quad 0<\alpha<1 G(J)=Jγ=J1+α(1− ratio ),0<α<1

其中 γ 是 Gamma 系数，G 和 J 分别是输出强度和输入强度，均已归一化为 [0, 1]； 该比率可以使用（7）计算； a 是一个系数，其值介于 0 和 1 之间。对于大多数常见的自然图像，我们建议设置 a=0.8。

ratio 的值直接决定了 Gamma 曲线的形状和输出的视觉效果。 如果ratio = 1，对应于γ = 1，则图像充满灰雾或白色物体，应使用2.3节中介绍的CLAHE进行增强，而不是自适应Gamma校正。 如果 ratio = 0，这对应于 γ 的最大值，则图像被 Lu-inv MSRCR 过亮。 然后应用 Gamma 校正使图像变暗并增强明亮区域的对比度。

E. 无缝拼接

我们没有直接拼接增强区域，而是使用淡入淡出技术进行无缝拼接。 均值滤波区域掩码用于添加权重以组合两种类型的区域。 其他区域 Jother 和灰色区域 Jgray 的增强图像的拼接输出图像 Jout 可以使用（9）计算如下：

其中*是卷积算子； Fk×k表示一个大小为k×k的均值滤波器的核，Mgray指的是（1）中标记为2的灰色区域的掩码，可由式（10）定义：

其中 (x,y)、t1 和 t2 与 (1) 中的相同。

对白色区域和其他区域的拼接进行类似的操作。

三、 实验结果

（待补充……）

A. 评估标准

由于我们实验中使用的图像都是真实世界的（不是合成的模糊图像），没有相应的地面真实无雾图像，因此计算了三个常用的图像质量非参考指标进行评估 [23]。 这些标准是由 (11)–(14) 定义的平均梯度 (AG)、对比度 (σ2)、信息熵 (IE) 和颜色相关性 (COR)，如下所示。

A G = 1 ( m − 1 ) × ( n − 1 ) ∑ x = 1 m − 1 ∑ y = 1 n − 1 1 2 ( Δ I x 2 + Δ I y 2 ) A G=\frac{1}{(m-1) \times(n-1)} \sum_{x=1}^{m-1} \sum_{y=1}^{n-1} \sqrt{\frac{1}{2}\left(\Delta I_{x}{ }^{2}+\Delta I_{y}{ }^{2}\right)} AG=(m−1)×(n−1)1​x=1∑m−1​y=1∑n−1​21​(ΔIx​2+ΔIy​2)

​

σ 2 = 1 m × n ∑ x = 1 m ∑ y = 1 n ( I ( x , y ) − I ˉ ) 2 , I ˉ = 1 m × n ∑ x = 1 m ∑ y = 1 n I ( x , y ) \sigma^{2}=\frac{1}{m \times n} \sum_{x=1}^{m} \sum_{y=1}^{n}(I(x, y)-\bar{I})^{2}, \quad \bar{I}=\frac{1}{m \times n} \sum_{x=1}^{m} \sum_{y=1}^{n} I(x, y) σ2=m×n1​x=1∑m​y=1∑n​(I(x,y)−Iˉ)2,Iˉ=m×n1​x=1∑m​y=1∑n​I(x,y)

I E = ∑ r = 0 L − 1 H r m × n log ⁡ H r m × n I E=\sum_{r=0}^{L-1} \frac{H_{r}}{m \times n} \log \frac{H_{r}}{m \times n} IE=r=0∑L−1​m×nHr​​logm×nHr​​

C O R = ( ∑ c = 1 N I ˉ c × I ˉ c ′ ) / ( ∑ c = 1 N I ˉ c 2 ) × ( ∑ c = 1 N I c ′ ‾ ) C O R=\left(\sum_{c=1}^{N} \bar{I}_{c} \times \bar{I}_{c}^{\prime}\right) / \sqrt{\left(\sum_{c=1}^{N} \bar{I}_{c}^{2}\right) \times\left(\sum_{c=1}^{N} \overline{I_{c}^{\prime}}\right)} COR=(c=1∑N​Iˉc​×Iˉc′​)/(c=1∑N​Iˉc2​)×(c=1∑N​Ic′​​)

​

其中 I 是要评估的图像； m和n分别是图像的宽度和高度； ΔIx 和 ΔIy 分别为水平和垂直方向的一阶梯度； (x, y) 是像素坐标； L为最大灰度，Hr为灰度值为r的像素数； c I 和 c I  分别表示去雾图像和输入图像的三个颜色分量的平均亮度。 前三个测量值是在输入图像的亮度 Y 上计算的。

雾霾会模糊场景中物体的边缘，降低室外图像的对比度，并隐藏远处的细节。 因此，去雾图像应该比模糊输入图像具有更大的 AG、σ2 和 IE 值。 COR 可以对颜色保真度敏感，其值范围为 0 到 1 [23]。 COR=1 意味着去雾图像的颜色与输入图像高度相关。 除了这些标准之外，我们还使用随 LIVE 数据集 [3] 提供的雾感知密度评估器 (FADE) 作为单个图像中雾场景可见度的指标。 FADE 值越小表示图像越清晰。

B. 定性和定量比较

为了进行测试，我们使用 Utexas LIVE 图像去雾数据集，其中包含 500 张真实世界的室外场景自然雾图像 [3]。

对于定性评估，图 5 显示了不同方法的输出。 通常，CLAHE 和 Invert MSRCR 生成的图像太亮而无法保留输入的原始颜色。 在 1-5 号图像中可以观察到颜色失真（见图 5（j）和 5（k）），这在图 5（h）中更为关键，但由于 MSRCR 过度增强了对比度。 除了我们的方法之外，其他方法在一定程度上使输入图像整体变暗，附近场景的对比度较低，这会显着降低可见度（第 1-3 和 6 号），尤其是 CAP、NLD 和 GDN（图 5（b）、5 (d) 和 5(g))。

此外，CAP、NLD、PDN、GDN 和 MSRCR 往往会给灰色天空区域带来光晕或颜色失真，如图 3 和 6 中的 3 和 6。 5(b)、5(d)、5(f)、5(g)和5(h)。此外，GDN 的大多数输出在 DOF 跳跃的边缘周围受到光晕的影响，例如第 2 号中左侧树的顶部和第 6 号中的天空区域（图 5（g））。

相比之下，F-DCP 和 RADE 在视觉效果和图像对比度方面优于其他方法。 但是，F-DCP 的一些输出中存在垂直条纹，例如图 5（e）中第 5 号自行车下方的区域。 由于 F-DCP 假设自然场景图片顶部的 DOF 较大，底部的 DOF 较小，因此不满足此约束的图像将导致这些伪影。

总体而言，我们的方法 RADE 为附近和远处的场景生成具有更清晰可见性和自然色彩的输出。 通过应用提出的 Lu-inv MSRCR 和区域自适应 Gamma 校正，我们可以使用 RADE 来获得满意的输出，用于天空或白色区域很少甚至没有的图像（图 5（i）中的第 5 号）和夜间图像 （图 5（i）中的第 4 号）。

表 II 列出了用于定量评估的五个非参考标准和 LIVE 数据集 [3] 上的运行时间。这些是 500 张真实世界有雾图像的平均值。每次测量的第 1、2 和 3 名获胜者分别以红色、蓝色和绿色显示。根据我们在 3.1 节的讨论，AG、σ2、IE 和 FADE 与可见性有关，而 COR 描述颜色保真度。与输入相比，RADE 显着提高了所有这些指标，并在 σ2、IE 和 COR 方面优于其他方法。此外，它在 AG 中排名第二，在 FADE 中排名第三。由于过度去雾或对比度增强，NLD 和 MSRCR 在这些方法中为其输出引入了最严重的整体变暗和颜色失真（图 5（d）和 5（h））。然而，NLD 和 MSRCR 获得了更好的 FADE 分数，它只评估场景的可见度，而不管颜色保真度。根据表二，RADE 恢复了更多的信息和细节，增强了可见性和对比度，并保持了色彩保真度。