Mandal G, De P, Bhattacharya D. A real-time fast defogging system to clear the vision of driver in foggy highway using minimum filter and gamma correction[J]. Sādhanā, 2020, 45(1): 1-11.
基于最小濾波和伽馬校正的霧天高速公路實時快速除霧系統（DCP+GAMMA）
霧是駕駛者在駕駛時面臨的最大障礙和不可避免的問題。由于霧天，能見度差，尤其是在清晨和深夜，司機無法看到路上遠處的物體。結果，道路事故的可能性增加。在本文中，提出了一種基于視覺的快速實時除霧系統，用于在霧天環境條件下行駛時清除高速公路的視野。所提出的系統可以消除駕駛員視線的模糊，并可以在很短的時間内呈現清晰的道路視野。每幀的處理由四個步驟組成：使用最小過濾器計算大氣光，透射圖，場景輻射，最後應用伽馬校正以完美的對比度調整去除朦胧。為了降低時間複雜度，不是每幀估計大氣光，而是以5000幀為間隔計算。在高速公路上進行了白天和晚上的許多實時啟發式測試，測試分析表明，除霧後，在大霧期間能見度增加了65%以上。此外，在低霧條件下，能見度也大幅增加。
1 簡介
霧是空氣中非常細小的水滴，由半徑為 1-10 lm 的微小水滴懸浮而成。霧看起來像地球表面附近的厚雲 [1]。如果光線落在這些液滴上，那麼光線就會被散射，對比度就會消失，進而産生白色濃密的可見性。是以，任何車輛的駕駛員都無法看到很遠的物體，并且會因事故的恐慌而非常緩慢地行駛 [2]。這是道路上所有類型車輛以及火車和飛機的常見問題。在高速公路的情況下，駕駛員無法清楚地看到道路、相反方向的車輛、交通信号和障礙物。在火車的情況下，機車駕駛員無法清楚地看到信号和車站。如果飛行的飛行員面臨霧天，能見度差，那麼起飛和降落就變得非常困難。如果司機在有霧的情況下駕駛，那麼很有可能與來自相反方向的車輛或任何行人發生碰撞。全世界每年有近 140 萬人死于交通事故，平均每天有 3,287 人死于交通事故。另有 20-5000 萬人受傷或緻殘 [3, 4]。在印度，每年有超過 14.7 萬人死亡，超過 47 萬人受傷。每年在印度，道路大霧導緻超過 11,000 人死亡，近 24,000 人受傷 [5]。
霧以多種方式影響駕駛感覺，即降低能見度并影響駕駛速度。是以，駕駛員不能以實際速度行駛，而必須慢速小心地行駛。是以，總旅行時間比實際時間增加，并且很難區分移動物體和靜止物體。霧可能存在于早上和晚上，如圖 1 所示。駕駛員應非常小心，否則無法了解其他車輛是否在移動或處于停車模式。在能見度低的情況下，估計來自相反方向的車輛的确切距離也非常困難。如果使用遠光燈，則它會散布在整個霧中并變得更模糊。是以，在這種情況下使用遠光燈也無濟于事。由于霧是一種環境條件，是以無法避免。結果，發生了大量的事故，導緻死亡和許多人受傷。此外，許多人由于速度慢而遲到到達目的地，許多火車晚點，許多航班被取消。
一些研究人員嘗試使用圖像處理技術從單個圖像中去除霧來解決這個問題 [6-12]。 然而，從實時視訊中去除霧氣仍然是一個開放的研究領域。 本文介紹了一種快速除霧技術，實時清除駕駛員視線，保障高速公路安全行駛。 剩下的文章組織如下。 第 2 節涉及文獻調查，第 3 節給出了建議的方法和實施。 第 4 節顯示了實驗和仿真結果、比較和時延分析，然後是第 5 節的結論。
2.文獻調查
現有的除霧算法很少。 然而，所有這些都适用于單個圖像和特定環境，即白天或夜間或海景等。下面解釋一些的現有方法。
Lin 等人 [13] 提出了一種使用引導濾波器的視訊和圖像去霧技術。 與圖像的深度資訊相比，這種技術産生的透射圖是平滑的。
Xu 等人 [14] 開發了一種基于通過自适應直方圖均衡固定對比度限制的單幅圖像去霧算法。 它緊扣圖像的直方圖并将所有裁剪的像素重新配置設定到每個灰階級一個最大值。 是以，可以減少霧。
Shuai 等 [15] 引入了 Wiener Filter 來應對使用暗通道先驗的圖像明亮區域的顔色失真等問題。 該算法使用基于暗通道的中值濾波器來估計中值函數。 是以，将霧圖像恢複問題轉化為優化問題，通過最小化均方誤差得到無霧圖像。
Tripathi 等人 [16] 提出了一種基于雙邊濾波的除霧技術。 該方法使用非線性分組并從相鄰像素中取平均值，在不影響邊緣的情況下平滑彩色和灰色圖像。 雙邊濾波器用于估計大氣光并恢複衰減（降低場景對比度）。 該算法将每個像素替換為其相鄰像素的權重平均值（可能是：高斯分布、歐氏距離、深度、距離、像素顔色強度等範圍差異）。
He 等人 [17] 提出了從單個圖像中去除霧度之前的暗通道。 此方法側重于顔色 (RGB) 通道中具有最低強度的像素。 在有霧的圖像中，空氣光是産生低強度暗像素的主要原因。 是以，可以通過暗像素來估計霧度透射率。 将軟比對與霧霾成像模型相結合，可以恢複無霧圖像。
Fattal [18] 引入了一種技術，可以從輸入圖像中估計有霧場景中的透射（光學）。 基于這種近似，場景可見度從散射光中增加，并且恢複了無霧場景對比度。 除了傳輸函數之外，這種方法還表達了一種考慮表面陰影的進階圖像構模組化型。 霧的顔色是用類似的原理估算的。
Mai 等人 [19] 在使用深度場景和學習（監督）參數重建有霧圖像之前提出了顔色衰減。 使用深度圖，可以輕松估計傳輸并恢複場景可見性。
He 等人 [20] 開發了一種算法，通過最佳傳輸圖從單個輸入幀中消除霧。 他們精确地檢查了視覺模型，并預先在補充邊界下重新組織了初步傳輸圖。
Yang 等人 [21] 提出了一種基于超像素的夜間消霧方法。 使用虛拟平滑度将輸入幀分解為無輝光和輝光模糊的架構。 然後為無輝光霧幀中的所有像素計算空氣-明暗通道。 透射圖由引導（權重）過濾器使用暗通道投影。 自适應門檻值也被提供給傳輸圖以去除噪聲，最後恢複幀。
Hu等[22]提出了一種用于海上視覺監視的單幅圖像去霧方法。 分别提出了散射模型和輻射分解算法來去除空氣光上的輝光結果和恢複霧層。 然後，投影傳輸圖。 最後，提出的輻射補償程式允許無霧圖像保留原始圖像的自然輻射資料。
3. 提議的方法
在本文中，介紹了一種快速新穎的方法，可以在白天和夜間駕駛時從駕駛員的視野中實時去除霧氣。 由于它是一個實時系統，時間複雜度與突出的無霧輸出一起是最重要的問題。 是以，所提出的模型以獨特的方式設計，以便處理每一幀的時間消耗會更少。 所提出的模型基于傳輸圖和場景輻射恢複。 在使用最小濾波器估計大氣光後評估透射圖，然後進行伽馬校正。 大氣光根據第一幀的像素強度估計，并在 5000 幀間隔後更新。 圖 2 表示整個提議系統的流程圖。
3.1 實時視訊采集
實時動态視訊的采集稱為視訊采集。 它是對單個幀進行清晰處理以解決道路朦胧狀況問題的主要階段。 在該系統中，高清網絡攝像頭用于捕捉道路的實時視訊。 攝像頭已根據駕駛員眼睛的位置固定在擋風玻璃内，以生成準确的道路視圖。 攝像頭能夠實時采集每秒30幀彩色視訊，最大分辨率為1280×720像素。
3.2 幀的隔離
由于相機能夠每秒捕獲 30 個彩色幀 (fps)，是以為了清楚地處理每一幀，我們需要實時分離所有幀。 對于動态實時視訊，每一幀的光強在其視覺感覺上是不同的。 對于 30 fps 的視訊，每秒一個接一個地依次運作 30 幀。 為了專門處理每一幀，幀的分離是必不可少的。 是以，所有 30 幀的分離都是實時完成的，以便清楚地處理每一幀。
3.3 最小濾波器的大氣光估計
在計算機圖形學和計算機視覺中，大氣散射模型[23-27]被廣泛用于描述霧霾圖像的形成，其公式如下：
其中 I(x) 表示輸入有霧圖像，“A”表示大氣的全局光，J(x) 表示無霧圖像，t(x) 表示透射圖。 它描述了沒有散射并影響相機的光量，其給出如下：
t ( x ) = e β d ( x ) t(x)=e^{\beta d(x)} t(x)=eβd(x)
其中 β是霧因子，d(x) 表示圖像中的深度 [17, 19]。 對于幹淨天氣拍攝的圖像， β ≈ 0 不考慮其影響，我們得到 I ≈ J。另一方面，當圖像在霧天拍攝時，則 β > 0 變得不可忽略。 在 (1) 中，J (x)t(x) 是直接衰減，A(1 - t(x)) 是大氣光。 圖像被分成大小為 X 的小塊。去霧旨在從 I 中恢複 t、A 和 J [28] 。
在更新檔（非天空區域）中，三個顔色通道 (RGB) 中的至少一個具有非常低（或幾乎為零）的光強度。 最小過濾器應用于三個 RGB 通道的局部更新檔。 使用此過程獲得的圖像具有低強度值。 像素的最低強度值 Jlowest(x) 計算如下：
其中 J 是無霧輸出幀 [17, 25, 28]，Jc 是 J 的顔色通道，Jlowest 是 J 的最低強度并且傾向于為零，X(x) 是位于 x 處的局部更新檔。 最低強度是兩個最少操作符的結果：min c2fr;g;bg 在所有像素上生成（圖 3b），而 min y2fXðxÞg 是最小過濾器（圖 3c）。 最少的運算符是可交換的。
從 RGB 計算最低強度 (Jlow) 後，估計大氣光 (A)。選擇最亮 (0.1%) 像素的坐标，并從這些像素位置分别獲得每個 RGB 顔色通道中的最高強度值 [12, 17]。來自 RGB 通道的這三個強度值被視為大氣光 (A)。是以，‘A’ 是一個 3 × 1 向量，其中每個值代表 R、G 和 B 中的最高強度值。假設大氣光 (A) 是全局恒定的，并且在所有相鄰幀中都不會改變固定的環境條件。是以，重複計算每一幀的大氣光 (A) 是沒有用的。讓我們假設大氣光對于視訊的所有幀都是恒定的，直到門檻值周期。我們使用從第一幀獲得的估計大氣光 (A) 來恢複接下來的 5000 幀，這降低了時間複雜度。大氣光 (A) 的值可以從輸入幀中包含最高強度的像素中估計出來。然後計算這些像素（低強度像素）的強度值的平均值，最後估計大氣光。
3.4 媒體透射率圖估計
使用第一幀的大氣光 (Ac) 計算每個實時幀的透射圖。 輸入幀的每個像素除以它在“A”中的相應值，以計算三個傳輸通道 (RGB)。 我們首先用“A”對霧度圖像（1）的方程進行歸一化：
（其中局部更新檔 X(x) 是常數，透射率是 t(x)。最低強度 Jlowest 傾向于零，Ac 是大氣光的相應值，始終為正值。）
此後，通過在兩側放置最小算子來計算（4）兩側的最低強度：
（5）
由于 J 是無霧圖像，是以 J 的最低強度接近于零，即：
由于 Ac 連續為正，是以
（7）
将(7)代入(5)，傳輸t(x)估計為
（8）
由于天空是無限的，透射率幾乎為零，是以方程（8）可用于非天空和天空區域。 無需分離天空區域。 即使在晴朗的日子裡，大氣也不會完全清除顆粒。 遠處的物體總是存在一些霧。 然而，霧霾的出現是人類感覺深度的基本關鍵。 如果徹底去除霧霾，那麼架構可能看起來不自然并且可能會失去深度感。 是以，通過熟悉等式（8）中的常數參數 x (0\x B 1))，我們可以為遠距離物體保留非常少量的霧，以獲得自然外觀：
x 的值取決于應用程式。 随着我們減小更新檔大小，我們可以對 x (&0.7) 使用稍低的值，對于大更新檔大小，可以增加 x 值 [12, 17, 28]。 在這裡，一個常數值已固定為 0.8，是以它幾乎适用于所有類型的架構。 輸入模糊幀的傳輸圖如圖 4 所示。
3.5 場景光采恢複
在大氣光和估計傳輸的幫助下 地圖，場景輻射根據 (1). 然而，直線衰減 J(x)t(x) 可以為零 沒有任何傳輸。 計算出的場景輻射度 (J) 可能有噪音。 是以，傳輸 t(x) 應該是 由下限 t0 控制，即保留輕微的霧度。 最終場景輻射 J(x) 由
此處使用典型值 t0 = 0.1。 當架構包含大量天空區域時需要增加它，否則天空區域可能會出現僞影，這意味着架構看起來不會平滑和愉快。 由于場景光輝不像大氣光那樣明亮，去霧後的畫面顯得暗淡。 是以，為了顯示 [17]，J(x) 的曝光增加。
3.6 Gamma 校正
完成上述階段後，由于霧而導緻的幀模糊幾乎清晰。 不過在對比度的調整上還需要更多的改進，這樣畫面才會更加突出和友善。 在這裡，對每一幀應用 Gamma 校正方法以獲得最終的突出視圖。 顯示屏發光的強度通常不是線性函數。 螢幕形成的強度取決于所提供電壓的功率因數。 該功率因數被認為是伽馬 [29, 30]。 Gamma 可以通過增加陰影幀的強度來表示
并同時降低亮幀的強度
其中電壓 (V) 是與螢幕發出的光 (I) 強度相關的電子流，c (gamma) 是功率因數（常數）。 不同伽馬©值下顯示屏的光強輸出表示如圖5所示。
通過伽馬校正方法可以校正非線性函數。 使用查找表進行伽馬校正的步驟如下：
- 1取景物輻射後的無霧幀作為輸入幀
- 計算像素的最大強度（考慮估計的大氣光）
- Gamma 值選擇
- 查找表的設計
- 輸入像素的值映射到查找表
在從估計的大氣光中觀察強度的極值後，至關重要的一步是形成查找表并選擇伽馬值 [31]。 8 位圖像幀的查找表的形成如下所示。
考慮一個樣本幀，其中最高強度為 221，應用的 gamma © 值為 3。是以，每個 Index 位置的查找表的形成将是：
形成查找表後，将輸入幀的像素值映射到查找表中的值。 觀察幀的第一個像素的強度值，然後使用查找表的索引進行比對（見圖 6）。 最後，累加查找表中的比對值。 這樣，所有的幀都被一個接一個地修正了[32-34]。
3.7 使用處理幀的視訊重建
視訊重建是通過以靜态速度順序排列多個幀來生成新鮮實時視訊的最後階段。 伽馬校正完成後，所有處理過的幀就準備好了。 最後，通過在相機擷取的實際序列中排列所有處理過的幀來重建新視訊。 在這個提議的系統中，視訊重建一直持續到最後。 實時視訊的重建以30 fps的固定速度（因為擷取的實時視訊為30 fps）以顯示實際視訊。 它将使駕駛員能夠獲得舒适的實時視訊。
3.8 實時視訊顯示
在重建新鮮視訊時，它以橫向模式顯示在13英寸全高清顯示器（分辨率：1920 9 1200）上。 螢幕安裝在汽車擋風玻璃下方和儀表闆上方。 是以，駕駛員在駕駛過程中可以有一個舒适的外觀。
（待補充……）
4 實驗結果
已在高速公路上的不同霧天條件下對所提出的系統進行了嚴格的實時測試。 已觀察到原始有霧場景以及在不同有霧條件下重建幀的品質。 為了獲得準确性，随機幀已被視為觀察樣本。 表 1 給出了該系統獲得的精度。
所提出的方法也已應用于“有霧駕駛資料集”[35]（在有霧駕駛期間包含 101 幀）和“有霧的城市景觀”[36]。 在兩個資料集上都觀察到了出色的結果。 從資料集得到的結果如表 2 所示。
在表 1 和表 2 中，觀察到對于大多數幀，使用建議的系統顯着地完成了去霧。 現将任意車輛除霧前後随速度增加的可見距離（與任何物體可見的最大距離）如表3所示。
4.1 仿真結果
在高速公路上對白天和夜間大霧條件下的車架進行了測試後，觀察到了出色的結果。 大多數架構都包含突出的道路景觀以及可見距離的增加。 我們提出的系統的仿真結果如圖 7 所示。圖 7a-d 分别表示輸入有霧幀、計算出的最低強度的幀、估計的透射圖和去霧後的最終輸出幀。
4.2 與流行方法的定性比較
為了比較不同現有方法的去霧幀的輸出，使用了“霧化駕駛資料集”[35]和“霧化城市景觀”[36]中的各種霧化幀。圖 8a 描繪了要除霧的原始有霧輸入幀。圖 8b-d 分别顯示了 He 等人 [17]、Xu 等人 [14] 和 Zhu 等人 [19] 的結果。所提出技術的結果顯示在圖 8e 中。如圖 8b 所示，大部分霧被消除，但由于圖像的對比度較高，是以畫面變得更暗。在圖 8c 中，Xu 的結果表明，由于直方圖均衡，輸出在整個幀中被散射光去霧。圖 8d 顯示了 Zhu 使用先驗顔色衰減的結果，這提供了稍微更好的去霧輸出，但沒有完成亮度和對比度的适當增強。然而，圖 8e 表示使用所提出的方法的去霧輸出，該方法給出了具有完美對比度調整的突出視圖，并且每個對象都突出可見。
4.3 時延分析
在駕駛的情況下，時序因素非常關鍵。 如果駕駛員在發生事故的确切時間無法看到路景，那麼發生事故的幾率将非常高。 實時視訊采集和重建視訊顯示之間應該沒有太大差別。 在這個提議的系統中，整個過程的時間消耗僅為幾毫秒，駕駛員會感覺像原始的實時實時視訊。 是以，僅計算第一幀的最低像素強度，然後是大氣光 (A)。 每5000幀間隔更新一次，節省了計算時間。