
對于計算機視覺任務來說,圖像的品質影響着算法的性能。然而,
低光照條件下擷取的圖像會丢失部分資訊,并有可能出現噪聲和顔色偏差。是以,
低光照下的圖像增強任務目的是減少暗區域的顔色偏差,并恢複隐藏的資訊。抛開這些理論的介紹,我們先來看看什麼是低光照圖像[2]:
增強低照度圖像的品質有很多簡單的算法,比如
伽馬矯正、直方圖均衡和Retinex理論等。常常稱這些算法為
傳統算法或者非資料驅動算法,相對于目前普遍使用的
深度學習算或者資料驅動算法,它們往往具有
計算簡單的優點和效果不足的缺點。Zhu[1]從多曝光融合角度提出了EEMEFN算法,獲得了state-of-the-art的暗光增強效果,下面是一組效果圖:
- 低光照圖像往往對比度較高,現存的方法可能無法恢複 極度明亮或者極度昏暗 的區域;
- 目前的方法不能 精确的矯正圖像的顔色 ;
- 目标圖像的邊緣不清晰時,pixel-wise的損失函數可能對不同目标同等對待,導緻 模糊現象 。
EEMEFN算法的全稱是Edge-Enhanced Multi-Exposure Fusion Network,顧名思義,
“Edge邊緣”和“Multi-Exposure多曝光”就是算法的核心思想。算法共分為兩個階段,第一個階段
通過多曝光融合模型去解決高對比度和顔色偏差問題,第二個階段
通過邊緣增強模型的邊緣資訊進行二次優化。下面是多曝光融合模型和邊緣增強模型的結構圖:
圖中的上半部分(a)是多曝光融合,下半部分(b)是邊緣增強。
多曝光融合模型(multi-exposure fusion,簡稱MEF)将多個曝光率(exposure ratios)的圖像融合成高品質的初始圖像(initial image);邊緣增強(edge enhancement,簡稱EE)負責對多曝光模型的輸出進行增強。更進一步的,MEF和EE這兩個模型又都分為步驟,下面分别介紹。
多曝光融合MEF分為生成(generation)和融合(fusion)兩個過程。生成階段通過将像素放大不同的倍數,進而
生成多種光照條件下的不同曝光度的圖像;融合階段将來自合成圖像部分資訊融合到曝光良好的初試圖像中。
邊緣增強EE由檢測(detection)和增強(enhancement)兩個階段組成。檢測階段從初始圖像中産生邊緣圖,增強階段利用邊緣圖對初試圖像進行增強。
Experiment Part論文中進行了大量的對比實驗和消融實驗,評估名額采用峰值信噪比PSNR和結構相似性SSIM,下表是EEMEFN算法和其它state-of-the-art算法的定量比較:
顯然,EEMEFN算法在Sony set和Fuji set兩個資料集上全部優于其它算法,下面是一組視覺評估比較結果:
為了進一步證明算法的各個子產品所起到的作用,論文中提供了大量的消融實驗結果,比如下表研究了曝光度的選擇對增強結果的影響:
論文中提出的EEMEFN算法理論清晰,提供的大量實驗結果更進一步的證明了算法在低光照增強上的有效性,其中多曝光融合模型和邊緣增強模型更是具有較為普遍的實用性,等論文源碼放出再細緻研究。
參考文獻:[1] Zhu M, Pan P, Chen W, et al. EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network[J].
[2] Chen C, Chen Q, Xu J, et al. Learning to see in the dark[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 3291-3300.