最近一周的南北方降雨量可能不相上下，不僅雨量大，而且每場雨都在瓢潑。
南方台風中的畫風是這樣的
而北京進入“看海”節奏，根本不需要台風
雨滴會嚴重降低能見度，除了給日常出行造成各種不便，也導緻許多目前的計算機視覺算法都無法工作。特别是在大雨中，來自各個方向的雨水積累和使背景場景朦胧，嚴重影響比如視訊監控，物體檢測，以及在自動駕駛跟蹤等方向的準确性。
是以，除去雨水并從雨水圖像中恢複背景，是一項重要的任務。
其實在過去十年中，圖像去除已經有了不少有趣的研究。
現有方法可以分為兩類，包括基于視訊的方法和單圖去除方法。基于視訊的方法可以利用視訊中圖檔的關系架構，是以相對容易；相對而言，單圖像去除更具挑戰性。
在今年的雨季，來自北京大學和上海交通大學的幾位研究者，針對“單圖去雨”任務進行了研究，他們基于深度卷積和循環神經網絡，建立了一種新穎的神經網絡架構，并獲得了不錯的結果。
這一成果在ArXiv上發表，并已被ECCV（歐洲計算機視覺國際會議，計算機視覺三大會議之一）采納。
除了論文成果，裡邊對之前各種關于單圖去雨的曆史研究論述總結頗為詳細，在今天讀來是個很應景的話題，感興趣的同學可以自行下載下傳
大資料文摘微信公衆号背景回複“下雨”獲得本論文喲~~~
我們對論文的精華編譯如下：
對于單圖像去除，傳統方法，例如判别稀疏編碼、低秩表示以及高斯混合模型，都可以應用于這項任務，并且有不錯的表現。最近，基于深度學習的消除方法，由于其強大的特征表示能力而受到廣泛關注。但是所有這些相關方法仍有很多空間需要改進。
現有方法主要有兩個局限。
一方面，根據之前的研究，空間背景資訊對于雨點的消除非常有用。然而，許多目前的方法基于圖像更新檔去除雨條紋，忽略了大區域的背景資訊。
另一方面，由于大雨中的雨滴會呈現各種各樣的方向和形狀，它們會以不同的方式讓背景模糊不清。
分解整體，通過不同的階段去除雨水條紋，是一種常見的方法，這種方法可以将問題分解為多個階段，以便我們可以疊代地去除雨條紋。然而，現有方法隻對每個階段獨立除雨，而不考慮它們的相關性。
我們提出了一種新穎的深度網絡架構，基于深度卷積和遞歸神經網絡對單張圖像的雨水進行去除。
在大雨中，雨滴有各種各樣的方向和形狀，由于雨條紋層各自重疊，在一個階段去除雨水并不容易。是以我們進一步分解雨水為多個階段。利用循環神經網絡以保留前幾個階段的有用資訊，有利于後期去雨。我們在合成和真實資料集上進行了大量實驗，所有評估名額的表現都優于先前的方法。
在解決上述兩個局限性後，我們提出了一種新穎的深層網絡，進而用于單個圖像的除雨。例如上圖，展現了逐漸消除雨條紋的階段。
在每個階段，我們都使用有多個卷積層的內建網絡對背景圖像的雨水條紋進行消除。由于雨條紋有各種方向和形狀，我們讓每個網絡層對應一種雨條紋，并根據其在每個卷積層中的互相依賴性為其指派。
受益于指數級增加的卷積層，這一神經網絡接受域大且深度低，可以擷取更多的背景圖資訊。我們接下來利用三種不同的循環神經網絡（RNN），進一步最大限度的利用之前幾個階段搜集到的背景資訊，來指導後期的雨滴去除。
我們将這一方法命名為REcurrent SE Context Aggregation Net（RESCAN）。
本文的主要貢獻如下：
1、對于單圖除雨提出了一種新穎的內建深度網絡。
2、據我們所知，這是首篇考慮不同階段除雨相關性的論文。通過RNN體系結構的三種不同循環單元，可以結合前幾個階段的來指導後期階段。這一神經網絡适用于複雜的下雨環境。
3、與最先端的方法相比，我們的深度網絡在不同資料集上展現了更卓越的性能。
原文釋出時間為：2018-07-24
本文來自雲栖社群合作夥伴“
大資料文摘”，了解相關資訊可以關注“
”。