小白導讀
論文是學術研究的精華和未來發展的明燈。小白決心每天為大家帶來經典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文内容。
摘要
傳統的融合方法和基于深度學習的融合方法通過一系列後處理過程生成中間決策圖，得到融合圖像。然而，這些方法産生的融合結果容易丢失源圖像的一些細節或産生僞影。受到基于深度學習的圖像重建技術的啟發，我們提出了一種不需要任何後處理的多焦點圖像融合網絡架構，以端到端監督學習的方式解決這些問題。為了充分訓練融合模型，我們生成了一個包含地面真實融合圖像的大規模多聚焦圖像資料集。為了獲得資訊更豐富的融合圖像，進一步設計了一種基于統一融合注意的融合政策，該融合政策由通道注意子產品和空間注意子產品組成。
具體而言，本文提出的融合方法主要包括三個關鍵部分：特征提取、特征融合和圖像重建。
我們首先利用七個卷積塊從源圖像中提取圖像特征。然後，在特征融合層，利用所提出的融合政策對提取的卷積特征進行融合。最後，通過四個卷積塊重構融合後的圖像特征。實驗結果表明，與目前最先進的19種多聚焦圖像融合方法相比，該方法具有顯著的融合性能。
論文創新點
提出了一種新的多聚焦圖像融合模型。融合模型可以端到端訓練，不需要任何後處理過程，直接獲得融合圖像，不需要生成中間決策圖。為了有效地訓練融合模型，我們建立了一個包含ground-truth融合圖像的大規模多聚焦圖像資料集。為了獲得高品質的融合圖像，我們設計了一種基于統一融合注意機制的融合政策。首先在特征提取子產品中對源圖像進行7個卷積塊疊加提取。然後利用所提出的融合政策對提取的圖像特征進行融合。最後，對融合後的圖像特征進行四個卷積塊疊加重構，生成融合圖像。此外，我們進行了大量的實驗來評估我們所提出的融合模型的性能。定性評價和定量評價的結果表明，我們的融合模型取得了顯著的效果，優于目前最先進的多聚焦圖像融合算法。總的來說，我們的工作對多焦點圖像融合的主要貢獻有四個方面：
- 為了實作多焦點圖像融合，建立了一個大規模的多焦點圖像資料集。資料集中生成的多焦點圖像具有部分聚焦和不同模糊程度，适合于融合模型的訓練。此外，我們還介紹了如何生成大規模的多焦點圖像資料集，這對制作資料集有很大的參考意義。
- 設計了一種新穎、合适的融合政策。基于所提出的統一融合注意力的融合政策能夠有效地融合所提取的圖像特征，同時比其他簡單的融合政策更加靈活。
- 提出了一種不需要任何後處理過程的端到端融合架構。這樣，融合模型中的所有參數都可以聯合優化，融合網絡可以直接輸入融合圖像，而無需生成中間決策圖。
- 在紅外和可見光圖像資料集以及醫學圖像資料集上進行了一些擴充實驗。進一步，我們提出的融合模型在其他融合任務的潛在應用。
模型架構
我們提出的融合架構主要包括三個部分:特征提取、特征融合和圖像建構。首先，在特征提取子產品中，我們采用7個堆疊的卷積塊從多焦點源圖像中提取圖像特征，卷積塊由一個核大小為3 3的卷積層和leakyRelu激活函數組成。對于輸入源圖像的每個卷積特征，利用我們提出的特征融合子產品對得到的特征進行融合。最後，使用由四個堆疊的卷積塊組成的圖像構造子產品對融合後的圖像特征進行重構，生成融合圖像。此外，為了獲得更準确的融合圖像，我們在訓練階段使用損失函數L來訓練我們的融合網絡。
在特征融合過程中，我們提出了一種新的特征融合政策。具體來說，我們的融合政策是基于統一融合注意力，并在這種高效架構的基礎上開發通道和空間注意力。UFA子產品的示範如圖上圖所示。
實驗結果
結論