一、區域分割圖像融合簡介
圖像的分解
對源圖像進行融合時,首先對圖像進行分解,利用拉普拉斯金字塔分解,先對圖像進行高斯金字塔分解,然後再進行拉普拉斯金字塔分解。
1 高斯金字塔分解
記源圖像為G0,G0即為高斯金字塔最底層,将其進行高斯低通濾波,之後對其進行隔行隔列的下采樣,得到的圖像與源圖像在較低分辨率上近似,分辨率是源圖的一半(高斯金字塔的第一層G1)。重複上述操作,得到下一層高斯金字塔。反複進行上述操作,得到若幹層,即構成高斯金字塔。假設高斯金字塔的第l層圖像為Gl:
2 拉普拉斯金字塔分解
将上述得到的高斯金字塔利用插值法進行插值,膨脹後的圖像Gl的尺寸與第l-1層圖像Gl-1尺寸相同,如式(13)所示:
3 彩色圖像融合
基于S-PCNN+局部熵(Local Entropy,LE)與拉普拉斯金字塔的融合,在一般RGB格式圖像中,對每個分量進行處理時,由于三個分量的相關性很大,不易對特定因素進行處理,是以對圖像進行融合時,為了得到較好的效果和有效的處理方式,先将RGB圖像轉換為HSI圖像,得到H、S、I三個分量,再分别對三個分量進行相關的處理與融合。
對于H分量,送入S-PCNN模型,經過疊代得到振蕩頻圖(Oscillation Frequency Graph,OFG),再對其得到的振蕩頻圖(OFG)進行局部熵(LE)的計算,得到OFG局部熵矩陣作為H分量的特征矩陣,最後根據不同的源圖像的H分量對應像素局部熵的大小,取其LE較大的像素作為最終融合所取的像素。
圖像的局部熵由下式表述:
其中:Pk=h(k)/(m×n),m×n表示像素I(i,j)的鄰域,h(k)表示鄰域的直方圖,pi為鄰域的歸一化直方圖,K表示鄰域像素的最大灰階值。
對于S分量和I分量,對其進行拉普拉斯金字塔分解,然後用不同的政策對經分解處理後的金字塔子層圖像進行融合。在金字塔低層的圖像,用局部熵來作為決策準則選取融合系數,高層金字塔圖像通過S-PCNN模型來選取融合系數。本文采用的融合算法是基于簡化脈沖耦合神經元的神經網絡模型(S-PCNN),S-PCNN模型每次疊代後,經過判斷每個像素對應的神經元是否點火,可以輸出一幅二值脈沖圖像,這些二值圖像包含了圖像的一些特征資訊。在S-PCNN網絡的N次疊代運算中,對每個圖像I的像素I(i,j)對應的神經元N(i,j)發出脈沖進行統計後可得到一幅振蕩頻圖(OFG),将OFG記為ION,則可用式(16)計算得到:
根據分析統計每個像素點的點火次數,再通過計算其局部熵(LE)來選取源圖像的包含更多資訊的更清晰區域,作為融合部分進行最終的圖像融合。經S-PCNN模型疊代後的圖可以展現圖像的主要細節資訊。
源圖像經拉普拉斯金字塔分解,得到許多在不同空間頻帶上的子圖像,由于在各個頻帶上的圖像包含的特征和細節不同,是以對不同頻帶上的子圖像進行融合時采用的融合政策也不相同。對金字塔的低層0~N,區域能量能衡量圖像的品質,采用區域能量的方式選取系數。其計算公式如下:
圖像融合後的結果如下式所示:
其中0≤l<N。
分别用上式計算獲得金字塔的各層圖像,融合後的圖像LF1,LF2,LF3,…,LFN,通過式(14)可以重構出最終的融合圖像。由于拉普拉斯金字塔高層圖像含有源圖像的細節資訊及紋理和邊緣資訊,S-PCNN在提取圖像紋理細節、區域分布等方面表現出色,是以對于高層的拉普拉斯金字塔圖像則采用的S-PCNN模型來選取系數。
本文提出的彩色圖像融合算法流程如圖2所示。
圖2 融合算法流程
結合算法流程,下面說明算法具體步驟:
1)将源彩色圖像從RGB空間轉換到HSI彩色空間,得到H、S、I三個分量。
2)将分離出的H分量送入S-PCNN模型,經過疊代後得到振蕩頻圖(OFG);再對其進行局部熵(LE)的計算,得到OFG局部熵矩陣作為H分量的特征矩陣;最後根據不同源圖像的H分量的對應像素的局部熵大小,取其LE較大的像素作為最終融合所取的像素。
3)将S、I分量進行拉普拉斯金字塔分解,對其用本文彩色圖像融合部分表述的方式進行融合。
4)融合後的H、I、S分量得到HSI彩色圖像,逆轉換為RGB得到最終圖像。
二、部分源代碼
clear all;
clc; 三、運作結果
四、matlab版本及參考文獻
1 matlab版本
2014a
2 參考文獻
[1] 蔡利梅.MATLAB圖像處理——理論、算法與執行個體分析[M].清華大學出版社，2020.
[2]楊丹,趙海濱,龍哲.MATLAB圖像處理執行個體詳解[M].清華大學出版社，2013.
[3]周品.MATLAB圖像處理與圖形使用者界面設計[M].清華大學出版社，2013.
[4]劉成龍.精通MATLAB圖像處理[M].清華大學出版社，2015.