最近看了一篇17年像素級的圖像融合方法綜述Pixel-level image fusion: A survey of the state of the art，主要講了基于多尺度分解和稀疏表示的融合方法，此外還包括評價名額讨論和在遙感、醫學、紅外可見光、攝影等領域的融合應用總結。文章很長全是字，好不容易才看完，在這裡分享一下。
Abstract
像素級圖像融合用于多種輸入圖像的融合，融合得到的圖像對于人眼觀察或者算法分析來說都提升了資訊量，是以在遙感圖像、醫學影像和暗光資料中應用廣泛。本文對像素級圖像融合方法、融合圖像評價手段、主要應用、未來挑戰都做了總結。
Introduction
圖像融合分為像素級、特征級和決策級，本文所說的像素級融合是直接在輸入層面對原始圖像進行了融合，主要是在視覺方面和計算機處理方面提升資訊量。很多領域的應用都已經受益于多個圖像的融合政策，例如遙感圖像中，低分辨率多光譜 (MS) 圖像和高分辨率全色 (PAN) 圖像用于獲得包含具有增強空間分辨率的多光譜圖像光譜内容的融合圖像；醫學圖像中，融合多個模态的資料可以使分析更為可靠準确；監控應用中，可以融合多個頻段的圖像，例如融合紅外圖像和可見光圖像。
多模态應用主要增長原因包括：低成本高品質圖像技術的發展，用模态融合可以克服一些傳感器圖像品質不高的缺陷；信号處理與分析算法的發展，例如稀疏表示，多尺度分解等對融合算法的提升較大；不同應用中獲得的互補圖像的數量和多樣性不斷增加，例如遙感領域衛星圖像可以獲得不同空間位置、時間、頻譜的各種圖像。
遙感領域重要的綜述包括1.Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics ；2. A critical comparison among pansharpening algorithms ；3. Multi-source remote sensing data fusion: status and trends 。醫學領域的綜述為Medical image fusion: A survey of the state of the art 。
1 像素級圖像融合方法
像素級圖像融合流程可以用下圖表示，主要包含三個步驟：圖像變換、變換系數融合、逆變換。
根據圖像變換方式不同，現有的融合方法主要可以分為四類：1.基于多尺度分解的方法；2.基于稀疏表示的方法；3.直接對圖像像素或在其他變換域中執行融合的方法，如主成分空間、HSI色彩空間等；4.結合以上各種模型的方法。
同時也可以根據融合政策也是融合中的一大關鍵技術，它決定了融合圖像選擇原始圖像的變換系數或者像素資訊如何組合，下表展示了各種基于像素的融合方法（具體文獻是什麼可以看本篇原文）。
1.1 基于多尺度分解的方法：該類方法在融合與其他圖像處理任務中都非常好用，下圖為這類方法的示意圖。
首先，用多尺度變換獲得輸入圖像的多尺度表示，即在聯合空域-頻域中的特征表示。然後，不同圖像的多尺度表示用特定規則進行融合得到，如系數的活動水準、鄰接像素之間的相關性、多尺度系數等。最後在融合表示上通過逆多尺度變換獲得融合圖像。這類方法有兩個基本問題：1.多尺度分解的方法；2.融合政策。下面介紹一些解決這兩個問題的方法。
多尺度分解方法：先前研究主要用混合方法和小波變換，如拉普拉斯混合、離散小波分解DWT、靜态小波分解等。近些年也有dual-tree complex wavelet、curvelet、contourlet、shearlet等方法。離散小波分解具有一些缺陷，如偏移方差、混疊和方向性缺失等。Dual tree complex wavelet transform 解決了上述問題。關鍵優勢就是平移不變性和方向選擇性，可以減少DWT引入的僞影。但是小波變換的各類衍生方法存在不能較好表示圖像的邊緣和曲線的問題，是以也引入了多尺度幾何分析工具增強圖像中的結構表示，如curvelet、contourlet。contourlet可以捕獲圖像中内在幾何結構，對二維信号處理也更擅長。shearlet則是計算效率更高，方向數量也沒有限制。
近年保邊濾波器在圖像多尺度表示中應用較好，如1. Edge-preserving decompositions for multi-scale tone and detail manipulation ；2.The multiscale directional bilateral filter and its application to multisensor image fusion ；3. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with gaussian and bilateral filters 等。除了保邊濾波器還有 anisotropic heat diffusion, log-Gabor transform, and support value transform 等方法也取得較好應用。總體來說這類方法優勢是能夠準确分離精細尺度的紋理細節、中等精細程度的邊緣和大尺度上空間結構的能力。這種特性有助于減少融合過程中的光暈和混疊僞影，進而能夠獲得有利于人類視覺感覺的融合結果。
除了多尺度分解方法，分解等級也會影響融合圖像的品質，如果分解等級較少，融合圖像的空間品質可能會不佳，如果分解等級過多，計算效率則會降低。是以最好能夠确定不同任務的最佳分解等級，如 Performance comparison of different multi-resolution transforms for image fusion 在不同圖像融合應用中的不同濾波器都研究了各種分解等級的效果， Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion 研究了具有特定分辨率的多光譜圖像與全色圖像融合的最優分解層數估計。
多尺度表示的融合政策：提高融合效果的另一個辦法是融合政策的選擇。以往方法包括系數、視窗、區域的權重融合、最大值融合。近年來的方法可以獲得更好效果，如 A multiscale approach to pixel-level image fusion
将融合看做為優化問題。A new metric based on extended spatial frequency and its application to DWT based fusion algorithms 使用基于PCA的方法融合基部，細節系數（小波變換的其餘四分之三部分）用最大值政策融合，然後進行鄰域形态學處理，提高了系數選擇的一緻性，進而減少了融合圖像的失真。Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale retinex 提出了一種融合多尺度分解的權重平均方法，通過結合全局權重和局部權重來确定不同尺度下的權重參數，使得該方法對噪聲不敏感，能夠很好地保留圖像細節。 A general framework for multiresolution image fusion: from pixels to regions 首先對輸入圖像進行多分辨率分割，然後利用分割結果指導融合過程。Cross-scale coefficient selection for volumetric medical image fusion 提出了一種新的跨尺度融合規則，用于基于多尺度分解的醫學圖像融合，同時考慮到尺度内和尺度間的一緻性。 此外，通過使用廣義随機遊走方法優化不同尺度的權重，可以有效利用相鄰像素之間的空間相關性。Image fusion with guided filtering 沒有使用全局優化方法。 提出一種基于引導過濾的權重平均方法來融合輸入圖像的多尺度分解。
總體來說，這類方法主要研究熱點集中在了多尺度分解這裡，融合的研究相對少些，不過近年的研究在融合方面獲得一些進步，彌補了多尺度變換的不足。在配準不佳或者噪聲較多時，最大值融合或者平均法容易使融合結果存在僞影，在通過充分利用相鄰像素之間的強相關性和不同尺度系數之間的相關性後，這些問題實際上可以得到有效的解決。
1.2 基于稀疏表示的方法：通過模拟人類視覺系統的稀疏編碼機制，稀疏表示在很多圖像處理任務中都很成功，如去噪、插值、識别等。稀疏表示可以通過從過完備字典中選擇atom的稀疏線性組合來描述圖像（或圖像塊），所得權重系數是稀疏的，即系數中隻有少量非零元素可以有效表示圖像的顯著性資訊。Multifocus image fusion and restoration with sparse representation 首次将稀疏表示用于圖像融合，做法是首先将圖像切割為多個重疊的patch以擷取局部顯著性和保持平移不變性，然後在同一個過完備字典上對每個patch進行分解，得到相應的稀疏系數。再對不同模态圖像的系數進行融合，使用融合系數和字典進行重構得到融合圖像。整個過程可以用下圖表示。稀疏表示的方法主要問題有：1.稀疏編碼獲得系數；2.字典建構。
稀疏編碼獲得系數：如前面提到首個将稀疏表示應用到融合的模型中就使用了orthogonal matching pursuit (OMP) 算法獲得patch，獲得的非零系數随機分布，最近的一些研究發現非零元素可能表示了一些結構。Group-sparse representation with dictionary learning for medical image denoising and fusion 引入了群稀疏限制，以保證得到的稀疏系數具有群稀疏性。Image fusion with local spectral consistency and dynamic gradient sparsity 在稀疏解中加入梯度稀疏性限制，使稀疏系數更準确地反映邊緣的銳利程度。由于多源圖像是從同一場景中擷取的，是以這些圖像之間存在很強的相關性。Pixel-level image fusion with simultaneous orthogonal matching pursuit 利用同步OMP（simultaneous OMP）對同一字典上多個源的patch進行聯合分解，使得不同源的非零系數出現在同一位置。
字典建構：字典建構大體上有兩種方式：基于數學模型（如 discrete cosine transform, wavelet, curvelets ）和基于樣例學習（K-SVD, method of optimal direction ）上文提到的首個将稀疏表示應用到融合的模型中采用數學方法來構造字典，由于每種數學模型隻針對特定的結構，是以這類字典對自然圖像的表示能力有限。Pixel-level image fusion with simultaneous orthogonal matching pursuit 利用多種數學模型建構混合字典，雖然可以反映多種結構但是仍然對不同結構的适應性還是較差。其餘還有很多工作也在大量資料集上學習得到了過完備字典，雖然适應性增強，但是單一的字典仍然較難準确反映複雜結構。是以 Joint patch clustering-based dictionary learning for multimodal image fusion 首先将訓練樣本聚類成多個結構組，然後在每個組上訓練一個特定的子詞典。這樣，每一個子詞典都能很好地适應特定的結構，整個詞典具有更強的表示能力。 Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model 分别建構了多光譜圖像和全色圖像融合的光譜字典和空間細節字典。
總體來說，基于稀疏表示的融合方法仍然基于傳統融合政策，如基于窗的方法，最大值和權重平均等。和多尺度分解類似，融合政策是一個研究方向。
1.3 其他域的方法：也有很多方法不是基于多尺度分解和稀疏表示的。一些方法直接計算了輸入圖像的權重和作為融合結果，也有将圖像變換到其他域的，下文将針對這兩類方法進行解釋。
像素域方法：圖像融合一種很直接的方法就是對像素點直接權重平均，通常根據不同像素的活動水準來确定權重。例如支援向量機和神經網絡的方法都是将活動水準最高的像素點作為融合目标，而小波變換系數則是将這類像素作為特征。為了利用空間背景資訊，Combination of images with diverse focuses using the spatial frequency 将輸入圖像分成均勻的patch，并使每個patch的空間頻率最大化。為了自适應地确定最優patch大小，Multi-focus image fusion using a morphology-based focus measure in a quad-tree structure 利用四叉樹結構來獲得最優的patch劃分。不過這類方法容易在目标邊界上産生瑕疵。也有基于區域的圖像融合方法，首先進行圖像分割得到的形狀不一的區域後再進行融合。基于分割的方法的問題是嚴重依賴于對圖像分割的準确性。
另一種方式是充分利用相鄰像素空間相關性，可以通過對初始像素級權重圖的後處理來實作。 基于局部特征計算權值，然後基于圖像摳圖對權值進行細化。Multi-focus image fusion with dense SIFT 測量源圖像塊的活動水準以獲得初始決策圖，然後通過特征比對和局部活動水準比較對決策圖進行細化。Fast multi-exposure image fusion with median filter and recursive filter 提出了一種基于邊緣濾波的初始權值細化方法。Generalized random walks for fusion of multi-exposure images 通過使用基于随機遊走的優化來考慮鄰域資訊。QoE-based multi-exposure fusion in hierarchical multivariate gaussian CRF 進一步改進了該方法，在分層多變量高斯條件随機場模型中，利用最大後驗機率（MAP）估計得到最優融合權值。Multi-focus image fusion based on robust principal component analysis and pulse-coupled neural network 先利用魯棒主成分分析方法将源圖像分解為主成分矩陣和稀疏矩陣，然後以局部稀疏特征作為脈沖耦合神經網絡的輸入，進行權值估計。 A total variation-based algorithm for pixel-level image fusion 提出了一種基于全變差的方法來融合多源圖像，而不是執行像素的權重平均，其中成像過程被模組化為局部仿射模型。
變換到其他域的方法：基于顔色空間和降維也有很好的方法，例如HSI空間變換、PCA、Gram-Schmidt等。這類方法在遙感領域融合低分辨率多光譜圖像和高分辨率全色圖像中應用很廣泛。融合通常是通過用高分辨率全色圖像代替多光譜圖像的強度或第一主成分來實作的。 這種成分替換政策在整個圖像上以相同的方式進行，可以認為是一種全局方法。全局融合政策保證了融合後的圖像能夠很好地保留輸入圖像的空間細節。但是這種方法沒有考慮到輸入圖像之間的局部差異，是以可能會在融合圖像中造成顔色失真。一些工作希望可以自适應估計待替換的最優成分。An adaptive IHS pan-sharpening method 通過最小化亮度成分與全色圖像之間的差異，自适應地估計不同波段的全局權值，構造最優的亮度成分。A new adaptive component-substitution-based satellite image fusion by using partial replacement 使用線性回歸模型生成合成成分，并且根據亮度分量與全色圖像的相關性，隻對成分進行部分替換。Combining the spectral PCA and spatial PCA fusion methods by an optimal filter 應用了matting模型，将輸入圖像分解為光譜前景、光譜背景和alpha分量，然後進行基于成分替換的遙感圖像融合。
不過上述方法主要是全色圖像和灰階圖像的融合，也有工作做了其他類型的融合。Pixel-based and region-based image fusion schemes using ICA bases 使用ICA方法進行了多焦點圖像融合。Poisson image fusion based on markov random field fusion model 輸入圖像的顯着結構首先在梯度域中融合。 然後，通過求解泊松方程來重建融合圖像，該方程迫使融合圖像的梯度接近融合梯度。Image fusion using intuitionistic fuzzy sets 在圖像融合中應用直覺模糊集理論，其中輸入圖像首先被轉移到模糊域，然後使用最大和最小操作進行融合。
組合多種變換的方法：和多模态融合一樣的思路，也可以組合多種變換來獲得每種變換的優勢，彌補缺陷。多尺度變換雖然在不同尺度提取各種空間結果，但是不能稀疏地表示低頻分量，由于低頻分量包含大量能量，這時如果直接用平均或最大值選取低頻系數則會降低融合效果。稀疏表示可以通過字典學習從多源圖像獲得有效表示，但是字典中atoms數量的限制使小尺度細節資訊較難重構。基于HSI色彩空間和PCA的方法雖然速度快，融合效果也好，但是不能直接用在啊如多焦點融合、多曝光融合等應用。
是以也有一些工作将多種變換組合進行融合。Hybrid multiresolution method for multisensor multimodal image fusion 提出了混合多分辨率方法，組合了小波和contourlet。實驗表明，混合小波方法比基于單個小波或輪廓波的方法具有更好的性能。A general framework for image fusion based on multi-scale transform and sparse representation 提出了一種基于多尺度變換和稀疏表示的通用圖像融合架構。首先使用多尺度分解方法對源圖像進行分解。然後，利用稀疏表示法對低頻分量進行融合，利用傳統的融合規則對高頻細節進行融合。最後進行多尺度逆變換得到融合圖像。 Image fusion with morphological component analysis 提出了一種基于形态分量分析和稀疏表示的融合方法，該方法首先對源圖像進行形态分量分析分解，然後采用基于稀疏表示的方法進行融合。Image fusion with nonsubsampled contourlet transform and sparse representation 提出了基于非抽樣contourlet和稀疏表示的融合方法。MRI and PET image fusion by combining HIS and retina-inspired models 提出了HSI空間與多尺度分解相結合的醫學圖像融合方法。An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images 提出融合HSI和小波的融合方法，減少遙感圖像融合中的顔色失真。
2 評價名額
融合結果較好可以了解為：1.融合圖像保護了不同模态圖像之間的互補資訊和有效資訊；2.融合算法不會産生任何可能分散人類觀察者或進一步處理任務的視覺僞影；3.融合算法應當例如比對不準和噪聲大等情況魯棒。同時，融合算法的研究中難以獲得groundtruth，評價有時候靠人類主觀評價，是以找到能夠客觀評價融合結果的名額也很重要。先前的評估方法主要分兩類：一種需要能夠參考的融合圖像，另一種則不需要。
需要參考圖像的客觀評價名額：一些應用中融合圖像可能是手動建構的，是以可以作為測試融合圖像效果的groundtruth。例如遙感圖像融合中，首先需要對輸入的多光譜圖像和全色圖像進行降質，然後再進行融合，融合後的圖像與原始未進行降質的圖像作為groundtruth進行對比計算名額。在一些多焦點融合中，groundtruth也可以通過人工分割焦點準确區域的圖像再拼合得到。這類有參考groundtruth的情況有多種名額都可以用，如經典的均方根誤差（RMSE）和峰值信噪比（PSNR），不過這兩個名額在一些場合中與人類視覺感覺不是很一緻，是以近些年提出了一些較新的評價名額作為備選。如 erreur relative globale adimensionnelle de synthèse (ERGAS)就是遙感領域中，基于計算不同波段的全局RMSE計算融合圖像的光譜品質方法。除了計算逐像素的差異方法，還有測量結構資訊損失的方法、測量具有相位一緻性的局部結構的顯著性。Gradient magnitude similarity deviation: A highly efficient perceptual image quality index 結合像素梯度幅度相似度和基于标準差的合并方案，構造了一種新的融合圖像品質名額，不過沒有隻考慮結構資訊的丢失。Two-dimensional approach to full-reference image quality assessment based on positional structural information 提出了一種基于兩種不同度量的品質度量，其中一種度量基于有關結構位置的 Fisher 資訊的損失，另一種表示圖像的失真類型。為了研究人類如何解讀可見光和紅外圖像，Towards cognitive image fusion 設計了實驗來測試不同圖像融合算法的性能。在測試中，首先通過手動分割一組輸入圖像來構造參考輪廓圖像。得到的參考圖像用于評估融合圖像的手動分割結果。不過以上方法仍然具有以下缺陷：1.某些名額可能更适合評估融合過程中産生的一種圖像失真類型，但對其他名額較差，這限制了這些名額在不同圖像融合應用中的使用；2.對于跨分辨率圖像品質評估還沒有很好的解決方案。 例如，在遙感應用中，全參考圖像融合度量隻能在分辨率降低的環境中使用；3.對于彩色、多光譜、高光譜、三維體素等多通道圖像，現有的全參考圖像融合方法大多不能直接使用。
不需要參考圖像的客觀評價名額：不是所有應用都有groundtruth，是以不需要groundtruth的評價名額也很需要，這類評價方法主要分為兩類：1.基于資訊論的度量，隻考慮有多少資訊從輸入轉移到融合圖像；2.基于局部特征的融合度量，評估從輸入圖像轉移到融合圖像的特征的相對數量（對人類視覺系統敏感）。
為了測量融合圖像中保留的資訊量也出現了很多評價手段，例如基于互資訊的方法，互資訊 (MI) 是對兩個變量的聯合統計分布之間距離的定量度量。Comments on “Information measure for performance of image fusion” 提出了一種歸一化的MI度量，在評估過程中還考慮了不同源圖像之間的熵差。 Image fusion metric based on mutual information and tsallis entropy 用Tsallis熵定義互資訊度量。Image fusion performance metric based on mutual information and entropy driven quadtree decomposition 研究了一種基于四叉樹分解的局部MI度量。 Performance evaluation of image fusion techniques 提出了一種用于融合品質評價的非線性相關系數，類似于互資訊的定義。基于資訊論的評價的一個共同限制是它們缺乏估計從源圖像到融合圖像的局部特征的變換。
為了基于資訊論的度量的替代方案，出現了基于局部特征的客觀性能度量。Objective image fusion performance measure 提出了一種基于梯度的融合度量，該方法估計從輸入到融合結果的邊緣資訊量。A new metric based on extended spatial frequency and its application to DWT based fusion algorithms 提出了一種基于空間頻率的度量，其中邊緣資訊被表示為沿不同方向的梯度。A feature-based metric for the quantitative evaluation of pixel-level image fusion 使用相位一緻性來測量從輸入圖像到融合圖像的圖像特征量。還有基于結構相似性指數（SSIM）的圖像融合度量方法來度量融合圖像中結構資訊的儲存情況，如Focused pooling for image fusion evaluation 首先計算每個源圖像和融合圖像之間的逐像素 SSIM 映射。 然後，可以使用空間池化方案來獲得融合性能的全局度量。由于人類視覺系統高度适應結構資訊，是以，對融合過程中結構資訊損失的測量可以提供對真實融合性能的良好近似。 除了SSIM，A human perception inspired quality metric for image fusion based on regional information 首先在整個圖像上使用對比敏感度函數 (CSF)，然後在逐個區域的基礎上估計傳輸的局部空間資訊。A new image fusion performance metric based on visual information fidelity 提出了一種基于視覺資訊保真度 (VIF) 的圖像融合度量。
以上兩類評價名額的對比：Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: A comparative study 對比了夜景融合的各類名額。Theoretical analysis of correlation-based quality measures for weighted averaging image fusion 對應用于權重平均融合算法的不同品質度量進行了理論分析。Perceptual quality assessment for multi-exposure image fusion 測試了在多曝光圖像融合的不同融合名額。目前已有不需要參考圖像的客觀評價名額有很多挑戰：1.很多評價名額隻能用于灰階圖像，對于具有多通道的彩色圖像，适當考慮顔色變化可以顯著提高融合度量的性能；2.在某些應用中，輸入圖像可能是在動态場景中捕獲的，或者包含噪聲和圖像模糊。 是以，針對這些不完美的情況推廣現有的度量标準是有用的；3.如何實時進行品質評價。
3 主要應用
遙感領域：下圖是遙感領域圖像融合的例子，分别為多光譜和全色圖像的融合與多光譜與高光譜圖像的融合。
第一個例子是全色銳化，已經在Google Earth 和 Google Map中廣泛應用。檢測和分類的結果也受益于全色銳化圖像。擷取具有數百個連續光譜帶的場景的高光譜 (HS) 成像在土地覆寫分類和光譜分離中很有用。但是目前技術限制了高光譜圖像的分辨率，甚至比多光譜還要差，是以 Spatio-spectral fusion of satellite images based on dictionary-pair learning 融合了全色、多光譜、高光譜圖像來提高空間分辨率。
此外，由于多通道的多光譜圖像同時包含光譜資訊和空間資訊，已有的全色銳化不适合多光譜和高光譜圖像的融合。除了上述模态外，還有SAR成像、LiDDAR、MODIS等模态應用在了圖像融合。Landsat ETM+ and SAR image fusion based on generalized intensity modulation 将全色銳化推廣到了多光譜與高分SAR的融合。An area-based image fusion scheme for the integration of SAR and optical satellite imagery 提出了應用于全色圖像、多光譜和SAR基于區域的融合方法。Improving sensor fusion: A parametric method for the geometric coalignment of airborne hyperspectral and LiDAR data 提出了一種時空資料融合方法，通過結合 Landsat 和 MODIS 資料合成 Landsat 影像，此外還研究了機載高光譜和雷射雷達資料的融合，整合光譜和高程資訊。
上圖還展示了各種遙感領域的資料集，如IKONOS、Quickbird、Worldview-2均源自衛星圖像。相比于全色圖像和多光譜資料，配準的高光譜和多光譜資料更難獲得。現有的融合解決方案大多是基于高光譜圖像的特定波段獲得的合成多光譜圖像，如機載可見紅外成像光譜儀（AVIRIS）和反射光學系統成像光譜儀光學傳感器（ROSIS）采集的圖像。不過随着遙感衛星技術提高，未來将能夠擷取不同空間分辨率的高光譜和多光譜圖像。此外，目前也已經有機載高光譜圖像和LiDAR資料集了。
這個領域存在的主要問題：1.光譜和空間失真。 如上所述，遙感圖像融合中使用的資料集通常在光譜和空間結構上表現出許多不同之處。 在這種情況下，融合過程可能會對這些結構産生失真，進而在融合圖像中引入光譜和空間僞影；2.配準問題。實際應用需要減少配準錯誤的影響，遙感領域的圖像常源于不同時間、光譜帶、傳感器的資料，即使同一平台的全色和多光譜資料的傳感器也可能對準了不同方向，采集時間可能也不同。為了解決這一問題，現有的大多數圖像融合方法都要求在融合前對源圖像進行精确配準。然而，由于輸入圖像之間的顯著差異，特别是對于通過不同采集捕獲的圖像，配準是相當困難的。
醫學影像：下圖展示了醫學影像融合的例子，即MRI和PET的融合、MRI與CT的融合。MRI的主要優勢在于可以捕捉器官的軟組織結構，CT則可以以高分辨率形式捕捉骨結構，PET是核醫學成像，圖像通常空間分辨率較低。将CT、MRI、PET通過融合使用可以提高診斷準确率。此外還有融合SPECT和超聲成像的方法。
網站http://www.med.harvard.edu/AANLIB/home.html 包含了已經配準後的CT、MRI、PET資料集。
該領域主要問題包括：1.缺乏面向臨床問題的融合方法。醫學圖像融合的主要目标是幫助獲得更好的臨床結果。 然而因為需要醫學領域知識和算法洞察力，設計針對特定臨床問題的方法仍然是一項具有挑戰性卻重要的任務；2.如何使用客觀名額評價融合結果，這也需要針對不同的臨床問題來設計；3.比對不準，和之前遙感資料融合類似。
視訊監控：下圖是視訊監控中紅外圖像與可見光圖像、白天與晚上圖像的融合應用。紅外圖像會根據溫度來顯示目标，不受光線條件不足的影響，不足是分辨率較低。不過可見光的分辨率較高，是以可以通過将這兩種模态資料融合來彌補紅外圖像的不足。白天和夜間圖像的融合，通常被稱為 denighting，是監控應用的另一項重要技術，夜景圖像由于光照不足導緻信噪比較高，相對于白天拍攝的圖像對比較較低且噪聲較多，通過融合就可以顯著提高夜景圖像的品質。近年也有可見光、紅外、近紅外圖像的融合方法用于圖像去霧、人臉識别、軍事偵察等。
紅外和可見光圖像資料集可見http: //www.ece.lehigh.edu/SPCRL/IF/image_fusion.htm 和http://www.metapix.de/indexp.htm 。人臉識别有Equinox資料集內建了長波紅外和可見光圖像。還有彩色熱敏行人資料集：http://vcipl-okstate.org/pbvs/bench/ 。對于denighting也有資料集：http://web.media.mit.edu/∼raskar/NPAR04/ 。
主要問題包括：1.計算效率問題。由于大多視訊監控應用要求實時處理，是以這類融合應用需要提高處理速度；2.魯棒性。由于視訊監控應用可能會處于各種惡劣環境，有光照不足、氣象條件差等環境因素造成圖像噪聲大、欠曝嚴重等問題，是以融合算法要對這類圖像較為魯棒。
攝影應用：下圖是融合在攝影中的應用，即多焦點融合和多曝光融合。多焦點融合是由于相機一定光圈大小下景深限制，使得隻要焦平面内的物體是清晰的，想要畫面内所有物體都清晰就需要對多個焦點的圖像進行融合。融合後的圖像能夠很好地保留原始資料中的相關資訊，是以在許多機器視覺和圖像處理任務中具有很高的應用價值。與多聚焦圖像融合的思想類似，多曝光圖像融合的目的是将多幅不同曝光的圖像進行融合，得到一幅完全曝光的圖像。還有一種應用是融合使用閃光燈和不使用閃光燈的圖像，因為在暗光條件下使用閃光燈也通常會造成紅眼、強光反射、背景過曝目标欠曝等僞影問題。
多焦點融合的資料集有：http://dsp.etfbl.net/mif 。多曝光融合資料集：http://www.easyhdr.com 、Waterloo IVC Multi-Exposure Fusion Image Database 。此外資料集Petrovic´ image fusion database 同時提供了多焦點和多曝光資料。
存在的主要問題包括：1.移動目标的影響。多焦點和多曝光融合都是需要拍攝多張照片，是以每張照片的拍攝時間不同，很可能目标存在移動的問題。這種移動的目标可能會對融合目标造成拖影等問題；2.在消費者電子産品中應用。這類方法在民用攝影裝置中應用較為廣泛，是以将多曝光融合與多焦點融合內建在消費級電子産品中也很重要。
4 未來研究趨勢
雖然人們提出了各種圖像融合和客觀性能評價方法，但目前在不同的應用領域仍存在許多開放性問題。本節分析了遙感、醫學診斷、監視和攝影等不同應用領域的未來趨勢。
在遙感領域中，主要問題是如何在融合多光譜、高光譜和全景圖像時減少視覺失真。 此外，雖然輸入圖像通常是在同一平台上捕獲的，但不同的成像傳感器并不完全聚焦在同一方向上，采集時間也不完全相同。 在這種情況下，由于源圖像之間的分辨率和光譜差異，配準較為困難。 最後，由于遙感傳感器的快速發展，開發用于融合新型飛機或衛星傳感器捕獲的圖像的新算法将是一個熱門的研究課題。
在醫學圖像領域，配準同樣困難，因為醫學圖像通常是用不同方式采集。 更重要的是，設計針對特定臨床問題的方法是醫學診斷的一項具有挑戰性和重要的任務，因為融合方法的設計需要醫學領域知識和算法設計能力。 此外，由于所需的融合性能可能與一般圖像融合不同，是以對醫學圖像融合方法的客觀評價也是一個具有挑戰性的課題。
在監控視訊中應考慮兩個要求。 一方面，融合方法需要計算高效以便實時處理。 另一方面，由于圖像采集條件在室外環境中可能會發生巨大變化，是以設計對噪聲、欠曝或過曝等條件下融合的魯棒性是一個非常重要的問題。
在攝影領域，由于輸入圖像可能在不同的時間拍攝，拍攝過程中運動物體可能出現在不同的位置，進而在融合圖像中産生拖影。設計應對這種配準不準的方法是該領域的一個重要問題。 此外，另一個研究方向是如何将圖像融合算法應用于嵌入式消費類相機系統，以實作實際攝影應用。