圖像超分辨重建
圖像超分辨率（SR）是計算機視覺中提高圖像和視訊分辨率的一類重要技術。圖像超分辨率重建( Super-resolution Reconstruction，SR) 是由一張或多張低分辨率圖像得到高分辨率圖像的過程．
存在問題：
傳統圖像 SR 算法包括基于重構和基于樣例學習的方法，這些方法普遍難以恢複高頻細節資訊，導緻重建圖像模糊且計算複雜、實時性不高等問題，不适用于大放大因子( 如 × 4、× 8) 的要求． 為解決這些問題，近年來人們将深度學習用于圖像 SR 中． 如今，基于深度學習的圖像 SR 已逐漸成為主流方法．
本文主要是通過一下的分類對超分辨重建進行劃分：
以下呢，簡單對各個方法進行簡單的概念描述或者算法的擴充。
-
（一）多圖像超分辨率重建
-
（1）頻域法
概念：假定 LR 圖像生成模型後，分别對 LR 圖像和原始 HR 圖像進行傅裡葉變換，在頻域中建立起二者之間的線性關系，重建出 HR 圖像．
問題：該方法假設圖像中不存在運動模糊和觀測噪聲，同時忽略了光學系統的點擴散函數，是以隻适合理想圖像退化模型． 後續改進算法分别采用遞歸最小二乘法、離散DCT 變換和小波變換消除圖像中的觀測噪聲、空間模糊和相對物體運動，有效提高了重建圖像品質，并加快了算法速度．
總結：
頻域重建方法簡單，運作速度快，但該方法處理複雜退化模型的能力有限且難以加入先驗知識．
-
（2）空域法
空域法對影響圖像成像效果的空域因素( 如光學模糊、運動模糊等) 模組化．
方法：常用的 空 域 SR 方 法 主 要 包 括 非 均 勻 采 樣 内 插 法(NUI)、基于疊代反投影(IBP) 的方法、基于最大後驗機率(MAP) 的方法、基于凸集投影(POCS) 的方法和基于 MAP-POCS 的混合算法等．
-
（二）視訊超分辨率重建
-
（1）增量視訊超分辨率
-
（2）同時視訊超分辨率
增量視訊超分辨率方法的優點是速度快，相比于同時視訊超分辨率方法更适合對實時性要求高的應用，但輸出的 HR 視訊視覺效果較差。而由于同時視訊超分辨率方法考慮到了不同視訊幀之間的一緻性，是以可以生成較清晰的、品質較高的視訊，但其計算速度比較慢，不适合實時應用場景。
-
（三）單圖像超分辨率重建
-
（1）基于插值的單圖像超分辨率
概念：基于插值的單圖像超分辨率算法利用基函數或插值核來逼近損失的圖像高頻資訊，進而實作 HR 圖像的重建。
方法：
最近鄰插值、雙線性插值和雙三次插值都是典型的插值算法。基于邊緣指導的插值算法；利用了局部結構的圖像梯度架構先驗正則化實作插值過程；先插值後修改的政策增強圖像的視覺效果，提高相鄰圖像區域間的顔色或亮度的過渡；基于曲率的疊代插值方案，同時利用 GPU加速提高算法速度基于正則化的邊緣定向插值算法。
-
（2）基于重建的單圖像超分辨率
概念：基于重模組化型的圖像超分辨率算法通過将圖像的先驗知識作為限制條件加入到圖像的超分辨率重建過程中，使得超分辨率重建這個不适定問題變得可解。
可分為基于圖像自相似性、基于鄰域嵌入和基于稀疏表示的方法． 在基于圖像自相似性的方法中，訓練樣本集來自輸入圖像本身． 在基于鄰域嵌入和基于稀疏表示的方法中，訓練樣本集來自外部資料庫，與輸入圖像無關．
方法：
- 基于圖像自相似性的方法
該方法假設圖像局部内容及結構在不同尺度間或同一尺度内反複出現． 訓練集樣本通常由對輸入圖像做多尺度變換得到的不同分辨率下的圖像組成．
- 基于鄰域嵌入的方法
該方法假設 HR 圖像與其對應的 LR 圖像塊在特征空間中具有相似的局部流形，并用樣例圖像塊對輸入圖像進行拟合，通過樣例 LR 圖像塊訓練得到拟合系數，并将該拟合系數用于 HR 圖像重建．
- 基于稀疏表示的方法
基于稀疏表示的方法通過稀疏分解将圖像變換到稀疏域，并假設樣本庫中 LR-HR 圖像對共享同一稀疏系數． 對輸入的 LR 圖像利用 LR 字典計算其稀疏系數，将同樣的系數應用于 HR 字典上生成 HR 特征，得到最終的重建 HＲ 圖像．
-
（3）基于學習的單圖像超分辨率
概念：基于學習的圖像超分辨率算法通過訓練圖像資料集學習低分辨與高分辨圖像之間的映射關系，來預測低分辨圖像中丢失的高頻資訊，進而達到重建高分辨率圖像的目的。
分類：
機器學習方法成功應用到圖像超分辨率中。
流形學習也被用于圖像超分辨率中，Chang 等人提出了一種基于局部線性嵌入的圖像超分辨率算法。
稀疏表示和字典訓練也被用于圖像超分辨率方法中，Yang 等人将局部線性嵌入和壓縮感覺理論結合，利用信号的稀疏表示訓練樣本集得到學習字典。
Dong 等人首先提出基于深度卷積神經網絡的圖像超分辨率算法（SRCNN）。
基于深度卷積模型的超分主要分為基于卷積神經網絡( CNN) 的 SR方法和基于其它深度學習模型的SR方法．其中使用CNN結構的SR方法，可進一步分為基于SRCNN及其改進算法的網絡、基于先驗知識的網絡、基于殘差結構的網絡和基于密集連接配接的網絡．有些網絡如 Mem-Net、RDN則同時借鑒殘差結構和密集連接配接，而基于殘差結構的SR方法中又包含了基于生成對抗網絡(Generative Adversarial Net，GAN)的SR方法．
