壓縮傳感不是萬能的, 雖然它是信号和圖像處理領域最熱門的研究對象,但是它不可能解決所有問題。就像中科院李老師的話:“壓縮感覺根植于數學理論,它給目前國内浮躁的學術環境提了一個警鐘!因為隻有很好地鑽研它的基本理論和方法,才能将其有效地應用在所關心的問題中;否則它隻能是一劑春藥,一種無法名狀的春藥!”
人們習慣于用正交基來表示信号,直到最近幾十年,人們才發現用備援的基元素集合來表示信号能夠取得更好的結果,當然我們追求的肯定是用最小數量的基元素來最優的表示信号,這就出現了信号的稀疏表示。
L1範數最小化最早并不是Donoho提出的,早在80年代,FadilSantosa 和William Symes就曾提出了L1範數的最小化,而Donoho提出Compressed sensing 并不是換湯不換藥,CS并不是解決信号在一個完備集裡面的最優表示問題的,而是提出了一種新的信号采集或者測量方式,這種新的測量方式打破了Shannon-Nyquist定理在信号處理領域一手遮天的局面,已經提出,就引起了相關領域大批學者的關注。Shannon-Nyquist采樣定理要求在信号的采集階段以高于信号帶寬的兩倍采樣率來擷取信号,信号才能得到完美的重構,而CS則對信号的帶寬不再作要求,取而代之的是稀疏性,滿足條件的信号則可在遠少于SN采樣率的情況下精确的重構信号。
從數學上來說,CS是在一定的條件下求解欠定(不适定)方程,條件包括x要是稀疏的,測量矩陣要滿足RIP條件,那麼欠定(不适定)方程就會以很大的機率有唯一解。
-------------------------------------------------------------------------------------------
《Robustuncertainty principles: Exact signal reconstruction from highly incompletefrequency information》
1.文章告訴我們壓縮傳感在圖像領域的發展源于作者在醫學圖像領域--MR圖像重構得到的驚人結果,接着提出了壓縮傳感的數學模型,即當一信号在時域具有稀疏性的前提下,對頻域進行少量樣本的随機抽樣,就可以對信号進行重構,作者事實上是從一個特例開始讨論的,即B1是簡單的抽樣基,B2是傅裡葉基,到了文章的結尾,才對這一事實進行擴充,而且上來就是全變分模型,而不是抽象的L1範數最小化。
2.接着作者提出了兩個問題:哪一類的信号才可以得到完美的重構,以及,重構時對采樣數目的要求到底是什麼,作者用定理1.3回答了以上問題,具有T稀疏性的信号,如果采樣數滿足。。。要求,那麼信号可以得到重構,并且可以證明,重構是唯一的而且是最優的。最優性指的是,沒有其他的算法可以用更少的采樣數目得到這樣的結果。
3.作者闡述了壓縮傳感與測不準原理的關系,并且提出了新的更強的準則。
4。壓縮傳感與相關研究的聯系:利用L1範數最小化來恢複稀疏信号并不是壓縮傳感的新創,由來已久,其外,壓縮傳感與信号的稀疏分解具有很深的淵源,從某種意義上說,他們是相同的,當然他們具有本質上的不同:壓縮傳感是從不完整的資料中恢複信号,而稀疏分解是找到信号的最稀疏最有效的表達,最後作者從信号采樣的角度告訴我們文章的最大貢獻是提出了一種新的信号采樣方式:數目更少,随機性。
5.文章花了大部分的篇幅來證明解的唯一性,在最後,給出了算法的穩定性,魯棒性,以及算法的擴充,信号具有T稀疏,且采樣數目滿足定理要求,算法是穩定的,魯棒性在相關的文章讨論,擴充指的是信号可以在更多的基裡面具有稀疏性,不局限于時域和頻域,且采樣矩陣也可以有更加多樣的選擇。
-------------------------------------------------------------------------------------------
1-On theory of compressive sensing viaell1 minimization Simple derivations and extensions
作者資訊:Rice,Yin Zhang:http://www.caam.rice.edu/~zhang/
該文首先指出目前的CS理論有兩大部分構成:recoverability和stability,recoverability指的是,什麼樣的采樣矩陣和恢複算法能夠重構k稀疏信号,而stability指的是當出現信号的近似k稀疏或者出現觀測噪聲時,算法的魯棒性。本文的主要的contributions包括:1)提出了一種全新的non-RIP的分析架構;2)與RIP類算法相比,該算法能夠将任意形式的先驗資訊融合到CS理論中;3)文章還驗證了随機矩陣本質上是一緻的。
2-Instance-optimality in probabilitywith an ell1 decoder
作者資訊:Department of MathematicsUniversity of South Carolina
ronald devore:http://www.math.sc.edu/~devore/
該文……
3-Incoherent dictionaries and thestatistical restricted isometry property
作者資訊:Tel-AvivUniversity Shamgar Gurevich: http://math.berkeley.edu/~shamgar/
這個大牛的文章太深奧,純的數學
4-On verifiable sufficient conditionsfor sparse signal recovery via ell-1 minimization
作者資訊:未找到
文章直接指出現有的RIP或者其他的包括Restricted Eigenvalue assumption 和RestrictedCorrelation assumption都不能立即判定一個矩陣是否能适合L1範數最小化來精确重構信号,因為這些名額都是不可計算的都屬于NP問題,而唯一的可計算的名額:Mutual Incoherence又過于保守。該文提出了一種新的量化名額來定量描述給定的矩陣是否足夠好來适合L1範數最小化來重構信号。
5-The secrecy of compressed sensingmeasurements
作者資訊:Draper Laboratory,Yaronrachlin:http://yaron.rachlin.googlepages.com/
該文讨論了CS理論在密碼學中應用的可行性,作者主要集中在L1範數最小化算法且無噪聲的情況,結論是利用CS并不能得到完美的密碼,但是作者闡釋了一種稱為computational notion of secrey,并說明了CS的measurment可以考慮作為密碼。
6-Toeplitz compressed sensing matriceswith applications to sparse channel estimation
作者資訊:Rice University,Javis Haupt:http://www.ece.rice.edu/~jdh6/
該文前邊部分對CS做了很好的綜述,包括介紹CS的幾種情況:最簡單的CS,近似稀疏信号的CS重構,含Gaussian觀測噪聲的CS恢複算法,含有限噪聲的CS恢複算法。特别是最後兩種的差別,文章給了很好的解釋和說明,包括相應的算法的各自特點。
7-On recovery of sparse signals via ell1minimization
作者資訊:The Wharton School University of Pennsylvania
t.tony cai:http://www-stat.wharton.upenn.edu/~tcai/
這篇文章是對candes及Donoho的方法的改進,作者将問題進行了不同的分類,包括無噪聲,有限噪聲及高斯噪聲三種情況,然後讨論了兩種重構模型:DantZig Selector和L1 minimation with L2 constraints,主要的改進之一是提出了更弱的條件,使得可以重構的信号範圍進一步擴大。通常我們用RIP性質,或者MIP性質來驗證矩陣是否能用來作為一個采樣矩陣,文章對這兩個條件進行了讨論,并分析了他們之間的關系。作者隻是将一個更弱的條件用到這三種情況下,不過作者首頁上還是可以看到,09年作者做了相當多的工作。
8-Deterministic designs withdeterministic guarantees Toeplitz compressed sensing matrices sequence designand system identification
作者資訊:Boston University Department of Electrical and Computer Engineering
venkatesh saligrama:http://iss.bu.edu/srv/
該文應該屬于CS在無線通訊領域的應用,以前的滿足RIP性質的采樣矩陣一般都是滿足特定分布的随機矩陣,最近才逐漸出現确定元素構成的采樣矩陣,本文作者根據該領域的特殊要求,構造了特别的采樣矩陣,并證明了其滿足RIP性質。
9-Compressive sensing by randomconvolution
作者資訊:Georgia Tech,Justin Romberg:
http://users.ece.gatech.edu/justin/Justin_Romberg.html
該文提出了一種全新的CS架構:先與随機的波形元素進行卷積,然後在時域内進行降采樣,進而得到觀測值。作者在文章中說明了這種方法是一種通用有效的稀疏資料觀測方式,并用radar和Fourier optics兩種應用情景來說明這種觀測方式能夠讓我們得到分辨率更高的結果,但是這個架構的通用性還是值得進一步的探究。個人認為作者對信号的稀疏性解釋的非常詳細,并且分别将稀疏度與帶寬對應,采樣需求數目與采樣頻率對應。作者對以前的随機采樣矩陣進行了分類:每個元素服從于某種分布;随機從某正交基中抽取m行作為采樣矩陣,并從通用性和計算量上對兩種矩陣進行了對比。作者還提出了三個考量采樣系統的名額:通用性,計算量,以及實體可實作性。
10-Compressed sensing over the Grassmannmanifold A unified analytical framework
作者資訊:Caltch,Weiyu Xu:http://mathbaby.spaces.live.com/
該文指出,滿足RIP的采樣矩陣能夠恢複出稀疏信号,隻是一個充分條件,作者基于高維幾何,提出了更加緊的充要條件,而算法的目标也很明确:近似稀疏信号(作者給出了很特别的定義:基于L1範數);
11-Combining geometry and combinatoricsA unified approach to sparse signal recovery
作者資訊:MIT,Radu Berinde:http://people.csail.mit.edu/radu/
該文對采樣矩陣和恢複算法進行了分類:基于組合的方法和基于幾何的方法,并且相應的算法有相應的采樣矩陣與其相對應,組合的方法通常對應于稀疏的二值矩陣,而幾何的方法主要是指常用的l1範數最小化等,對應的矩陣為稠密的随機高斯随機貝努力矩陣。文章從整體的觀點出發,認為兩種方法在某種意義下是相同的,并提出了新的采樣矩陣和恢複算法。
12-High-dimensional subset recovery innoise Sparsified measurements without loss of statistical efficiency
作者資訊:UC Berkeley,Dapo Omidiran: http://www.eecs.berkeley.edu/~dapo/
該文同上篇文章一樣,也是研究了基于稀疏采樣矩陣的Losso算法,同時考慮采樣矩陣的稀疏和觀測樣本的噪聲,并證明了當采樣矩陣的稀疏度趨于0的情況下所需要的采樣數目與稠密的采樣矩陣需要的相同。
13-Efficient compressed sensing usinghigh quality expander graphs
作者資訊:Princeton,sina Jafarpour:
http://sina2jp.googlepages.com/sinajafarpour%27shomepage
該文起源于Coding Theory,用于error correcting,其中比較經典的error correcting codes是LDPC(Low Density Parity Codes),随後被xu weiyu(加州理工)用于CS領域,這篇文章是對Xu的理論的改進。
常用的RIP性質被用來檢驗一個随機矩陣是否能夠用來作為采樣矩陣,進而使得L1範數最小化算法能夠對稀疏信号進行完美的重構,滿足RIP性質的矩陣可以作為采樣矩陣(充分條件),而Radu(見本頁第一篇文章)提出了一種新的RIP,called RIP-1,标準的RIP(也稱:RIP-2)保持了兩稀疏信号的歐氏距離即Norm2,而RIP-1,則保持了稀疏信号的Manhattan距離,即Norm1,作者在文中說明了,隻要矩陣滿足RIP-1,也能保證将稀疏信号完美重構。
14-On some deterministic dictionariessupporting sparsity
作者資訊:(特拉維夫,以色列港市)Shamgar Gurevich:
http://math.berkeley.edu/~shamgar/
作者系數學出身,這篇文章從語言到内容涉及到太多的數學内容,可略過。
15-A remark on compressed sensing 中提到:關于采樣矩陣需要滿足的條件,首先是由D.Donoho在文Compressive Sensing中提出的CS1-CS3條件,接着E.Candes,J.Romberg,T.Tao也獨立的證明了矩陣需要滿足的條件,進一步的研究,由A.Cohen,W.Dahmen,R.Devore(Compressed Sensing and k-termapproximation)中完成,而這篇文章主要的工作就是證明了在漸進的情況下,即當m,n趨于無窮大的情況下,以上三個條件是一緻的。
16-Toeplitz structuredcompressed sensing matrices:
又是一篇關于采樣矩陣的文章,這篇文章提出了一種新的構造采樣矩陣的方法,Toeplitz Matrix,并且證明了該矩陣滿足Cades提出的RIP性質,列出了與通常的随機采樣矩陣相比的優缺點,以及該采樣矩陣在系統辨識中的應用。
17-Efficient compressive sensing withdeterminstic guarantees using expander graphs
這篇文章很好,一個原因是它将07年之前的關于壓縮CS的文章進行了很好的總結,綜述内容很豐富,此外是該文提出了一種新的架構,一種基于bipartite expander graphs的方法,利用圖論來解決CS的問題,最終回答了作者提出的兩個CS存在的問題:1.對于O(n),及k=O(n)的情況,目前的CS理論是否能夠精确重構,2.如果能的話,信号滿足稀疏性的前提下,這樣的矩陣及重構算法是否存在?
18-Computation and relaxation ofconditions for equivalence between ell1 and ell0 minimization
這篇文章證明了在什麼情況下,l0和l1的解是相同的,而且對信号的稀疏性有什麼要求。
19-Fast compressive samplingwith structurally random matrices
該文首先分析了已有的采樣矩陣所具有的四個重要特征,并指出目前的采樣矩陣一般隻具備其中部分特征,之後具體分析的現在流行的兩類采樣矩陣的優缺點,包括第一類:随機高斯,随機貝努力,及亞高斯陣,第二類:部分傅裡葉陣以及部分正交陣。在分析的基礎上提出了一個hybrid采樣矩陣,證明了該采樣矩陣能夠同時具有上述四個特點。
20-Sparse recovery usingsparse random matrices
作者來自MIT,http://people.csail.mit.edu/radu/,主要研究方向也就是CS,文章的綜述不錯,總結的很詳細,實驗也很不錯,文章主要是對稀疏的采樣矩陣與通常的随機采樣矩陣的對比,及其優勢,并通過豐富的實驗對幾種常用的采樣矩陣進行了比較。
21-A negative resultconcerning explicit matrices with the restricted isometry property
正如題目所示:文章指出通常的0,1采樣矩陣需要額外的條件才能滿足最優性,并且給出了更加緊的滿足RIP條件的結果。
22-Toeplitz block matrices in compressedsensing
同樣是讨論采樣矩陣文章。