信号重構是計算成像中一個具有挑戰的問題,因為其需要解決一個欠定的逆問題。最近,深度前向神經網絡在解決此類問題上有最先進的效果。但是,特定的問題需要不同的網絡。是以,需要一個更加靈活的深度生成模型,把它當作信号先驗來解決逆問題。本文表明,在所有深度生成模型中,自回歸模型最适合解決本問題。1. 他們明确地模組化了像素級别依賴,是以可以重構出低級别地細節,如紋理和邊緣。2他們可以為圖像先驗提供一個明确地表達,這可以用來在前向模型中基于MAP的推理 3.他們可以模拟圖像中長距依賴,這可以讓他們在解決各種壓縮成像系統中理想地解決global multiplexing。我們證明了本方法在解決 單像素相機,Lisens、flatcam中地應用。
計算成像系統使我們比傳統系統擷取更多的資訊。其過程為 設計光學系統,編碼信号,處理算法,然後重構。通常編碼的資訊比原信号維數低得多,是以重構是一個欠定的問題。這對于壓縮成像裝置來說更是這樣,如SPC,高速成像,壓縮高光譜成像,測量數比信号數低得多。
通常,欠定問題的求解需要加入信号的先驗資訊。傳統這些先驗資訊通過分析擷取或者經驗觀測手工加工得到。例如,圖像梯度的稀疏度,小波域,DCT域下系數的稀疏性被用來求解這些逆問題。但是,這些資料可能并不完美地遵循這些假設。學習地資料先驗,如基于字典學習方法,是對于分析先驗一個巨大地進步。但是,通常,字典學習的先驗隻可以模拟低維信号,是以隻能通過小的圖像塊學習得到。這些先驗無法模拟長距依賴的圖像,而這是CS系統中解決全局複用中很重要的。
最近,基于深度學習重構的算法在計算成像中有着最先進的效果。這些方法在一個訓練集上學習一個從測量到信号地mapping通過最小化重構誤差。但是,這種discriminative model讓任務變得specific了。如果我們修改前向模型地參數,需要重新訓練網絡。例如,對于新地采樣率和感覺矩陣,需要重新學習網絡參數。是以,具有一個generalized的架構可以解決各種逆問題而不是針對每一個具體問題而訓練網絡的方法是更有效的。
我們,是以探索了生成模型。最近生成模型使用自回歸架構達到了較好的效果。自回歸模型分解了圖像分布為一個二維導向因子圖,然後把它建成一個二位序列,現在的像素分布基于其周圍環境的内容。通過使用深度神經網絡來總結causual context,自回歸模型在解決圖像中長距依賴時具有很大的又是。另外,作為一個像素級别的圖像,它也包含了紋理pattern,邊緣的關聯。是以,這些模型可以産生convincing和crisp的圖檔。例子如RIDE,PixelRNNCNN(+)
我們表明深度自回歸模型非常适合解決本問題。1它明确地模組化了每個像素和它casul neighbor地關系,是以被當作圖像先驗時,他可以明确地依賴像素地重構低級别的細節23見上
貢獻如下:1提出versatile的方法,使用相同學習先驗模型來解決計算成像問題
2使用深度自回歸模型,PixelCNN++當作圖像先驗。先驗的自回歸特征確定了重構中的像素級别的連續性,是以提供了更好的品質比使用onenet
3我們使用後向傳播作為輸入來獲得先驗梯度可追蹤的估計,并用它來使用MAP推理來解決逆問題
4我們觀測到每次疊代部分像素梯度的下降會導緻成像效果更好。分析了像素下降率對成像品質的影響。我們證明了更好的結果
近期工作
壓縮成像:
SPC時一個典型的壓縮成想 使用DMD來multiplex scene到一個單光子探測器上。使用DMD不同的散斑,我們可以得到不同的結果。是以全分辨率的圖像可以被遠少于測量重構。壓縮成像系統在可見波段外的成像共提供了方法。
SPC的測量帶寬被DMD的運作速度所限制。不可以進行視訊成像。一個極端,在不可見波需要全采樣來得到高分辨率圖像,另一個極端,我們有SPC,便宜的亞采樣方法。王等人提出了線陣的壓縮感覺相機。線陣探測器每一個像素對應DMD每一行。
lensless imaging
flatcam和Diffusercam是新的無透鏡成像系統。用amplitude和diffuser mask來編碼信号當探測器。一個點會spread out。使用傳統重構算法,如TV和Tikhonov正則
用分析先驗的重構
很多算法用來進行壓縮圖像重構 典型的,重構算法使用l1正則化,使用自然圖像空間梯度的稀疏性 TV
資料驅動的CS重構
深度生成模型 深度自然網絡的成功,有多個提出深度生成模型的工作,這模拟了自然圖像的分布。例如,