信号重构是计算成像中一个具有挑战的问题,因为其需要解决一个欠定的逆问题。最近,深度前向神经网络在解决此类问题上有最先进的效果。但是,特定的问题需要不同的网络。因此,需要一个更加灵活的深度生成模型,把它当作信号先验来解决逆问题。本文表明,在所有深度生成模型中,自回归模型最适合解决本问题。1. 他们明确地建模了像素级别依赖,因此可以重构出低级别地细节,如纹理和边缘。2他们可以为图像先验提供一个明确地表达,这可以用来在前向模型中基于MAP的推理 3.他们可以模拟图像中长距依赖,这可以让他们在解决各种压缩成像系统中理想地解决global multiplexing。我们证明了本方法在解决 单像素相机,Lisens、flatcam中地应用。
计算成像系统使我们比传统系统获取更多的信息。其过程为 设计光学系统,编码信号,处理算法,然后重构。通常编码的信息比原信号维数低得多,因此重构是一个欠定的问题。这对于压缩成像装置来说更是这样,如SPC,高速成像,压缩高光谱成像,测量数比信号数低得多。
通常,欠定问题的求解需要加入信号的先验信息。传统这些先验信息通过分析获取或者经验观测手工加工得到。例如,图像梯度的稀疏度,小波域,DCT域下系数的稀疏性被用来求解这些逆问题。但是,这些数据可能并不完美地遵循这些假设。学习地数据先验,如基于字典学习方法,是对于分析先验一个巨大地进步。但是,通常,字典学习的先验只可以模拟低维信号,因此只能通过小的图像块学习得到。这些先验无法模拟长距依赖的图像,而这是CS系统中解决全局复用中很重要的。
最近,基于深度学习重构的算法在计算成像中有着最先进的效果。这些方法在一个训练集上学习一个从测量到信号地mapping通过最小化重构误差。但是,这种discriminative model让任务变得specific了。如果我们修改前向模型地参数,需要重新训练网络。例如,对于新地采样率和感知矩阵,需要重新学习网络参数。因此,具有一个generalized的框架可以解决各种逆问题而不是针对每一个具体问题而训练网络的方法是更有效的。
我们,因此探索了生成模型。最近生成模型使用自回归框架达到了较好的效果。自回归模型分解了图像分布为一个二维导向因子图,然后把它建成一个二位序列,现在的像素分布基于其周围环境的内容。通过使用深度神经网络来总结causual context,自回归模型在解决图像中长距依赖时具有很大的又是。另外,作为一个像素级别的图像,它也包含了纹理pattern,边缘的关联。因此,这些模型可以产生convincing和crisp的图片。例子如RIDE,PixelRNNCNN(+)
我们表明深度自回归模型非常适合解决本问题。1它明确地建模了每个像素和它casul neighbor地关系,因此被当作图像先验时,他可以明确地依赖像素地重构低级别的细节23见上
贡献如下:1提出versatile的方法,使用相同学习先验模型来解决计算成像问题
2使用深度自回归模型,PixelCNN++当作图像先验。先验的自回归特征确保了重构中的像素级别的连续性,因此提供了更好的质量比使用onenet
3我们使用后向传播作为输入来获得先验梯度可追踪的估计,并用它来使用MAP推理来解决逆问题
4我们观测到每次迭代部分像素梯度的下降会导致成像效果更好。分析了像素下降率对成像质量的影响。我们证明了更好的结果
近期工作
压缩成像:
SPC时一个典型的压缩成想 使用DMD来multiplex scene到一个单光子探测器上。使用DMD不同的散斑,我们可以得到不同的结果。因此全分辨率的图像可以被远少于测量重构。压缩成像系统在可见波段外的成像共提供了方法。
SPC的测量带宽被DMD的运行速度所限制。不可以进行视频成像。一个极端,在不可见波需要全采样来得到高分辨率图像,另一个极端,我们有SPC,便宜的亚采样方法。王等人提出了线阵的压缩感知相机。线阵探测器每一个像素对应DMD每一行。
lensless imaging
flatcam和Diffusercam是新的无透镜成像系统。用amplitude和diffuser mask来编码信号当探测器。一个点会spread out。使用传统重构算法,如TV和Tikhonov正则
用分析先验的重构
很多算法用来进行压缩图像重构 典型的,重构算法使用l1正则化,使用自然图像空间梯度的稀疏性 TV
数据驱动的CS重构
深度生成模型 深度自然网络的成功,有多个提出深度生成模型的工作,这模拟了自然图像的分布。例如,