剛剛過去的幾個月，無疑是生成式AI爆發的奇點。
說到生成式AI，就不得不提到AIGC。AIGC全稱為AI-Generated Content，指基于預訓練大模型、生成式對抗網絡（GAN）等人工智能技術，通過已有資料尋找規律，并通過釋放泛化能力生成相關技術的内容。
AIGC 在圖像生成中的示例
雖然在文生圖領域，擴散模型似乎已經一統天下，但GAN 依然存在不可磨滅的優勢。這使得一些研究者在這一方向上持續努力，并取得了非常實用的成果，相關的論文已被 CVPR 2023 接收。
這次我整理了46篇【CVPR 2023的AIGC應用彙總】的基于diffusion擴散模型/GAN生成對抗方法論文合集+部分代碼，我特地選了，希望對在該領域想發論文的同學帶來一些新思路！
01
GAN的反擊！朱俊彥新作GigaGAN，出圖速度秒殺Stable Diffusion
題目：
最近，文字-圖像生成技術的成功已經席卷全球，激發了大衆的想象力。從技術的角度來看，它也标志着設計生成圖像模型所青睐的架構的巨大變化。GANs曾經是事實上的選擇，有StyleGAN這樣的優秀技術。随着DALL·e2的出現，自回歸和擴散模型似乎一夜之間成為大規模生成模型的新标準。
CycleGAN 的主要作者、曾獲 2018 年 ACM SIGGRAPH 最佳博士論文獎的朱俊彥是這篇 CVPR 論文的第二作者。
該研究首先使用 StyleGAN2 進行實驗，并觀察到簡單地擴充主幹網絡會導緻訓練不穩定。基于此，研究者确定了幾個關鍵問題，并提出了一種在增加模型容量的同時穩定訓練的技術。
“
02
基于示例的圖像轉換的屏蔽和自适應變壓器
題目：
該論文提出了一個基于樣本的圖像轉換新方法。用于此任務的先進方法主要集中在建立跨域語義對應上，但跨域語義比對具有挑戰性，比對錯誤最終會降低生成圖像的品質。
為了克服這一挑戰，該論文提出了一種掩碼和自适應變換器 (MAT)，用于學習準确的跨域對應關系，并執行上下文感覺特征增強。為了實作後者，使用樣本的輸入源特征和全局樣式代碼作為補充資訊來解碼圖像。
此外，設計了一種新的對比風格學習方法，用于擷取品質區分風格表示，這反過來有利于高品質圖像的生成。實驗結果表明在各種圖像轉換任務中表現更好。
“
03
具有列行糾纏像素合成的高效尺度不變生成器
題目：
該論文說明任意尺寸圖像生成（Any-scale image synthesis）提供了一種高效和可擴充的解決方案，可以在任何比例下合成逼真的圖像，甚至超過2K分辨率。
這項工作提出了列行耦合的像素生成（Column-Row Entangled Pixel Synthesis，CREPS），一種既高效又具有尺度等變性的新型生成模型，而不使用任何空間卷積或粗到細的設計。在各種資料集上的實驗，包括FFHQ、LSUNChurch、MetFaces和Flickr-Scenery，證明了CREPS具有在任意任意分辨率下合成尺度一緻圖像的能力。
“
04
圖像恢複，基于GAN生成對抗/diffusion擴散模型方法
題目：
該論文研究JPEG圖像恢複問題，即加密比特流中的比特錯誤。比特錯誤會導緻解碼後的圖像内容出現不可預測的色偏和塊位移，這些問題無法通過現有的主要依賴于像素域中預定義退化模型的圖像恢複方法來解決。該論文提出了一個強健的JPEG解碼器，并采用兩階段補償和對齊架構來恢複受比特流損壞的JPEG圖像。
具體而言，JPEG解碼器采用了一種具有容錯機制的方法來解碼受損的JPEG比特流。兩階段架構由自補償和對齊（SCA）階段和引導補償和對齊（GCA）階段組成。在三個不同比特錯誤率的基準測試上進行了實驗。實驗結果和消融研究表明了我們所提出的方法的優越性。
“
05
PosterLayout：内容感覺視覺文本示範布局的新基準和方法
題目：
該論文提出了設計序列形成（DSF）方法，以模拟人類設計師的設計過程重新組織布局中的元素，并提出了一種基于CNN-LSTM的條件生成對抗網絡（GAN）來生成适當的布局。具體來說，鑒别器是設計序列感覺的，将監督生成器的“設計”過程。
實驗結果驗證了新基準的有用性和所提出方法的有效性，該方法通過為不同的畫布生成适當的布局實作了最佳性能。
“
06
使用人腦活動的潛在擴散模型進行高分辨率圖像重建
題目：
本文提出一種基于擴散模型（DM）的新方法，通過功能性磁共振成像（functional magnetic resonance imaging，fMRI）從人腦活動來重構出圖像。通過研究LDM的不同組成部分（例如圖像的潛在向量Z、條件輸入C以及去噪U-Net的不同元素）與不同的腦功能之間的關系，表征了LDM的内部機制。
方法可以在簡單的方式下重構具有高保真度的高分辨率圖像，而不需要任何額外的訓練和精調複雜的深度學習模型。還提供了從神經科學角度對不同LDM元件的定量解釋。總體而言，研究提出了一種重構人類腦活動中圖像的有前途的方法，并為了解DM提供了新的架構。