機器之心報道
編輯：小舟、梓文
擴散模型雖好，但如何保證生成的圖像準确高品質？GPT-4或許能幫上忙。
文本到圖像生成領域近兩年取得了很大的突破，從 GAN 到 Stable Diffusion，圖像生成的速度越來越快，生成效果越來越好。然而，AI 模型生成的圖像在細節上還有很多瑕疵，并且使用自然語言指定對象的确切位置、大小或形狀存在一定的困難。為了生成精準、高品質的圖像，現有方法通常依賴于廣泛的提 prompt 工程或手動建立圖像草圖。這些方法需要大量的人工工作，是以非常低效。
最近，來自加州大學伯克利分校（UC 伯克利）和微軟研究院的研究者從程式設計的角度思考了這個問題。目前，使用者能夠使用大型語言模型較好地控制代碼生成，這讓該研究看到了編寫程式來控制生成圖像細節的可能，包括物體的形狀、大小、位置等等。基于此，該研究提出利用大型語言模型（LLM）生成代碼的功能實作可控型文本到圖像生成。
論文位址：https://arxiv.org/pdf/2305.18583.pdf
該研究提出了一個簡單而有效的架構 Control-GPT，它利用 LLM 的強大功能根據文本 prompt 生成草圖。Control-GPT 的工作原理是首先使用 GPT-4 生成 TikZ 代碼形式的草圖。如下圖 1 (c) 所示，程式草圖（programmatic sketch）是按照準确的文本說明繪制的，随後這些草圖被輸入 Control-GPT。Control-GPT 是 Stable Diffusion 的一種變體，它能接受額外的輸入，例如參考圖像、分割圖等等。這些草圖會充當擴散模型的參考點，使擴散模型能夠更好地了解空間關系和特殊概念，而不是僅僅依賴于文本 prompt。這種方法使得 prompt 工程和草圖建立過程不再需要人為幹預，并提高了擴散模型的可控性。
我們來看一下 Control-GPT 方法的具體細節。
方法
對圖像生成來說，訓練過程的一個較大挑戰是缺乏包含對齊文本和圖像的資料集。為了解決這個難題，該研究将現有執行個體分割資料集（例如 COCO 和 LVIS）中的執行個體掩碼轉換為多邊形的表示形式，這與 GPT-4 生成的草圖類似。
然後，該研究建構了一個包含圖像、文本描述和多邊形草圖的三中繼資料集，并微調了 ControlNet。該研究發現這種方法有助于更好地了解 GPT 生成的草圖，并且可以幫助模型更好地遵循文本 prompt 指令。
ControlNet 是擴散模型的一種變體，它需要額外的輸入條件。該研究使用 ControlNet 作為基礎圖像生成模型，并通過程式設計草圖和 grounding token 的路徑對其進行擴充。
架構
如下圖 2 所示，在 Control-GPT 中，首先 GPT-4 會根據文本描述生成 TikZ 代碼形式的草圖，并輸出圖像中物體的位置。然後該研究用 LATEX 編譯 TikZ 代碼，将草圖轉換為圖像格式，再将程式設計草圖、文本描述和物體位置的 grounding token 提供給經過調優的 ControlNet 模型，最終生成符合條件的圖像。
使用 GPT-4 生成的草圖訓練 ControlNet 是必要的，因為預訓練的 ControlNet 不了解生成的草圖，不能将其轉換為現實圖像。為了 prompt GPT-4，該研究要求使用者遵循如下的 prompt 樣本，以讓 GPT-4 請求 TikZ 代碼片段的結構化輸出，以及相關物體的名稱和位置。然後，該研究使用 GPT-4 的輸出來編譯草圖圖像并獲得 grounding token。
LLM 繪制草圖的準确性如何
Control-GPT 的精度取決于 LLM 生成草圖時的準确性和可控性。是以，該研究對 LLM 在草圖生成方面的性能進行了基準測試。實驗結果表明 GPT 系列模型在草圖生成方面明顯優于 LLaMa 等開源模型，并且 GPT-4 在遵循文本指令方面表現出驚人的高準确性（約 97%）。
該研究對 Control-GPT 和一些經典模型的生成結果進行了人工評估，結果表明當圖像中包含兩個不相關的罕見物體組合時，一些模型的生成效果比較差，而 Control-GPT 的生成結果相對較好，如下表 2 所示：
查詢 LLMs，生成一個 TikZ 代碼片段來描述給定的文本，進而檢查 LLMs 的性能。如下表 1 所示，GPT-series 模型的大多數代碼片段都可以編譯為有效的草圖，而 LLaMA 和 Alpaca 的輸出要麼是空的，要麼不可運作。在 GPT-series 模型中，最新的 GPT-4 在 95 個查詢中隻有 3 次失敗，這些查詢成功地生成了有效草圖，在遵循文本指令方面的成功率大約有 97%。ChatGPT 是 GPT-3.5 的 RLHF 微調版本，其性能明顯低于原始 GPT-3.5。在調優過程中，聊天能力和代碼生成之間可能存在着權衡。
在下圖 4 中，研究者提供了一個來自 GPT 系列模型的可視化草圖例子。雖然生成的草圖不如照片那樣逼真，但它們往往能捕捉到語義，并正确推理出物體的空間關系。生成的草圖經常出人意料地通過簡單的代碼片斷來正确處理物體形狀。
下圖最後一行展示了 GPT-4 的一個失敗案例，即模型無法生成物體形狀，而 GPT-3.5 卻能給出一個正确的草圖。GPT-4 在草圖生成方面的高精度帶來的啟發是：可以使用它來提高圖像生成模型的可控性。
實驗
基于 Visor 資料集，研究者對 Control-GPT 進行了一系列實驗設定的評估，測試其在空間關系、物體位置和大小方面的可控性。他們還将評估擴充到多個物體和分布外的 prompt。廣泛的實驗表明，Control-GPT 可以大大提升擴散模型的可控性。
下表 3 中列出了定量評估結果。可以看到，Control-GPT 模型可以在給定的一些規格下更好地控制物體的大小和位置。與幾乎無法控制物體位置和尺寸的 Stable Diffusion 模型（SD-v1.5）相比，Control-GPT 将總體精度從 0% 提高到 14.18%。與現成的 ControlNet 相比，Control-GPT 在所有名額上也取得了更好的表現，獲得了從 8.46% 到 4.18% 的整體改善。這些結果展示了本文的 LLM 內建架構在更細化和精确控制圖像生成過程方面的潛力。
視覺化。下圖 6 展示了定性評估結果，可以看到，ControlGPT 可以按照物體位置和尺寸的規範繪制物體。相比之下，ControlNet 也能遵循，但卻很難生成正确的物體，而 Stable Diffusion 則無法遵循規範。
對空間關系的消融實驗。研究者還探讨了模型是否對不同類型的空間關系（如左 / 右 / 上 / 下）有偏好，作為空間關系基準分析的一部分。從下表 4 中可以看出，Control-GPT 在 Visor Score 和物體準确性方面一直比所有的基線模型工作得更好。
多個物體之間的關系。研究者對 Control-GPT 生成多個物體的能力進行了進一步的評估，這些物體的空間關系由 prompt 指定。下圖 7 展示了一些例子，Control-GPT 能了解不同物體之間的空間關系，并在 GPT-4 的幫助下将它們放入布局中，表現出了更好的性能。
可控性與圖像逼真度。通常，在生成逼真圖像與遵循精确布局之間往往存在着妥協，特别是對于分布外的文字 prompt。如下圖 8 所示，（a）是一個例子，生成的圖像完全遵循布局，但這導緻了圖像中的一些僞影；而在（b）中，照片往往看起來很逼真，但沒有很好地遵循草圖。
更多研究細節，可參考原論文。