天天看點

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

作者:機器之心Pro

機器之心報道

編輯:杜偉、梓文

如果論文中的圖表不用繪制,對于研究者來說是不是一種便利呢?有人在這方面進行了探索,利用文本描述生成論文圖表,結果還挺有模有樣的呢!

生成式 AI 已經風靡了人工智能社群,無論是個人還是企業,都開始熱衷于建立相關的模态轉換應用,比如文生圖、文生視訊、文生音樂等等。

最近呢,來自 ServiceNow Research、LIVIA 等科研機構的幾位研究者嘗試基于文本描述生成論文中的圖表。為此,他們提出了一種 FigGen 的新方法,相關論文還被 ICLR 2023 收錄為了 Tiny Paper。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

論文位址:https://arxiv.org/pdf/2306.00800.pdf

也許有人會問了,生成論文中的圖表有什麼難的呢?這樣做對于科研又有哪些幫助呢?

科研圖表生成有助于以簡潔易懂的方式傳播研究結果,而自動生成圖表可以為研究者帶來很多優勢,比如節省時間和精力,不用花大力氣從頭開始設計圖表。此外設計出具有視覺吸引力且易了解的圖表能使更多的人通路論文。

然而生成圖表也面臨一些挑戰,它需要表示框、箭頭、文本等離散元件之間的複雜關系。與生成自然圖像不同,論文圖表中的概念可能有不同的表示形式,需要細粒度的了解,例如生成一個神經網絡圖會涉及到高方差的不适定問題。

是以,本文研究者在一個論文圖表對資料集上訓練了一個生成式模型,捕獲圖表元件與論文中對應文本之間的關系。這就需要處理不同長度和高技術性文本描述、不同圖表樣式、圖像長寬比以及文本渲染字型、大小和方向問題。

在具體實作過程中,研究者受到了最近文本到圖像成果的啟發,利用擴散模型來生成圖表,提出了一種從文本描述生成科研圖表的潛在擴散模型 ——FigGen。

這個擴散模型有哪些獨到之處呢?我們接着往下看細節。

模型與方法

研究者從頭開始訓練了一個潛在擴散模型。

首先學習一個圖像自動編碼器,用來将圖像映射為壓縮的潛在表示。圖像編碼器使用 KL 損失和 OCR 感覺損失。調節所用的文本編碼器在該擴散模型的訓練中端到端進行學習。下表 3 為圖像自動編碼器架構的詳細參數。

然後,該擴散模型直接在潛在空間中進行互動,執行資料損壞的前向排程,同時學習利用時間和文本條件去噪 U-Net 來恢複該過程。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

至于資料集,研究者使用了 Paper2Fig100k,它由論文中的圖表文本對組成,包含了 81,194 個訓練樣本和 21,259 個驗證樣本。下圖 1 為 Paper2Fig100k 測試集中使用文本描述生成的圖表示例。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

模型細節

首先是圖像編碼器。第一階段,圖像自動編碼器學習一個從像素空間到壓縮潛在表示的映射,使擴散模型訓練更快。圖像編碼器還需要學習将潛在圖像映射回像素空間,同時不丢失圖表重要細節(如文本渲染品質)。

為此,研究者定義了一個具有瓶頸的卷積編解碼器,在因子 f=8 時對圖像進行下采樣。編碼器經過訓練可以最小化具有高斯分布的 KL 損失、VGG 感覺損失和 OCR 感覺損失。

其次是文本編碼器。研究者發現通用文本編碼器不太适合生成圖表任務。是以他們定義了一個在擴散過程中從頭開始訓練的 Bert transformer,其中使用大小為 512 的嵌入通道,這也是調節 U-Net 的跨注意力層的嵌入大小。研究者還探索了不同設定下(8、32 和 128)的 transformer 層數量的變化。

最後是潛在擴散模型。下表 2 展示了 U-Net 的網絡架構。研究者在感覺上等效的圖像潛在表示中執行擴散過程,其中該圖像的輸入大小被壓縮到了 64x64x4,使擴散模型更快。他們定義了 1,000 個擴散步驟和線性噪聲排程。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

訓練細節

為了訓練圖像自動編碼器,研究者使用了一個 Adam 優化器,它的有效批大小為 4 個樣本、學習率為 4.5e−6,期間使用了 4 個 12GB 的英偉達 V100 顯示卡。為了實作訓練穩定性,他們在 50k 次疊代中 warmup 模型,而不使用判别器。

對于訓練潛在擴散模型,研究者也使用 Adam 優化器,它的有效批大小為 32,學習率為 1e−4。在 Paper2Fig100k 資料集上訓練該模型時,他們用到了 8 塊 80GB 的英偉達 A100 顯示卡。

實驗結果

在生成過程中,研究者采用了具有 200 步的 DDIM 采樣器,并且為每個模型生成了 12,000 個樣本來計算 FID, IS, KID 以及 OCR-SIM1。穩重使用無分類器指導(CFG)來測試超調節。

下表 1 展示了不同文本編碼器的結果。可見,大型文本編碼器産生了最好的定性結果,并且可以通過增加 CFG 的規模來改進條件生成。雖然定性樣本沒有足夠的品質來解決問題,但 FigGen 已經掌握了文本和圖像之間的關系。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

下圖 2 展示了調整無分類器指導(CFG)參數時生成的額外 FigGen 樣本。研究者觀察到增加 CFG 的規模(這在定量上也得到了展現)可以帶來圖像品質的改善。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

下圖 3 展示了 FigGen 的更多生成示例。要注意樣本之間長度的變化,以及文本描述的技術水準,這會密切影響到模型正确生成可了解圖像的難度。

論文插圖也能自動生成了,用到了擴散模型,還被ICLR接收

不過研究者也承認,盡管現在這些生成的圖表不能為論文作者提供實際幫助,但仍不失為一個有前景的探索方向。

更多研究細節請參閱原論文。

繼續閱讀