劃重點:
🔍 引入了一種新的架構，名為注意力混合模式（MoA），用于個性化文本到圖像擴散模型。
🎨 MoA 通過将生成工作負載配置設定給兩個注意力路徑來實作給定主題和背景的分離生成。
🖼 MoA 能夠生成高品質、個性化的圖像，使得主題和背景的控制更加分離。
站長之家（ChinaZ.com）4月22日 消息:在最新的研究中，提出了一種名為注意力混合模式（MoA）的新架構，旨在個性化文本到圖像擴散模型，可以實作風格參考和人物融合的效果。
受大型語言模型（LLMs）中使用的專家混合機制的啟發，MoA 通過将生成工作負載配置設定給兩個注意力路徑來實作給定主題和背景的分離生成。具體來說，MoA 保留了原始模型的先驗知識，通過固定先驗分支中的注意力層，同時通過個性化分支最小幹預生成過程，學習将主題嵌入由先驗分支生成的布局和背景中。
一種新穎的路由機制管理着每個層中像素在這些分支之間的分布，以優化個性化和通用内容建立的混合。經過訓練，MoA 能夠輕松生成高品質的個性化圖像，其主題和背景的組合和互動與原始模型生成的一樣豐富多樣。最重要的是，MoA 增強了模型的現有能力與新增個性化幹預之間的差別，進而提供了一種之前無法實作的更為分離的主題 - 背景控制。
此外，研究還探讨了 MoA 在現實應用中的潛力。例如，結合 MoA 和 DDIM 反演技術，可以實作對真實圖像中主體的替換;結合 MoA 和 ControlNet，可以實作帶有姿勢控制的個性化生成;MoA 甚至能夠在面部和身體形狀完全不同的情況下進行主體交換，以及輕松地在主體之間進行形态變換。這些應用展示了 MoA 在個性化圖像生成領域的潛在價值和廣泛适用性。
産品入口:https://top.aibase.com/tool/mixture-of-attention-moa-