Stable Diffusion可以從文本生成圖像，也可以由圖像生成新圖像，後者通常用于改進生成的圖像或基于模闆建立新圖像。然而，盡管2.0 版本引入了使用圖像深度資訊作為模闆的功能，但對過程的控制相當有限，而且大量自定義模型仍在使用的1.5 版本也不支援此方法。
據The Decoder報道，斯坦福大學的一個研究團隊研發的ControlNet——一種“通過添加附加限制來控制擴散模型的神經網絡結構”——可以更好地控制Stable Diffusion的圖像生成。
ControlNet 将Stable Diffusion每個塊的權重複制到可訓練變體和鎖定變體中。可訓練變體通過微調小資料集來學習圖像合成的新條件，而鎖定變體則保留擴散模型的生産可用性功能。
研究人員解釋說：“沒有一個層是從頭開始訓練的。你隻是在微調。你的原始模型是安全的。”還說，即使在隻有 8GB 圖形記憶體的 GPU 上，也可以進行訓練。
研究團隊釋出了一組使用 ControlNet的預先訓練的模型，這些模型可以更好地控制圖像到圖像管道，其中包括用于邊緣或線檢測、邊界檢測、深度資訊、草圖處理以及人體姿勢或語義圖檢測的模型。
所有 ControlNet 模型都可以與Stable Diffusion一起使用，并提供對生成 AI 的更好的控制。該團隊展示了具有恒定姿勢的人的變體示例，基于模型空間結構的不同内部圖像或鳥類圖像的變體。
GAN也存在類似的控制工具，ControlNet現在将這些工具帶到了目前更強大的圖像AI中。更多示例、代碼和模型可在 ControlNet GitHub 上找到。
#人工智能# #圖像AI# #圖像生成工具# ControlNet可以更好地控制Stable Diffusion的圖像生成 - 反諷機器
