Stable Diffusion插件、“AI繪畫細節控制大師”ControlNet迎來重磅更新：
隻需使用文本提示詞，就能在保持圖像主體特征的前提下，任意修改圖像細節。
比如給美女從頭發到衣服都換身造型，表情更親和一點：
亦或是讓模特從甜美鄰家女孩切換到高冷禦姐，身體和頭部的朝向、背景都換個花樣兒：
——不管細節怎麼修改，原圖的“靈魂”都還在。
除了這種風格，動漫類型的它也能駕馭得恰到好處：
ControlNet：保留原圖畫風的修圖功能
以上更新内容，其實指的是一個叫做“reference-only”的預處理器。
它不需要任何控制模型，直接使用參考圖檔就能引導擴散。
作者介紹，這個功能其實類似于“inpaint”功能，但不會讓圖像崩壞。
一些資深玩家可能都知道一個trick，就是用inpaint來進行圖像擴散。
比如你有一張512x512的狗的圖像，然後想用同一隻狗生成另一張512x512的圖像。
這時你就可以将512x512的狗圖像和512x512的空白圖像連接配接到一張1024x512的圖像中，然後使用inpaint功能，mask掉空白的512x512部分，漫射出具有相似外觀的狗的形象。
在這個過程中，由于圖像隻是簡單粗暴的進行拼接，加上還會出現失真現象，是以效果一般都不盡如人意。
有了“reference-only”就不一樣了：
它可以将SD（即“Stable Diffusion”）的注意力層直接連結到任何獨立的圖像，友善SD直接讀取這些圖像作為參考。
也就是說，現在你想要在保持原圖風格的前提下進行修改，使用提示詞直接在原圖上就能操作。
如官方示例圖将一隻靜立的小狗改成奔跑動作：
你隻需要将你的ControlNet更新到1.1.153版本以上，然後選擇“reference-only”作為預處理器，上傳狗的圖檔，輸入提示詞“a dog running on grassland, best quality……”，
SD就隻會用你的這張圖作為參考進行修改了。
ControlNet是什麼
ControlNet是一個穩定的擴散模型，可以複制構圖和人類姿勢。穩定擴散模型的最基本形式是文本到圖像。它使用文本提示作為條件來引導圖像生成。ControlNet 增加了一個條件反射。讓我向您展示兩個 ControlNet 示例：（1） 邊緣檢測和 （2） 人體姿勢檢測。
邊緣檢測
在下圖所示的工作流程中，ControlNet 擷取額外的輸入圖像并使用 Canny 邊緣檢測器檢測其輪廓。檢測到的邊将儲存為控制圖，然後作為額外的條件反射（除了文本提示）饋送到 ControlNet 模型中。
人體姿勢檢測
正如您可能已經懷疑的那樣，邊緣檢測并不是預處理圖像的唯一方法。Openpose 是一種快速的關鍵點檢測模型，可以提取人類姿勢，如手、腿和頭部的位置。請參閱下面的示例。
下面是使用 OpenPose 的 ControlNet 工作流程。使用OpenPose從輸入圖像中提取關鍵點，并将其儲存為包含關鍵點位置的控制圖。然後，它與文本提示一起作為額外的條件被饋送到穩定擴散。圖像是基于這兩個條件生成的。
使用各種模型和提示，您可以顯着更改内容，但保持姿勢。
ControlNet 工作原理？
ControlNet 的工作原理是将可訓練的網絡子產品附加到穩定擴散模型的 U-Net（噪聲預測器）的各個部分。穩定擴散模型的權重被鎖定，以便在訓練期間保持不變。在訓練期間僅修改附加的子產品。研究論文中的模型圖很好地總結了這一點。最初，附加網絡子產品的權重全部為零，使新模型能夠利用經過訓練和鎖定的模型。
在訓練期間，每個訓練圖像一起提供兩個條件。
（1） 文本提示
（2） 注釋
例如 OpenPose 關鍵點或 Canny 邊緣。這樣，ControlNet 模型可以學習基于這兩個輸入生成圖像。
每個注釋方法都是獨立訓練的。
網友：ControlNet迄今最好的一個功能
有人稱這是ControlNet迄今為止最棒的一個功能：
傳一張帶有人物姿勢的動漫圖檔，再寫一句看上去跟原圖完全無關的提示。突然之間，你想要的效果就在原圖的基礎上跑出來了。真的很強，甚至說是達到了改變遊戲規則的程度。
以下是推特部落客嘗試的效果，主要都是動漫風，一起欣賞一下：
好了，對于Stable Diffusion插件的這波更新，你怎麼看？,以後會不會出現更多的照騙？