一、Stable diffusion是什麼
Stable diffusion 是 Stability AI 訓練出來的一個圖像模型。它可以通過文字生成圖像，也可以通過圖像生成其他圖像。
Stable diffusion 在訓練時大概用了60億張圖像，再加上強大的硬體裝置(256張A100顯示卡)來進行訓練，成本大約兩千萬人民币。訓練完後 Stability AI 就把它開源出來了，讓所有人都可以免費下載下傳使用，我們現在使用的模型都是基于 Stable diffusion 訓練的模型微調出來的。是以網上那麼多AI生成的人物圖像，基本上都可以看出有一點相似之處，特别是臉型。
二、使用 Stable diffusion 的三大要素
1、Python
現在幾乎所有的AI，都建立在同一個程式上面，這個程式就是 Python，是以我們在本地部署 Stable diffusion 的時候前置條件就有一個是安裝 Python。
但也并不是 Python 的版本越新就越好，因為 Python 有很多針對神經網絡的元件都已經打包好了，而這些元件都有對應的版本上限，比如 Pytorch 1.13 對應的 Python 版本上限就是3.10.x。是以部署 Stable diffusion 的 Python 版本要求是 3.10.6 就是這麼來的，如果安裝了更新的版本，可能就會帶來更多的錯誤。
2、CUDA(Compute Unified Device Architecture)
同樣的，現在幾乎所有的AI神經網絡，用的都是同一個運算平台，也就是 CUDA。而 CUDA 又是 NVIDIA 獨有的一套架構，是以才說為什麼部署 Stable diffusion 顯示卡要求是N卡，這也是非常重要的，一張好的顯示卡可以讓你的出圖速度快上幾倍甚至幾十倍。
3、Git
因為 Stable diffusion 是一個開源軟體，而幾乎所有的開源軟體都在微軟的子公司 github 上面，是以想要使用這些開源軟體，就必須安裝 Git，這沒什麼可說的。
這就是我們使用 Stable diffusion 的三大要素，兩個軟體一個硬體，可以說缺一不可。
三、Webui 是什麼
Stable diffusion 一開始的時候是基于指令的形式來使用的，所有參數以及模型都需要通過指令來進行設定，比如 正反向提示詞、寬高、采樣步數等。
但是所有參數都通過指令的形式來輸入就很不友善，于是 automatic1111 大神就做了一個可視化的 webui 網頁插件，并把所有的擴充功能都整合到一起，就有了我們現在使用的 webui。
我們使用的 Stable diffusion，除了文生圖跟圖生圖兩個功能是源自于 Stable diffusion 本身之外，别的功能其實都是第三方制作的擴充插件，比如提示詞反推、圖檔放大等，這些擴充功能都是 automatic1111 大神整合進去的，當然也不一定都是 automatic1111 做的，也有些是其他人整合後交給 automatic1111 進行合并的。
因為有強大社群的支援，是以 Stable diffusion 也變得非常多樣非常強大，我們平時更新的東西，其實都是更新 webui 的版本或者是擴充插件的版本，跟使用的 Stable diffusion 版本沒有關聯，你想要使用 Stable diffusion 的哪一個版本，全看你使用的是哪個模型。
但又因為開源，沒有門檻，是以功能會很雜，也會有許多bug，是以我們在使用過程中遇到各種問題不要覺得奇怪，這是很正常的事，隻要注意做好備份就行。
四、優缺點
1、優點
因為開源，是以對所有人免費，而且還有各路大神開發了各種擴充插件，附加的功能非常多。現下最流行的就是 lora 跟 Controlnet 了，lora 可以改變畫風以及訓練各種人物和角色，Controlnet 則可以控制角做出相應的動作，這些功能都是目前其他AI比較難以做到的。
2、缺點
也因為是開源的，功能非常雜亂，如果對程式基礎沒有一定的了解，隻是按照網絡上的教學一直下載下傳安裝擴充插件，最後的下場就是 webui 會崩壞到需要重新安裝，然後安裝又會遇到各種問題。
在目前 Stable diffusion 還不是很成熟的情況下，要想使用好它還是有一定難度，相比于其他的畫圖AI，比如 midjourney 隻需要聊聊天就能直接畫圖，真的要難很多。
五、模型簡介
在介紹模型之前先說一下模型檔案的格式。剛開始的時候，模型檔案是有非常多格式的。比如：.onnx、.pt、.ckpt、.bin、.pth 等等，但因為這類格式的模型檔案會有被植入木馬的風險，是以 Hugging face 開發了一個全新的檔案格式，擴充名為 .safetensors，這類檔案格式可以保證下載下傳的模型不會帶有木馬，大大提高了安全性。
但是也會給新手帶來一定的使用難度，因為現在大部分的模型都是 safetensors 格式，下載下傳下來之後根本不清楚要放哪裡，或者多種模型同時下載下傳，下載下傳之後也會分不清哪個檔案是什麼模型，下面就以C站的分類為例對我們經常使用的模型作一些簡單的介紹。
1、Checkpoint模型
Checkpoint 模型也就是 Stable diffusion 模型，檔案格式為. ckpt 或者 .safetensors，該模型檔案最小也接近2G，最大我見過的是7.7G，是以看到這樣的檔案大小，基本上就可以确定是 Checkpoint模型。該模型放在這個檔案夾下：主程式目錄/models/stable-diffuison 。
2、Textual Inversion
也就是 embedding模型，它是用來用來調整模型的文本編碼器微調模型，擴充名是 .pt 或者 .safetensors ，因為它隻改變文字向量，是以模型都非常小，通常都在30KB以内。該模型放在這個檔案夾下面：主程式目錄/embeddings 。
3、Hypernetworks模型
該模型是用來微調 Stable diffusion 模型神經網絡的微調模型，通常用來對圖檔的風格進行微調，擴充名是 .pt，檔案大小從20MB到300MB都有。該模型放在這個檔案夾下：主程式目/models/hypernetworks 。
4、lora模型與lycoris模型
lora 是目前最流行的微調模型，它可以微調 Stable diffusion 模型的神經網絡，lora 與 lycoris 的差別隻在于 lycoris 的微調範圍更大，是以 lycoris 的檔案也會比較大。這兩個模型的擴充名都是 .safetensors，大小也是不固定的，從4MB到300MB的都有，在使用上隻有一個差異，要使用 lycoris 需要安裝額外的擴充插件才可以。這兩個模型都是放在這個檔案夾下：主程式目錄/models/lora 。
5、vae模型
vae 模型主要用來提高畫面的亮度和飽和度，同時也會對畫面進行校正和補光，可以了解為PS裡的濾鏡。其實每個 Stable diffusion 模型都含有一個 vae，但因為原始模型通常做得不夠好，是以一般都建議再下載下傳一個 anything 的 vae 模型或者 Stable diffusion 官方微調過的 vae (vae-ft-mse-840000-ema-pruned) ，vae 模型的檔案擴充名是 .pt 或 .safetensors ，下載下傳後放在這個檔案夾下：主程式目錄/models/vae 。
以上就是關于模型的基本介紹，有沒有發現看完了還是不知道各種模型要怎麼區分。
是以這裡再分享一個模型解析的網站，隻要把你下載下傳的模型放上去，就能顯示這個是什麼模型并且應該放在哪裡使用。該網站也是秋葉大佬提供的，有需要的話，連結在圖檔裡自取。
六、模型的使用
模型的使用很簡單，對于 Checkpoint 模型以及 vae 模型，下載下傳完成放進對應的檔案夾後，隻需要點選一下 webui 界面對應的藍色重新整理按鈕，然後從下拉清單中選擇就可以。
如果是其他模型，則需要點選 Generate生成 按鈕下方的小紅書按鈕，在打開的清單裡面選擇對應的模型進行使用，同樣的，如果沒有出現下載下傳的模型，點選一下右側藍色的重新整理按鈕即可。
這裡主要說一下 vae 模型的選擇框怎麼調出來。如果你用的是一鍵安裝包，那安裝完成後就會直接有 vae 的選擇框，如果是用标準安裝的，那安裝完成後應該是像下面這樣的，隻有 Checkpoint 模型選擇框。
這時需要進入 Settings 設定頁籤，左側欄選擇 User interface使用者界面，在右側找到 Quicksettings list快速設定清單，在 “sd_model_checkpoint” 後面加上 ”,sd_vae“ ，然後儲存設定并重新開機界面就可以了，要注意用英文逗号隔開，設定完成後應該是這個樣子的 ”sd_model_checkpoint,sd_vae” 。
以上就是關于 Stable diffusion 以及模型的基本介紹，如果有不清楚或者需要補充的地方，歡迎評論區留言讨論。