天天看點

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

作者:棕貓先生

貓叔最近一直在忙着寫書的事情,一直沒有時間更新。Stable Diffusion最近有很多新的模型和工具值得推薦,貓叔是看在眼裡,急在心裡。

終于,趁着SD XL 1.0正式版釋出,貓叔趕緊制作了一期模型速評,咱一定要讓小夥伴第一時間用上最好的SD工具和模型。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

棕貓先生 小酒館 文字基本可以看出來了

Cyberpunk, futuristic city streets with a neon sign above a tavern with the text "Mr. Brown Cat."           
【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

DreamShaper XL1.0 Alpha2 制作

(dark magic), (grim), White cat, long hair, detailed coat, (intricate details), (hyperdetailed), 8k hdr, high detailed, lot of details, high quality, soft cinematic light, dramatic atmosphere, atmospheric perspective           

先簡單介紹下SD XL 1.0

Stable Diffusion XL 簡稱 SDXL,是最新的圖像生成模型。在它出現之前,Stable Diffusion已經有2個大版本在用了,Stable 1.5和 Stable 2.1。SDXL 1.0 在 Stable 1.5(2.1在推出後,使用者接受度很差)的基礎上做了改進,參數數量從0.98B擴大到6.6B。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

DreamShaper XL1.0 Alpha2

masterpiece, 8k, ,(best quality:1.4), professional, 8k,4k, highly detailed
bridge,building,city,clock,gears,gun,long_hair,mecha,realistic,robot,scenery,science_fiction,solo,tower,((masterpiece)),((realistic)),(detailed),(photorealistic:1.4),           

簡單來說就是,Stable Diffusion在畫面的品質上,會得到質的飛躍。這次更新,讓SD在畫面品質和光影效果上,與Midjourney V5達到同一水準,進而彌補畫質這個幾乎唯一的短闆。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

DreamShaper XL1.0 Alpha2

photo of beautiful age 18 girl, Sexy costume, top half,sexy, beautiful, young, dslr, 8k, 4k, ultrarealistic, realistic, natural skin, textured skin           

什麼?你覺得之前的SD和MJ畫質上沒有差距?

額,确實是。

這是因為SD作為良心開源AiGC創作工具,有無數的大佬在訓練着超級多的模型和Lora。讓SD在某些領域達到了驚人的畫面表現力。

而這次SD XL 1.0的更新,更是讓SD生态有了飛躍式的成長。像DreamShaper這類優秀的模型也快速在SDXL 1.0的基礎上進行訓練,推出了全新DreamShaper XL1.0版本。

相信很快,我們使用的所有模型,都會快速更近。SD的平均出圖品質将會更加出色。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

DreamShaper XL1.0 Alpha2

(dark magic), (grim), White cat, long hair, detailed coat, (intricate details), (hyperdetailed), 8k hdr, high detailed, lot of details, high quality, soft cinematic light, dramatic atmosphere, atmospheric perspective           

原滋原味的SD XL 1.0安裝方式

本次SD XL 1.0的模型,需要下載下傳3個檔案。下文提到的所有檔案都放在老地方,新朋友請在評論區留言擷取(平台規則限制,貓叔無能為力……)。

  • sd_xl_base_1.0(文生圖模型,基礎模型),安裝到models\Stable-diffusion裡;
  • sd_xl_refiner_1.0(圖生圖模型,精煉模型),安裝到models\Stable-diffusion裡;
  • sdxl_vae(VAE濾鏡),安裝到models\VAE裡;
  • 更新WebUI版本到1.51(秋葉版7月27日更新)
【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

DreamShaper XL1.0 Alpha2

重要,要使用SD XL 1.0,以上4個步驟缺一不可。

本次SD XL 1.0模型采用了全新的流程,加入了Refiner步驟。是以在使用的時候,需要用到兩個模型,加上全新的VAE,才能繪制出圖檔。

具體方法是:先試用sd_xl_base_1.0文生圖,得到基礎圖檔;再将圖檔導入到圖生圖,使用sd_xl_refiner_1.0模型進行精煉(注:兩者提示詞和種子需要完全一緻)。

由于該模型才開源,是以這種繁瑣的步驟很快就會優化。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源
Natalie Portman as the Queen., backlit, intricate details, highly detailed, slate atmosphere, cinematic, dimmed colors, dark shot, muted colors, film grain, lut, spooky, depth blur, blurry background dof, bokeh, realistic, realistic skin           

目前,DreamShaper XL1.0 Alpha2已經快速更新,不需要使用refiner進行圖生圖精煉,即可得到精煉圖檔。如果你隻想快速體驗下XL1.0,那麼使用這個模型是很好的辦法,具體方法為:

  • 使用DreamShaper XL1.0 Alpha2模型;
  • 使用高分辨率修複(Hires. fix);
【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源
landscape, oil on matte canvas, sharp details, the expanse scifi spacescape ceres colony, intricate, highly detailed, digital painting, rich color, smooth, sharp focus, illustration, spaceship landed, Unreal Engine 5, 8K, art by artgerm and greg rutkowski and alphonse mucha           

SD XL 1.0的亮點和注意點

  1. 當然是畫面的提升:SD XL 1.0版具有與Mjdjourney v5不相上下的水準。從官方公布的圖檔來看,特别是在真實感、光影、圖檔邏輯、細節上,均有較大幅度提升;
  2. 自然語言了解提升:可以使用句子來撰寫提示詞了;
  3. 邏輯了解提升:手的繪制更加真實,手殘幾率降低(一定程度);
  4. 字型更清晰可讀:在一定程度上可以在原圖繪制文字了(别信);
  5. 負面提示詞比重降低:語言與邏輯能力更強,減少對負面提示詞的依賴;
  6. 圖檔可完全商用:避免潛在法律風險。
  7. 更好的nsfw:[偷笑]

總的來說就是,在畫質上有飛躍,在使用上更簡單。幾乎可以說,SD XL 1.0在擁有絕對精準控制能力的同時,提升畫質這個最後的短闆。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源
masterpiece, 8k, ,(best quality:1.4), professional, 8k,4k, highly detailed
bridge,building,city,clock,gears,gun,long_hair,mecha,realistic,robot,scenery,science_fiction,solo,tower,((masterpiece)),((realistic)),(detailed),(photorealistic:1.4),           

當然,由于SD XL 1.0才更新,目前還存在一些問題,比如:

  1. SD XL 1.0隻是底模,直接使用官方模型出圖效果一般,需要各大佬重新訓練模型;
  2. ControlNet等插件還無法使用,但隻是暫時的;
  3. 推薦出圖分辨率提升到1024×1024,推薦配置提升到8GB(其實不影響);
  4. 模型訓練推薦配置,将顯存提升到22GB(強入4090的時候到了);

總的來說,本次SD XL 1.0的更新預示着SD在接下來一段時間,會呈現一波爆發式的熱度和話題量。優質的模型、插件、和工具都會相繼推出,整個AiGC領域也會是以而收益。

【模型速評】Stable Diffusion史詩級增強,SD XL 1.0完全開源

最後,做一個小預告。棕貓先生的《AiGC創作指南——Stable diffusion白皮書》(暫定名)實體書将會由國内最大的科普出版社。好啦,今天的推薦就到這裡啦。有任何疑問,請在評論區指出。貓叔雖然更新較慢,但評論一定會看。謝謝大家!