天天看點

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

AI繪畫的發展速度已經超乎我們的想象了。

比如以下五張圖,你能看出哪一張不是用AI生成的嗎?

圖A:

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

圖B:

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

圖C:

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

圖D:

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

圖E:

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

(作品出處和答案見文末)

可能不少人會覺得驚訝,兩年前AI隻能畫一些難以辨認的模糊圖檔,如今,一個沒有繪畫基礎的人用AI輸入幾個關鍵詞,等待幾十秒就可以生成比較精細的作品了,如果再多加練習,部分作品甚至能達到商用的水準。

AI繪畫怎麼猛然進入技術爆炸的時代了?

從今年2月Disco Diffusion面世,4月MidJourney上線、DALL-E 2内測, 到5月和6月Google推出Imagen和Parti,再到7月Stable Diffusion内測、開源,各種AI繪畫技術迅速更疊更新,有畫師感慨幾乎是“一天一個樣”。

這股浪潮也從國外刮到國内,百度等網際網路大廠以及一大批藝術、人工智能從業者和愛好者紛紛投入AI繪畫的新領域。代表平台有文心一格、6pen、Tiamat等等。

與此同時,有關AI繪畫的争議和論戰越發激烈。近期出圈的一個事件是AI畫作《太空歌劇院》在美國科羅拉多州博覽會美術比賽中獲得“數字藝術/數字修飾照片”類别的最高獎項,結果受到畫師們的質疑和抵制。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

對于内容創作者來說,當下要如何了解AI繪畫?又有哪些應用場景和亟待探索的問題呢?我們和多位創作者聊了聊,并結合各平台的案例來分析。

文章分為三部分:第一部分是對AI繪畫的基本原理和發展曆史的簡單科普,第二部分列舉了一些AI繪畫的具體應用案例,第三部分是探讨目前AI繪畫存在的争議和問題,希望對感興趣的朋友有所幫助,歡迎友好交流。

AI繪畫是素材拼貼?

首先,我們在這裡讨論的AI繪畫主要是通過文本生成圖像的計算機程式,即“文生圖”(text2image)。

比如這張圖是在DALL·E 2上由文字“Teddy bears working on new AI research on the moon in the 1980s”(1980年代在月球上研究AI的泰迪熊)生成的。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

稍微修改一下描述,把地點換成水下“underwater with 1990s technology”就能得到以下圖檔:

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

可以看到,AI繪畫并不是對現有素材進行簡單的“縫合拼貼”,而是根據文字描述建立新的圖像,一定程度上做到了“舉一反三”,可以幫助人類畫出各種奇思妙想,這背後是大量而複雜的深度學習訓練。

讓我們從AI繪畫的技術發展史來初步認識一下文生圖的基本原理。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

AI繪畫發展時間線,圖源“逗砂”

深度學習在計算機視覺領域的發展可以追溯到2012年,AI學者吳恩達和Jeff Dean等人的貓臉識别實驗(通過1000台電腦創造出多達10億個連接配接的“神經網絡”,上萬張貓臉圖檔的模型訓練後,最終畫出了一個模糊的貓臉),這意味着機器自主學會了識别貓的面孔。

此後科學家們在AI圖像生成的方向上繼續深入研究,提出了“GAN(生成對抗網絡)”,通過生成器與判别器的互相博弈來不斷提升生成能力,就像有一位老師在檢查學生畫得像不像,不像的話學生就重新修改,如此循環。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?
不明覺厲的AI繪畫,對内容創作者來說有什麼用?

對抗1000次與100000次後生成的圖像

2015~2020年,從GAN開始,AI繪畫模型進行了很多探索,但這個時候AI還做不到根據文字來生成圖檔。

直到2021年1月,OpenAI接連釋出了兩個連接配接文本和圖像的神經網絡DALL·E和CLIP。CLIP(跨模态預訓練模型)基于大規模圖文資料集進行了對比學習訓練,可以提取文本和視覺特征來互相比對。也就是說,AI能夠将文字“貓”與貓的圖像相關聯,且關聯的特征是非常豐富的。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

在CLIP推出一年後,2022年2月,Somnai等幾個開源社群的工程師制作了一款AI圖像生成器Disco Diffusion(簡稱DD),它能了解輸入的主體内容、藝術風格、結構視角和修飾詞,且生成的圖檔更華麗。DD作為免費開源項目搭載在Google Colab上,使用浏覽器即可運作,AI繪畫從此走入了大衆視野。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

Disco Diffusion預設畫作,輸入文字:A beautiful painting of a singular lighthouse, shining its light across a tumultuous sea of blood by greg rutkowski and thomas kinkade, Trending on artstation.", "yellow color scheme"(一座奇異燈塔的美麗畫作,它的光芒照耀在洶湧的血海中,Greg rutkowski和Thomas kinkade風格,A站流行,黃色配色方案)

不過DD并不是“CLIP+GAN”的組合,而是“CLIP+Diffusion”,Diffusion(擴散模型)也是當下最熱門的圖像生成模型。

這個半路殺出的Diffusion有什麼不同?

可以看到DD圖檔生成的過程是從模糊逐漸變得清晰。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

每張圖像本質是一個像素點矩陣,Diffusion先是連續給圖像添加高斯噪聲,圖像變成了一堆随機噪聲,然後通過逆向反轉這個噪聲過程來學習恢複資料。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?
不明覺厲的AI繪畫,對内容創作者來說有什麼用?

Diffusion模型的的擴散過程和逆擴散過程

是以當我們在DD輸入一段文字描述時,程式以Diffusion随機生成的噪聲為起點,CLIP會持續計算檢查畫面與描述的一緻性,持續疊代修改,直到噪聲變成正确關聯的線條和色彩,進而生成滿足需求的圖像。

AI藝術研究者“FeiArt”認為,基于生成模型的AI繪畫是一個“有碼到無碼”的藝術。

雖然DD實作了文生圖,但因為是開源的,上手門檻比較高,光是滿屏的代碼可能就要勸退新手小白了。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

“一開始要自己調整二三十個參數,以及編制比較合适的Prompt,才能畫出比較理想的畫面效果,對于使用者了解算法邏輯和寫關鍵詞的要求非常高。不過現在的版本基本不用調參數,隻要寫好關鍵詞就可以了。”數字藝術家“腦玩家mindplayer”向我們介紹了DD的使用體驗,她從今年3月開始在B站和小紅書分享AI繪畫作品和教程,是國内最早一批玩家。

DD出圈不到一個月,很快就有更成熟、門檻更低的産品出現了——Midjourney(簡稱MJ),目前社群成員超260萬。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

MJ搭載在Discord上(國外流行的虛拟社交平台),是一個公開的社群,使用者加入後在聊天框輸入描述文字發送,群内的機器人會回複生成圖檔。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

每次預設會生成4張圖檔,使用者可以點選圖檔下方的按鈕繼續深化(u1/2/3/4),或者在此基礎上生成同一風格、部分變化的圖檔(v1/2/3/4)。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

此時AI繪畫的質感和想象力已經展現出了一定的審美水準和藝術效果,上文提到的獲獎作品《太空歌劇院》便是由MJ生成的,作者在此基礎上進行了修改完善。

我們在谷歌趨勢搜尋關鍵詞“ai painting”,可以看到近兩年的熱度迅速上升,尤其今年7月以來達到最高峰。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

很大一部分熱度要歸功于Stable Diffusion(簡稱SD)。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

“相比DD,MJ可能更突出作品的品質和獨一無二的深化互動。而SD就勝在超全面的風格和極快的速度,而且對新手來說比較友好,網頁版簡潔易上手,免費的用量也可以體驗不少的圖。”AI繪畫設計師“魚擺擺”說道。

SD新賬号可以免費使用200點數,每次生成根據畫面精細程度、張數等參數消耗不同的點數,最少1次1點。不過SD是完全開源的,使用者可以選擇線上或部署到本地來使用。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

6pen最近在微網誌發起了快閃活動,使用者寫關鍵詞發微網誌即可體驗用SD生成圖檔

SD出現後,AI繪畫的浪潮越發洶湧,多位創作者表示可能前兩天還在讨論的功能,第二天就被開發出來了。除了文生圖,如今以圖生圖(image to image)、圖像修複(inpainting)、圖像拓展(outpainting)等功能都已實作,AI繪畫也能駕馭國風、二次元等多元風格了。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

DALL·E outpainting

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

Waifu Diffusion(二次元老婆生成器)

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

文心一格 中國風畫作

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

Tiamat 國風管線

AI繪畫在内容領域如何應用?

在現階段,對于藝術、影視、廣告、建築、時尚、新媒體等創意行業從業者來說,AI繪畫正成為一個強大的助手,可以輔助日常工作,提高産出效率,降低時間和經濟成本。

比如“腦玩家mindplayer”使用AI輔助設計LOGO。原來的流程是先構思、手繪,再輸入電腦調整,中間可能還要跟其他同僚配合,來回溝通會耗費不少時間精力,但有了AI的幫助就非常高效了,“我告訴AI我要做什麼,我們磨合一個小時活兒就幹完了”。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

在AI基礎上進行優化,作品拿去商用也不是難事。

影視導演海辛在公衆号“全民熊貓計劃”分享了其公司将AI設計融入影視美術設計中的首次嘗試——“這街5·李承铉隊長大秀”,工作流大緻為Midjourney -> Blender -> UE虛拟制片。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

李承铉工作室 ,贊 140

他表示在極短的制片籌備時間内,AI創作大幅度地提高了效率,證明了AI投入到工業化使用是完全可行的。

除了輔助設計,AI也能激發創意靈感。像服裝部落客“JINNY ”、婚禮策劃師“哎呀呀哎吔吔”使用AI生成的概念圖作為設計參考。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

PPT設計師、藝術部落客“Simon_阿文”經常分享AI行業資訊和實用工具,他嘗試用AI生成無縫紋理貼圖,設計素材的擷取變得更自由了。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

數字藝術家、小紅書部落客“對方正在畫圖”告訴我們,具體應用要看創作者的知識背景和prompt的寫作能力,不同行業背景的人寫出的詞、畫出的内容很不一樣。

這些從業者釋出在網上的作品讓更多人看到了AI繪畫的可能性,非專業人士也躍躍欲試,希望大展身手。有觀點認為專業人士在AI繪畫上會更有優勢,用起來更得心應手,實際上這個優勢随着技術疊代已經在縮小了。

“之前一個人從不會畫畫到能畫出漂亮的、可讀解的圖像,可能需要很多年的訓練。但是現在,有一個比較熟悉AI繪畫系統的人教你的話,可能兩三天就能學會大概的描述方法,再學習精進的時間成本降低很多了。”“腦玩家mindplayer”說道。

“人人都可以是藝術家”,我們列舉了幾個AI繪畫在内容領域的應用方向。

1. 有經驗的創作者可以用AI拓展新的内容題材,創新互動形式。

“大谷Spitzer”擅長修複舊照片和視訊,現在他能結合AI繪畫與手繪來“還原”莫奈1875年繪制的印象派油畫《撐陽傘的女人》的寫實風格場景。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

他通過選取多個局部區域用AI進行繪畫生成,再輔助以手繪進行修飾細節和完善銜接處,最終完成了這幅作品。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

百萬粉航空媒體自由撰稿人、航空畫畫家白玮,近期釋出了自己用AI制作的漫畫,是賽博式的志怪題材。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

随着技術發展,創作者平台方面也将給予更多AI工具支援,新的内容玩法值得期待。

比如今年9月百度萬象大會上推出了“創作者AI助理團”,通過文心大模型、文心一格、圖文轉視訊等技術,為創作者提供“AI文案助理”、“AI插畫助理”、“AI視訊制作助理”,幫助創作者實作“一個人成為一支隊伍”。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

2. 将AI圖檔實體化等進一步變現增收。

“魚擺擺”基于AI生成的作品做了很多領域的擴充和嘗試,比如實體化成為卡牌遊戲的卡片角色、拼圖、實體牆繪彩繪素材、文創産品等等,也有做AI繪畫教學課程。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

“魚擺擺”供圖

此外,還有創作者将AI生成圖檔進一步優化做成數字藏品,上鍊發售。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

3. 圖文作者擁抱“配圖自由”,可以嘗試自己生成符合内容的封面圖和插圖了。

公衆号“槽邊往事”從5月18日以來的封面圖基本是作者和菜頭自己用AI生成的,結尾附上了部分圖檔的描述詞,他還在文章中分享了創作心得。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

本文的封面圖也是我們初次使用Stable Diffusion生成的,“一個女生在書房裡坐在桌前,桌上有一台筆記本電腦,窗外是秋天,有金黃的銀杏樹”,未經過二次修改。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

4. 二創門檻降低,UGC内容數量增多。

現在入門AI繪畫越來越便捷了,新手不會寫關鍵詞,可以去愛好者建立的檢索網站和群内“抄作業”,SD也可以接入Photoshop插件,創作門檻更低了。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

描述詞檢索網站lexica.art

借助AI生成圖檔的能力,不會繪畫的使用者有機會實作自己的奇思妙想,出于愛好做一些小說插圖、音樂MV、鬼畜玩梗等二創,進而跨入内容創作的大門。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

UP主“哀榮四瀉”用AI為歌曲作畫

5. 延伸探索AI生成視訊。

AI繪畫的下一步就是視訊。近期AI作品《烏鴉》獲得了2022年戛納電影短片節最佳短片,據作者Glenn Marshall介紹,這部作品将真人舞蹈視訊素材《Painted》輸入OpenAI的CLIP,然後系統根據描述“荒涼風景中的烏鴉畫”轉化為動畫。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

UP主“自由雲朵”利用Disco Diffusion繪制,經由Topaz Video Enhance AI優化放大,複刻了周傑倫新歌《最偉大的作品》的MV,播放量達83萬,這是他B站投稿中目前播放最高的作品。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

據百度文心方面介紹,AI生成視訊,是AI生成圖像的一種延伸。從技術本質上看,視訊可以認為是多張“圖檔”,即視訊幀構成的序列,且序列上各幀之間有畫面、邏輯等層面的關聯。是以,從嚴格的技術抽象層面出發,AI生成視訊是相對更難實作的。

目前文生圖技術可以通過簡單的技術組合,例如分步驟擴散生成等方式,将生成圖像擴充到生成視訊,但效果還不能令人滿意。總結來說,AI按照生成圖像的方式生成視訊,仍處于前沿探索階段。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

AI繪畫仍待探索的問題

AI繪畫的飛速發展也伴随着許多争議和問題。

“腦玩家mindplayer”表示,“AI繪畫作為一個工具可以迅速被應用,人人都可以畫出自己理想的世界,但是之後怎麼辦?這可能是行業内外的人都在思考的問題。”

藝術相關從業者擔心的是自己會不會被AI取代,是以失業。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

今年8月,《大西洋月刊》文章中使用Midjourney創作的圖檔作為插圖引發了大量争議,如果媒體在未來大量使用AI繪圖,那麼插畫師、攝影師的生存空間會不會被擠壓,甚至行業都将覆滅呢?

的确,人工智能的力量會對人們的生活帶來很大變化,未來技術普及後不可避免會取代一部分重複性較高的初級崗位,但“藝術已死”的說法真的與現實相符嗎?AI繪畫具有創造性嗎?

Midjourney創始人David Holz曾在每周三Office Hour時間,回答了這個提問:

創造力本身有很多的形式,如果說是将兩個不同的概念混合在一起,像是賽博朋克和洋蔥,也許曆史上從未有過做賽博朋克洋蔥的人類。在将兩個不同概念混合在一起的能力上,AI目前基本是人類的水準。但我認為藝術家不僅僅是關于圖像的産生者,藝術往往是關于故事和情感的,而AI沒有故事和情感,AI創作的影像的叙事來源于使用TA的人。

貝殼皆來自大海,但海洋非造物者。美石皆來自川河,但河流非孕育者。這套系統并無創造的能力,但美可以來自其中。AI繪畫本質如同行雲,TA并無任何主觀的意願。

雖然樂觀的從業者紛紛投入研究AI繪畫,但在行業上下遊,受到沖擊的付費圖庫首先用行動表示了抵制。

近日,繼Newgrounds、PurplePort和FurAffinity後,圖庫服務商Getty Images禁止上傳、銷售使用AI生成圖檔,這意味着由DALL·E、Midjourney和Stable Diffusion等工具生成的作品将無法上傳并獲得任何收入。并且,之前上傳平台的AI生成圖檔也一概作删除處理。

Getty Images首席執行官Craig Peters表示,該禁令是出于對AI生成内容合法性的擔憂以及保護網站客戶的願望,但他并未透露Getty Images是否因為銷售AI生成作品而面臨訴訟糾紛。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

實際上,目前海内外關于AI生成圖檔的合規性頗有争議。

上文我們談到AI生成圖像的原理是深度學習了大量圖文資料,會抓取網絡公開的他人作品,生成的圖檔與訓練的作品相似,甚至有時還會混入原創水印痕迹,是以有觀點認為訓練庫涉嫌抄襲和侵權,部分從業者也公開表明禁止AI學習自己的作品。近期被抵制下線的日本AI繪畫平台micmic就是一個典型例子。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

涉及到商業使用時,AI生成圖檔的版權到底歸誰所有?這個問題不同平台都有各自的說法,具體還要看對應的版權說明。

DALL·E:

https://labs.openai.com/policies/content-policy?continueFlag=ef7d16db9473cdc8d5561a6340adbe96

Midjourney:

https://midjourney.gitbook.io/docs/terms-of-service?continueFlag=ef7d16db9473cdc8d5561a6340adbe96

Stable Diffusion :

https://stability.ai/stablediffusion-terms-of-service?continueFlag=ef7d16db9473cdc8d5561a6340adbe96

有的平台表示屬于生成者,比如6Pen聲明不保留版權,生成的圖檔版權都歸屬生成者,可随意自用商用。有的屬于平台,有的完全開源,不屬于任何人。

根據Midjourney的服務協定,輸入prompt的人享有生成圖像的版權,但對于prompt版權的歸屬卻沒有定論。據觀察,現在業内已出現販賣文本prompt、AI洗稿的現象,還有甚者直接盜圖賣圖,一些桌面号是重災區,是以許多創作者選擇不公開作品的prompt,标注禁止轉載和商用。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

一般AI繪畫商用避免侵權的做法是增加獨創性,将AI作為輔助或基礎素材。“Simon_阿文”認為,如果有以下一種或者多種情況,建議不要商用:

【1】當你使用了風格鮮明的藝術家作為關鍵詞時,請不要直接商用,尤其是在世的藝術家;

【2】當你使用了某部商業作品作為關鍵詞時,請不要直接商用;

【3】歡迎按照這個思路補充。

關于版權問題,百度文心方面表示對圖檔版權非常重視,如果平台未來開放出來的生成圖檔侵犯到原作者權益,百度會提供投訴回報通道,為相關權利人提供權利救濟管道,迅速處理。“AI文生圖的版權問題是國内外法律都在持續探讨的方向,百度會跟進國内外發展情況,結合國内法律法規,有最新進展會更新給大家。”

此外,AI本身沒有價值判斷,隻是提取訓練庫資料的特征與人們輸入的資料相對應,當人們刻意輸入暴力、血腥、涉黃等敏感資訊,或将生成的圖檔用于虛構事實時,AI也可能随之陷入倫理道德的困境。在這方面,DALL·E 2做了很多限制和幹預,比如減少性别偏見的産生、防止訓練模型生成逼真的個人面孔。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

人工智能是個新興行業,可以看到相關的行業規範正在向前邁進。

10月1日起實施的《上海市促進人工智能産業發展條例》立法确立了人工智能産品和服務的行為底線,明确相關主體開展人工智能研發和應用,應當遵守法律、法規規定,增強倫理意識,并不得從事相關禁止行為。比如禁止提供危害使用者人身或者财産安全、侵害個人隐私或者個人資訊權益的産品和服務;禁止利用算法技術實施價格歧視或者消費欺詐等侵害消費者權益的行為,實施壟斷或者不正當競争等行為等。

縱觀内容生态的發展,大緻可以分成四個階段:專業生成内容(PGC)、使用者生成内容(UGC)、AI輔助生産内容、AI生成内容(AIGC)。AIGC(Artificial intelligence-generated content)即通過AI技術來自動或輔助生成内容的生産方式。

不明覺厲的AI繪畫,對内容創作者來說有什麼用?

圖源量子位智庫《AIGC/AI生成内容産業展望報告》

“未來十年,AIGC将颠覆現有内容生産模式,可以實作以十分之一的成本,以百倍千倍的生産速度,創造出有獨特價值和獨立視角的内容。”百度資深副總裁、百度移動生态事業群組(MEG)總經理何俊傑在2022萬象大會上說道。

可以預見的是,未來人工智能将會深入影響各類内容創作領域,潘多拉的魔盒已然打開,痛苦與希望并存。

【答案:這五張圖分别出自作者“tarte”、“腦玩家mindplayer”、“陳麒宇”、“WLOP”和“撫光”,隻有D“WLOP”未使用AI創作,WLOP是AI繪畫描述中經常被引用的知名畫師。】