天天看點

谷歌釋出從文本生成音樂的AI作曲系統,但暫不計劃釋出

谷歌釋出從文本生成音樂的AI作曲系統,但暫不計劃釋出

作者 | Kyle Wiggers

策劃 | 劉燕

譯者 | 馬可薇

谷歌新出的神奇 AI 系統可以根據一段文本生成任何類别的音樂,不過公司出于風險考量,目前并沒有釋出的計劃。這款名為 MusicLM 的系統顯然不是第一個在 AI 生成音樂領域吃螃蟹的,其他類似的系統有可視化 AI 作曲 Riffusion、舞蹈擴散、谷歌的 AudioML、OpenAI 的 Jukebox。但由于技術限制和有限的訓練資料,至今都沒能生成編曲複雜或高保真的音樂。但或許 MusicLM 能有所不同。

谷歌釋出從文本生成音樂的AI作曲系統,但暫不計劃釋出

根據論文中的詳盡描述,MusicLM 是使用了 28 萬小時的音樂進行訓練,才學會從“十分複雜”的描述中生成連續的歌曲。“複雜”的文本可以是“由薩克斯獨奏和獨唱組成的令人難忘的爵士樂”,或者“低音貝斯且強節奏性的 90 年代柏林電子樂”等等。值得關注的是,MusicLM 所生成的歌曲雖然不一定具有創造性或音樂的凝聚力,但聽起來卻很像是人類能創造出的。

考慮圈子裡沒什麼藝術家或樂器演奏家,我不好大加贊揚這些生成的樣本。但即使是在冗長且彎彎繞繞的描述中,MusicLM 也能捕捉其中演奏器樂、旋律或情緒間的細微差别。

MusicLM 的 AI 能力不僅限于音樂片段的生成。谷歌研究者稱,該系統可根據已有哼唱、演唱、口哨、樂器等旋律進行制作,甚至能根據多個連續描述,如“該冥想了”、“該起床了”、“該跑步了”、“該全力付出了”,生成一段“故事性”的叙事旋律,長度可達數分鐘,足以被用作電影配樂了。

不僅如此,MusicLM 也可以借助圖檔和文本的雙重引導,生成由特定樂器“演奏”的特定音樂類型,甚至就連 AI “演奏者”的經驗水準、啟發創作的地點或時代都能指定,比如“健身時的鼓勵音樂”。

人無完人,MusicLM 也不是完美的,甚至也有不少缺陷。訓練中難免會出現部分樣本音質扭曲,生成的人聲合唱和聲也有很大的改進空間,多數的“歌詞”部分還能模糊認出是英語,剩下的就全是合成了好幾個音樂人的、電子音極重的胡言亂語了。

谷歌釋出從文本生成音樂的AI作曲系統,但暫不計劃釋出

即使如此,谷歌研究者仍認為 MusicLM 這類系統所帶來的倫理挑戰,其中就有将訓練集中的音樂,無視版權保護添加至生成樂中這一情況。在實驗中,研究者發現約 1% 的系統生成樂和訓練中的原曲完全相同,這一高數值明顯已經足以勸退谷歌釋出目前階段 MusicLM 的想法了。

“我們承認該類用例下盜用創作内容的潛在風險,”論文的合著者之一如此寫道,“我們着重強調,在規避音樂生成相關風險方面,在未來我們還有很長的路要走。”

假設未來某天 MusicLM 或類似的系統真的釋出了,這些重要的法律問題也會避無可避,哪怕這些系統的設計初衷是為協助藝術家而非取代他們的存在。即使是在目前相對簡陋的 AI 系統上,這類問題已經屢見不鮮了。2020 年 Jay-Z 的唱片公司對油管頻道“Vocal Synthesis”提出版權訴訟,後者利用 AI 生成 Jay-Z 翻唱歌曲,如 Billy Joel 的“We Didn’t Start the Fire” 。油管在将視訊下架後又将其恢複,并稱下架請求“不完整”。目前 deepfake 生産的音樂仍處于法律的灰色地帶。

谷歌釋出從文本生成音樂的AI作曲系統,但暫不計劃釋出

音樂出版商協會的法律實習生 Eric Sunray 所撰寫的白皮書中稱,MusicLM 之流的人工智能音樂生成系統确實侵犯了音樂版權,因為其“利用訓練中的作品織造連貫音頻,是以觸犯了美國版權保護法的複制權”。随着 Jukebox 的釋出,外界對使用受版權保護的音樂材料訓練人工智能模型是否合理的質疑不斷,類似的擔憂在圖像、代碼,以及文本生成 AI 系統所使用的訓練資料上也不斷出現,這些訓練資料往往是在創作者不知情的情況下從網際網路上搜刮而來。

Waxy 公司 Andy Baio 從使用者角度提出猜測,由人工智能系統生成的音樂應被視作為衍生作品,是以隻有原作品受版權保護。當然,這類 AI 作品能夠被成為“原創”還要打個問号,在商用領域的使用也還是未知領域。如果生成樂可以受合理使用(如評論及模仿)保護,那麼事情就簡單很多,但 Baio 預計法院仍需要具體情況具體分析。

或許過不了多久,這類問題就能有更為明确的說法,一些包括藝術家作品在本人不知情或不同意的情況下仍被用于 AI 系統訓練等仍在法院庭審過程中的相關訴訟,很可能會對目前 AI 生成音樂産生影響。時間會證明一切。

https://techcrunch.com/2023/01/27/google-created-an-ai-that-can-generate-music-from-text-descriptions-but-wont-release-it

繼續閱讀