近年來，作為人工智能領域的新應用，深度合成技術已在多個領域大量應用。如：以深度學習、虛拟現實等為代表的生成合成類算法制作的圖像、音頻、視訊等資訊。因具備較高的娛樂性與廣泛的傳播性，越來越多的創作者參與其中，深度合成内容在各類社交媒體平台上呈現出較高的關注度。
然而在網際網路上，因惡意使用該技術生成的音視訊所造成的負面影響不容小觑。深度合成内容的技術濫用，易對廣大群衆和企業造成聲譽損害和财産損失，并在社會、國家層面産生一定的不良影響。
目前，深度合成内容的應用場景仍在不斷豐富。從AI換臉、語音合成、影像修複，再到最近大熱的“元宇宙”，深度合成内容正在快速進入大衆視野。随着技術成熟度的持續提升，越來越多的企業機構也開始利用深度合成技術，提供面向公衆的産品和服務。
“元宇宙”等新商業思維的提出，為深度合成提供了更廣闊的應用場景。“比如虛拟人、數字人即是深度合成的主要應用，也是‘元宇宙’的重要組成部分。”阿裡巴巴安全感覺與認知智能部負責人薛輝表示。
随着深度合成行業持續發展，深度合成産品和服務增多，内容制作的技術門檻持續降低，逐漸實作技術“平民化”，相關内容風險也在持續加劇。近年來，不法分子通過僞造音頻、視訊，實施誣陷、诽謗、詐騙、勒索等違法案件頻發。
清華大學新聞與傳播學院常務副院長陳昌鳳表示，虛假内容的高難度甄别影響了事實核查的有效性，在社會重大事件或政治事件節點上，深度合成技術可能被用于操作輿論意見，借助社交媒體，使虛假資訊短時間内引發産生病毒式擴散，激化社會沖突。
今年年初，國家網信辦公布《網際網路資訊服務深度合成管理規定（征求意見稿）》，對深度合成内容的用途、辨別、使用範圍以及法律責任等作出具體規定。業内認為，管理新規的即将出台，意味着深度合成将迎來規範化發展關鍵期。
中國工程院院士邬賀铨認為，深度合成的治理有兩項要點：
第一，要持續發展技術，不能“一刀切”地禁止，避免阻礙正向應用與創新。第二，衍生出的安全問題要從源頭上解決，利用技術創新、技術對抗等方式，持續提升和疊代檢測技術的能力。