央廣網北京6月1日消息（記者周益帆）近日，因AI換臉技術導緻的詐騙案件，引發了人們的關注。伴随着AI大模型的發展，“換臉”技術應用範圍越來越廣，從美顔到影視制作、數字娛樂再到直播帶貨，不斷吸引着眼球與流量；技術的突破，還使得換臉後的人物表情、動作細節更為逼真，一旦被不法分子利用，可能會帶來嚴重危害。記者調查發現，在網上，AI換臉軟體的擷取非常容易，利用AI換臉軟體的法律邊界在哪裡？如何做好事前監管？
視訊加載中...
2017年起，一項被命名為“deepfake”（深度僞造技術）的概念，使得生成高度逼真、肉眼難辨的換臉視訊内容成為可能；2019年，在大陸，換臉軟體“ZAO”的走紅，引發了人們對于生物識别等内容的監管讨論，上架幾天後，企業被工信部約談，App下架；而當下，依托于大模型及算法的突破，AI換臉正在實作更大範圍的應用，引發更多擔憂。
在網絡上，示範此類換臉軟體使用方法及效果的教程比比皆是。
不同于大量給普通人“嘗鮮”的免費軟體，記者發現，在網絡上還有很多高價的付費AI換臉軟體，這些付費軟體與免費軟體有什麼樣的不同？
記者搜尋“AI換臉軟體”後聯系上了一個開發者，他給記者提供了一段使用其軟體實作換臉的示範視訊——雙視窗頁面左側是換臉之前的原始視訊，右側則是換臉之後的視訊，肉眼來看，換臉之後的“數字人”口型、表情、微小的動作幾乎毫無破綻。
△賣家展示的素人換臉效果——口型、表情等細節十分逼真
在其銷售網站上，該軟體開發者還展示了如何将兩位知名女星的眼睛和嘴巴拼接到一起，生成全新“數字人”的視訊。
△賣家展示的整體換臉（S為原視訊，D為更換之後）
這一付費軟體提供着從初級（LV1）到超級（LV4）再到全套（LV5）的不同版本。以初級套餐來說，499元提供軟體界面、視訊指導以及“300萬+入門級模型”，如果花2888元，則可以得到全套（LV5）等級的800w視訊換臉模型。
△網絡上提供着多種不同等級的換臉軟體産品
打開該網站，底部沒有任何文字顯示其經過了備案。賣家也十分謹慎，全程僅用文字交流。他表示，與初級（LV1）至超級（LV4）套餐相比，全套（LV5）版本疊代更多，能力更強，也可以了解為換臉效果更為逼真，同時，不僅可以實作視訊換臉，還支援直播換臉。
記者進一步詢問，能否根據自己的需求換臉？對方表示，如果看到某個人五官覺得不錯，隻要找到這個人正面臉及多角度視訊，就可以導入軟體進行訓練，實作逼真換臉；如果使用者想要明星臉，又不希望被一眼看出來，則可以找幾個買家認可的視訊段落放在一起訓練，就能夠實作“有點像又不太像”的換臉功能。
△該軟體開發者在與記者的聊天中表示：“想換什麼樣的臉拿素材訓練就可以”
△賣家展示的使用者回報
一位從事AI開發的技術人員表示，這意味着可能會有更多難以控制的風險。“技術本身其實是不分好壞的，但類似于Deepfake這樣的AI換臉技術是開源的，也就是說所有人都可以看、可以用，是以在很多年前就已經在黑灰産中蔓延滋生，比如說被用來搞電信詐騙。因為最近的AI大模型火起來了，它的算法又有了更新，就可以內建文生圖、文生文，文生音頻、文生視訊、換臉，這樣的功能結合起來，就可以打造出一個完全嶄新的數字人或者叫AI人，監管的成本和難度高了好幾個數量級。”
北京嘉維律師事務所律師、IT法律專家趙占領表示，從事後打擊的角度來說，《中華人民共和國刑法》中有關于詐騙罪的規定；《中華人民共和國民法典》明确，公民享有肖像權、姓名權、名譽權等相應的民事權利。也就是說，如果發生使用他人的肖像進行詐騙的相關案例，不法分子能夠在事後被法律限制與制裁。但在人工智能技術飛速發展的當下，我們還應探讨如何能夠做到有效的事前防範。
“監管部門如何制定合理的規範，通過賦予人工智能服務的經營者一定的義務，從事前防範的角度，在某種程度上減少這種技術的應用可能帶來的一些風險，這個可能是需要探讨的。那麼，從今年年初開始有兩個規定，一個是深度合成服務的管理規定《網際網路資訊服務深度合成管理規定》，這已經生效了；另外一個是網信辦在4月份的時候公開征求意見的《生成式人工智能服務管理辦法（征求意見稿）》，那麼這兩項規定它是從行業監管的角度，對提供深度合成服務的軟體，或是生成式人工智能服務的這種軟體，對此類經營者提出了相關的管理要求。”趙占領表示。
例如，在《網際網路資訊服務深度合成管理規定》中要求，深度合成服務可能導緻公衆混淆或者誤認的，深度合成服務提供者應當在生成或者編輯的資訊内容的合理位置、區域進行顯著辨別；《生成式人工智能服務管理辦法（征求意見稿）》要求，利用生成式人工智能産品向公衆提供服務前，應當按照有關規定向國家網信部門申報安全評估；要尊重他人合法利益；産品提供者應當對生成式人工智能産品的預訓練資料、優化訓練資料來源的合法性負責等。
浙江大學國際聯合商學院數字經濟與金融創新研究中心聯席主任盤和林認為，從目前來說，如果能夠有效落實“辨別”的要求，形成有效的監管體系，可以在很大程度上提前厘清AI換臉所帶來的“模糊邊界”。“目前的監管相對于AI換臉技術發展确實略有滞後，但規則上我覺得已經補足，但是目前的AI換臉的‘辨別’的監管體系還沒有形成，我們要針對不标注的内容，通過技術的手段來辨識，并且對不标注的個人或者是機關組織要有具體的處罰措施、标準以及制度。這裡主要的核心就是一個‘标注’，不加标注的合成内容，播放者或者制作者都要承擔相應的責任。讓公衆閱聽人或消費者有一個明确的辨認，既可以有效區分，又可以針對性地監管，很多問題就能夠解決。”
趙占領認為，從長遠來看，監管與處罰措施恐怕還需要随着技術發展不斷“疊代”，才能形成立體有效的治理方案。
“這裡面有很多規定，比如說對于合成式服務提供者，要在合成的結果上要有一個明确的辨別；這種服務的提供者本身他對使用者輸入的資訊以及輸出的結果，會承擔一個稽核的責任，這個責任相對比較重，但可能很多經營者并沒有遵守這樣的義務；還有一個是，有些情況下是否侵犯他人的第三方權益，是需要人工的判斷，有價值的判斷，在目前的技術條件下，我們還很難完全做到。這樣的話就會導緻盡管有相應的規定，但實際上在操作層面，可能還是需要通過技術本身不斷地完善，來逐漸解決這樣的問題。”趙占領表示。
（為保護受訪者隐私，部分音頻進行了變聲處理）
更多精彩資訊請在應用市場下載下傳“央廣網”用戶端。歡迎提供新聞線索，24小時報料熱線400-800-0088；消費者也可通過央廣網“啄木鳥消費者投訴平台”線上投訴。版權聲明：本文章版權歸屬央廣網所有，未經授權不得轉載。轉載請聯系：[email protected]，不尊重原創的行為我們将追究責任。