“AI換臉”成新型網絡犯罪工具

未經允許合成虛拟形象、假冒好友視訊聊天到合成不雅視訊……“AI換臉”視訊因制作成本和技術門檻低,已成為一種頗受黑灰産歡迎的新型網絡犯罪工具。南都記者調查發現,在社交平台上簡單搜尋就可找到提供“AI換臉”服務的賣家。有專家指出,除濫用這一技術的不法分子,使用“AI換臉”軟體的個人使用者也應注意是否造成侵權。北京京師律師事務所律師王琮玮提醒,當使用者發現遭到他人侵權等非法利用時,應當第一時間采取保全證據及時向平台反映并向公安機關報案等救濟措施。

低門檻低成本

一張照片幾十秒生成換臉視訊

據新華視點消息,陳先生今年2月到浙江省溫州市警察局瓯海分局仙岩派出所報案,稱自己被“好友”詐騙了近5萬元。經警方核實,詐騙分子利用陳先生好友“阿誠”在社交平台已釋出的視訊,截取其面部視訊畫面後再利用“AI換臉”技術合成,制造陳先生與“好友”視訊聊天的假象騙取其信任,進而實施詐騙。

溫州公安也曾釋出消息,去年拱宸橋派出所接到報警,受害人小陳稱他在與女網友視訊聊天後被對方敲詐勒索。經警方調查,對方利用AI換臉技術,将小陳視訊中的面部合成到不雅視訊中,借此對其實施勒索。

瑞萊智慧副總裁唐家渝告訴南都記者,早期的換臉視訊,由于技術不成熟、不完善,存在“微表情不自然”、“面部邊緣有鋸齒”等明顯換臉痕迹。但随着技術的不斷成熟,近年來制作傳播的換臉視訊,足以達到以假亂真的水準。

犯罪分子是如何生成大批量以假亂真的AI人臉合成視訊的呢?

中國信通院雲大所人工智能部副主任石霖向記者分析,從新聞的描述來看,犯罪嫌疑人應該是使用的類似CrazyTalk等軟體,利用“重制”的方式将被害人的照片僞造成眨眼、點頭、張嘴等動态視訊。由于這類軟體對技術算法進行了封裝,是以使用成本和難度大大降低。

唐家渝告訴南都記者,目前業内已經有很多成熟的生成類軟體工具。并且現在很多代表性的生成方法已經被開源,技術走向公開和輕量化,也有黑産分子售賣AI換臉軟體及教程。普通人很快就能上手,通常生成一段用于身份核驗的動态換臉視訊,十幾分鐘就可以實作。

去年4月1日,合肥市警察局網安支隊聯手包河分局打掉了一個在合肥、青島等地的幫派。該團夥非法利用AI人工智能技術,僞造他人人臉動态視訊,以2到10元的售價賣給黑灰産從業人員,幫助其完成大量的手機卡注冊。這些手機卡注冊後,再被不法分子用于賭博、貸款、詐騙等行為。

在上述案件中,犯罪嫌疑人馬某向警方交代,将一張照片變成可以通過人臉識别的動态換臉視訊,他們隻需通過将照片上傳至相關軟體,在一分鐘,甚至幾十秒内就可以完成。

“AI換臉”黑灰産

通過社交平台出售AI換臉服務

南都記者梳理發現,“AI換臉”技術“走紅”以來,曾出現過不少售賣“AI換臉”服務的團夥。據新華視點報道,記者早前在淘寶網搜尋“AI換臉”、“deepfake”等,出現了不少提供換臉軟體及換臉視訊制作的售賣資訊。

事實上,去年南都記者也曾在QQ群搜尋到了“AI換臉進階群”、“變換臉-AI換臉”等提供“AI換臉”服務的群組,賣家聲稱“五分鐘視訊換臉100元”“學教程2000元包教包會”“不限視訊内容”“所有明星都能換”。其中一名從業人員透露,其制作的“AI換臉視訊”甚至可以通過人臉識别。

現在,上述的商品和群組均已查找不到。另一社交平台上,原有的“Deepfake(某“AI換臉”軟體)吧”也已不存在。但仍有賬号的簡介稱可“AI換臉教學,代做視訊”,還有的賬号釋出多個女明星“AI換臉”視訊,視訊的流暢度、人臉表情、動作的自然度都十分逼真。

南都記者觀察到,“AI換臉”亂象不斷,國家網信辦、各地網警加緊對涉及“AI換臉”違規違法現象進行整治,相關的法規政策也在逐漸出台。

目前《中華人民共和國民法典》《網絡音視訊資訊服務管理規定》《網絡資訊内容生态治理規定》等大陸多部法規均涉及深度合成應用的規範。今年1月,國家網信辦最新公布的《網際網路資訊服務深度合成管理規定(征求意見稿)》(下稱《規定》)對深度合成内容的用途、标記、使用範圍以及濫用處罰作出具體規定,尤其對作為深度合成服務提供者的平台方進行稽核、評估、監管等提出要求。

不過,仍有多名專家指出,目前對于深度合成服務與應用方面的規範還需要進一步細化和明确。

浙江墾丁律師事務所元宇宙法律研究部成員程念表示,深度合成技術相關的一些概念界定、平台責任邊界等問題的确定在法律上面臨挑戰。

對于利用AI技術進行的犯罪行為,王琮玮談到,《規定》拟規範的是提供符合市場需求的應用技術,對于這一技術被濫用,甚至從事違法犯罪行為并不能起到限制或禁止的作用。“當AI技術的使用上升到刑事法律層面,需要用《刑法》來調整。”

唐家渝則進一步指出,在AI技術合規性方面,目前還缺乏一套科學嚴謹的标準機制。未來應引導學術界、産業界不斷加強技術研究,利用技術創新、技術對抗等方式,持續提升和疊代深度合成檢測能力,并擴充深度合成溯源、深度合成鑒定等方面的研究。

法規政策陸續出台

個人使用者應注意侵權風險

針對近日多家媒體報道的利用“AI換臉”進行詐騙的案件,程念指出,不論是通過何種技術手段,這些人使用欺詐方法(虛構事實或者隐瞞真相方法)騙取數額較大的公私财物,涉嫌構成詐騙罪。

據《中華人民共和國刑法》和《最高人民法院、最高人民檢察院關于辦理詐騙刑事案件具體應用法律若幹問題的解釋》,詐騙數額達到三千元的即達到詐騙罪的入罪标準,處三年以下有期徒刑、拘役或者管制,并處或者單處罰金。

不過,在“AI換臉”領域,不僅僅有不法分子用于詐騙涉嫌犯罪,事實上,使用“AI換臉”App的個人使用者也應注意是否造成對他人的侵權。

其中,明星“AI換臉”成為構成他人肖像權侵犯的“重災區”。去年8月,劉昊然工作室向警方報案,稱有大量使用者通過網絡管道傳播利用“AI換臉”僞造的侮辱性視訊,已向警方報案。

同年9月,據澎湃新聞報道,林俊傑也以肖像權受到侵犯為由将上海寬娛數位科技公司、B站up主“瓜瓜Mars”告上法庭,索賠金額總計275000元。上訴緣由為該up主未經其允許,利用“AI換臉”技術制作多個視訊并獲得收益。

而在今年4月11日,最高人民法院釋出的一個典型案例中,法院認定人工智能軟體擅自使用自然人形象創設虛拟人物構成對原告一般人格權、肖像權和姓名權的侵害,且被告的人工智能軟體營運方與使用者構成了共同侵害原告肖像權的行為。

對此,多名專家提醒,一方面公衆應注意不要随意濫用“AI換臉”軟體侵害他人權益。平時需警惕陌生連結,在注冊、登入時要謹慎送出個人敏感資訊,不要輕易授權個人資訊,關閉一些非必要的權限等。

另一方面,在防範自己被他人“AI換臉”方面,從使用者的角度存在一定的難度。王琮玮指出,一般情況下,使用者需要提供自己較為精準的面部、聲音、指紋等資料,以此在應用中完成注冊、登入或支付等功能。“是以在采集階段和使用階段,使用者處于一種被動的狀态,可以說是難以自我防範。”

當使用者發現遭到他人侵權等非法利用時,王琮玮說,“應當第一時間采取保全證據及時向平台反映并向公安機關報案等救濟措施。”

采寫:南都記者　蔣琳　實習生　楊曦霞