隻需要一張照片，
通過人工智能深度合成技術，
任何人都能成為視訊中的主人公，
甚至連表情和動作都能以假亂真。
然而，這項技術
卻讓一些人産生了不良想法
杭州的虞某利用“AI換臉”軟體生成大量淫穢視訊進行傳播，被換臉的有不少女明星等公衆人物，虞某甚至還提供換臉定制服務。
“
2022年8月，杭州市蕭山警方在網上巡查中擷取一條線索，轄區内有人利用AI技術制作淫穢視訊在網上進行大量傳播，警方依法對此立案偵查，并迅速抓獲了犯罪嫌疑人虞某，随後該案被移送至杭州市蕭山區人民檢察院審查起訴。
杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾：虞某通過在網際網路上發現了有一個AI換臉的技術軟體，他自己通過學習這個軟體，掌握了使用技能，從此開始利用AI換臉的技術去牟利。
檢察機關調查發現，虞某從2020年開始接觸“AI換臉”軟體，起初他想通過在網上推廣該項技術以及相關軟體來獲利，但是關注他的人卻很少。一次偶然的機會，虞某看到有人在社交群組中釋出淫穢資訊來吸引他人關注，于是他也動起了類似念頭。
據虞某供述，為了吸引更多的關注和流量，他在社交軟體上建立了“浏覽群”和“私人定制群”，“浏覽群”主要用來傳播“AI換臉”的淫穢視訊吸引、招攬觀看者，其中包括一些經過虞某換臉的視訊。當有人提出“定制換臉”的需求，虞某會将這些人引入所謂“私人定制群”。
杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯：通過收取入（浏覽）群費用的方式，一個198元、298元或者398元。另外一個就是虞某還提供人臉視訊定制服務，相當于客戶如果需要定制一個換臉的視訊，他可以根據時長，根據視訊的難度大小收取相應的費用。
據蕭山檢察，截至案發，公安機關共在虞某某所組建的公開群内查獲淫穢視訊1200餘部、圖檔1600餘張。
虞某某組建該聊天群并在群中傳播合成的淫穢視訊
“”
據檢察機關調查，虞某一邊通過傳播換臉的淫穢視訊來“吸粉引流”，同時又通過出售“AI換臉”軟體和提供所謂“AI換臉”的私人定制服務，在不到半年的時間裡就獲利數萬元。
據檢察機關調查，虞某根據“AI換臉”視訊的長度、清晰度等難易條件，按照5分鐘300元、10分鐘500元等标準來收取定制的費用。虞某聲稱，“隻要能看到臉的都能換”。
杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾：他通過VIP定制，就是客戶提要求“我今天想要把臉換成是誰的臉，你幫我定制一下，我支付相應的報酬”，通過這樣牟利的方式。
據檢察機關了解，虞某的客戶要求“定制”換臉的對象不僅包括一些知名的公衆人物，也有生活中的普通人，其中就有人提出想要定制自己暗戀女生的換臉視訊，而對于這些未經同意就擅自侵犯他人敏感資訊的違法行為，虞某也是來者不拒。
另外，虞某除了進行定制化的換臉服務，還将“AI換臉”軟體分為初級、中級和進階三個等級進行銷售并傳授使用教程，同時還提供網上非法收集的他人人臉素材。
據檢察機關收集的證據顯示，虞某建立的衆多社交群組中，最少的成員95人，最多的成員達2053人，通過銷售換臉淫穢視訊以及定制換臉淫穢視訊等違法行為，虞某先後收取密碼紅包200餘次，總金額共計6萬餘元。
！
檢察機關認為，作為“AI換臉”技術的使用者，虞某通過傳播侵犯公民個人資訊的方法和手段，使得更多“不特定主體”個人資訊被侵害的社會危險性進一步擴大。是以，杭州市蕭山區人民檢察院在依法追究虞某刑事責任外，同時還提起民事公益訴訟。2023年7月，杭州網際網路法院對這起公益訴訟案進行審理，這也是大陸首例關于“AI換臉”侵犯公民個人資訊公益訴訟案的審理判決。
2023年4月14日，杭州蕭山區人民檢察院決定對虞某“AI換臉”侵犯公民個人資訊公益訴訟案立案，當日履行公告程式，公告期滿，無适格主體提起訴訟。6月9日，檢察機關依法對虞某提起民事公益訴訟。7月28日，該案在杭州網際網路法院一審公開審理。
在庭審中，檢察機關出示了虞某侵犯公民個人資訊、損害社會公共利益的詳細證據，包括公安機關對虞某所作的訊問、詢問筆錄、勘驗記錄、檢查記錄、鑒定意見，以及淫穢視訊1200多部、圖檔1600多張等電子資料。
杭州網際網路法院經審理認為，虞某利用“AI換臉”技術侵犯公民個人資訊的違法事實确鑿，是以支援檢察機關作為公益訴訟起訴人的全部訴訟請求：判令被告虞某，這些款項将專門用于個人資訊保護、人臉深度合成技術不當應用的治理等公益事項。
2023年11月，杭州市蕭山區人民法院判決被告人虞某犯制作、傳播淫穢物品牟利罪，判處。
法官：
技術無善惡但有邊界，須在法律規制内使用
“僅憑幾張照片，任何人都可能成為受害者。” 從網絡主播換臉女明星直播帶貨，再到換臉被嫁接到淫穢視訊中，濫用“AI換臉”技術實施各類侵犯個人資訊的行為時有發生，甚至在灰色領域甚至違法犯罪領域濫用。那麼，“AI換臉”技術的法律邊界在哪裡，又該如何規範和治理呢？
杭州網際網路法院網際網路審判第一庭庭長 肖芄：我們國家的民法典對于侵害他人，通過深度僞造方式侵害他人人身權益是有明确的規定的，禁止通過深度合成的方式去侵害公民的人身财産權益，這是民法典的規定。随着技術的發展，個人資訊保護法對于深度合成也有相關的規定，因為不管是面部的一個替換還是聲音的替換，它實際上都需要收集公民的個人資訊，那麼這些都是屬于個人資訊保護法特别保護的敏感的生物識别資訊。
大陸目前除了“民法典”“個人資訊保護法”，2023年正式實施的《網際網路資訊服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》中也明确規定，強調使用者不得利用深度合成服務從事法律、行政法規禁止的活動，要求深度合成服務提供者要落實資訊安全主體責任。
來源：央視新聞