天天看點

深度僞造色情圖檔?國家網信辦拟出新規:深度合成内容需辨別

繼算法推薦之後,深度合成技術也将迎來單獨規範。1月28日,國家網際網路資訊辦公室釋出《網際網路資訊服務深度合成管理規定(征求意見稿)》(以下簡稱“征求意見稿”)并公開征求意見。

所謂深度合成技術,是指利用以深度學習、虛拟現實為代表的生成合成類算法制作文本、圖像、音頻、視訊、虛拟場景等資訊的技術,包括語音合成、換臉、虛拟現實等場景。近年來,深度合成技術被頻繁被用于色情内容制作和詐騙。

征求意見稿提出,深度合成服務提供者深度合成服務時,應當使用顯著方式對深度合成資訊内容進行辨別。若提供人臉、人聲等生物識别資訊的顯著編輯功能,還需取得被編輯的個人資訊主體的單獨同意。

應對深度合成資訊内容顯著辨別

南都·AI前哨站梳理發現,在征求意見稿出台之前,民法典就在肖像權相關條款中對深度合成做出規制:任何組織或者個人不得以醜化、污損,或者利用資訊技術手段僞造等方式侵害他人的肖像權。此後,《網絡資訊内容生态治理規定》《網際網路資訊服務算法推薦管理規定》《網絡音視訊資訊服務管理規定》也提出相關要求。

北京科技大學文法學院副教授張淩寒認為,征求意見稿的出台是建立算法分級分類管理體系的重要舉措。民法典是從保護公民肖像權、名譽權等民事權利的角度規定,《網際網路資訊服務算法推薦管理規定》則為五類(包括生成合成類)算法設立了一般性義務規則,而征求意見稿對高風險的深度合成算法施加了更為嚴格的監管措施,進一步落實和細化《關于加強網際網路資訊服務算法綜合治理的指導意見》中算法分級分類的相關制度。

值得注意的是,《網際網路資訊服務算法推薦管理規定》提出,發現未作顯著辨別的算法生成合成資訊的,應當作出顯著辨別後,方可繼續傳輸。《網絡音視訊資訊服務管理規定》也要求,網絡音視訊資訊服務提供者和網絡音視訊資訊服務使用者利用基于深度學習、虛拟現實等的新技術新應用制作、釋出、傳播非真實音視訊資訊的,應當以顯著方式予以辨別。

事實上,在此次的征求意見稿中,深度合成資訊内容辨別管理制度也是重要内容之一,并進一步具象到文本、聲音、圖像、視訊等場景中,要求深度合成服務提供者使用有效技術措施在深度合成的資訊内容中添加可被自身識别、追溯,且不影響使用者使用的辨別,且對于合成人聲、仿聲、人臉替換等深度合成内容使用顯著方式進行辨別,向社會公衆有效提示資訊内容的合成情況。若未顯著辨別,應當立即停止傳輸該資訊。

不同的辨別方式和标準,要求深度合成服務提供者建構一套算法安全體系,其中需要一整套顯示辨別的制作、鑒别、巡查和過濾方案。張淩寒指出,企業自身需自定協定标準和辨別的實作方式,對資深資料進行識别,這一辨別方案将被監管部門檢測和評估。

此外,征求意見稿遵循了個人資訊進行中的知情同意原則。第十二條明确,深度合成服務提供者提供人臉、人聲等生物識别資訊的顯著編輯功能的,應當提示深度合成服務使用者依法告知并取得被編輯的個人資訊主體的單獨同意。

也就是說,《規定》如果實施,“AI換臉”視訊不論用作何種用途,都需要告知使用者,其内容為技術合成而非真實,并取得被編輯的個人資訊主體的單獨同意,否則将構成違規。

國家網信辦介紹制定征求意見稿的必要性時表示,在已出台相關部門規章和規範性檔案的監管要求基礎上,需要進一步厘清、細化深度合成技術的應用場景,明确深度合成服務提供者和使用者的資訊安全義務,出台具有系統性、針對性和可操作性的專門管理規定。

深度合成服務提供者應對使用者進行身份認證

國家網信辦指出,深度合成在服務使用者需求、改進使用者體驗的同時,也被一些不法分子用于制作、複制、釋出、傳播違法資訊,诋毀、貶損他人名譽、榮譽,仿冒他人身份實施詐騙等違法行為。

公開資料顯示,在人臉生成、語音合成等領域,已經出現了不少詐騙案例。

據公安部網安局公布的案例,2020年12月,某公司财務小王接到上司電話,要求立刻給供應商轉款2萬元。由于老闆的口音十分逼真,小王信以為真,在1小時内轉款完成,後發現被騙。在淨網2021專項行動中,南通警方曾破獲了一起AI人臉識别詐騙案件:幫派利用AI軟體僞造人臉識别認證來解綁使用者賬号,再以低廉的價格将賬号賣給下遊的詐騙份子,進而非法牟利。

随着“換臉”技術的普及,明星也成為重災區。2020年,一些人在短視訊軟體上利用圖像和聲音合成技術,“化身”演員靳東,讓不少中老年女性沉迷其中進而受騙。同年,據外媒報道,女演員艾瑪·沃特森的30秒換臉視訊在色情網站上播放超過2300萬次,還有多位女明星的換臉視訊被觀看了數百萬次,如泰勒·斯威夫特、娜塔莉·波特曼、比利·艾利什等。

針對以上亂象,征求意見稿明确深度合成服務提供者主體責任。如深度合成服務提供者應當依法對深度合成服務使用者進行真實身份資訊認證,否則不得為其提供資訊釋出服務;采取技術或者人工方式對深度合成服務使用者的輸入資料和合成結果進行稽核,停止傳輸未被辨別内容,建立健全用于識别違法和不良深度合成資訊内容的特征庫等。

在法律責任方面,征求意見稿提出,違反規定的,由網信部門給予警告,責令限期改正,改正前應當暫停相關業務;拒不改正或者情節嚴重的,責令暫停資訊更新,并處一萬元以上十萬元以下罰款。如果給他人造成損害或構成犯罪,還将依法承擔民事責任或追究刑事責任。

北京師範大學網際網路發展研究院院長助理、博導、中國網際網路協會研究中心副主任吳沈括認為,征求意見稿的出台對于利用深度僞造的技術實施色情、暴恐、虛假資訊等犯罪治理,有非常重要的生态性意義。“(征求意見稿)能夠提高溯源的水準、判定犯罪主體的準确度,并且提高各方在治理、處置深度合成濫用情形中的應對能力。也能提高對已發生的違法犯罪活動的處置效率和水準。”

采寫:南都記者李娅甯 見習記者胡耕碩