9月14日，國家網信辦釋出《人工智能生成合成内容辨別辦法（征求意見稿）》及配套強制性國家标準《網絡安全技術 人工智能生成合成内容辨別方法（征求意見稿）》（點選文末“閱讀原文”可查閱下載下傳标準征求意見稿及起草說明），向社會公開征求意見。
來源 | 中國網信網、全國标準資訊公共服務平台
國家網際網路資訊辦公室關于《人工智能生成合成内容辨別辦法（征求意見稿）》公開征求意見的通知
為規範人工智能生成合成内容辨別，維護國家安全和社會公共利益，保護公民、法人和其他組織的合法權益，根據《中華人民共和國網絡安全法》、《網際網路資訊服務算法推薦管理規定》、《網際網路資訊服務深度合成管理規定》、《生成式人工智能服務管理暫行辦法》等法律法規，國家網際網路資訊辦公室起草了《人工智能生成合成内容辨別辦法（征求意見稿）》，現向社會公開征求意見。公衆可通過以下途徑和方式提出回報意見：
1.通過電子郵件方式發送至：[email protected]。
2.通過信函方式将意見寄至：北京市西城區車公莊大街11号國家網際網路資訊辦公室網絡管理技術局，郵編100044，并在信封上注明“人工智能生成合成内容辨別辦法征求意見”。
意見回報截止時間為2024年10月14日。
附件：人工智能生成合成内容辨別辦法（征求意見稿）國家網際網路資訊辦公室2024年9月14日
人工智能生成合成内容辨別辦法
（征求意見稿）
第一條 為促進人工智能健康發展，規範人工智能生成合成内容辨別，保護公民、法人和其他組織合法權益，維護社會公共利益，根據《中華人民共和國網絡安全法》、《網際網路資訊服務算法推薦管理規定》、《網際網路資訊服務深度合成管理規定》、《生成式人工智能服務管理暫行辦法》等法律、行政法規和部門規章，制定本辦法。
第二條 符合《網際網路資訊服務算法推薦管理規定》、《網際網路資訊服務深度合成管理規定》、《生成式人工智能服務管理暫行辦法》規定情形的網絡資訊服務提供者（以下簡稱“服務提供者”）開展人工智能生成合成内容辨別的，适用本辦法。
行業組織、企業、教育和科研機構、公共文化機構、有關專業機構等研發、應用人工智能生成合成技術，未向境内公衆提供服務的，不适用本辦法的規定。
第三條 人工智能生成合成内容是指利用人工智能技術制作、生成、合成的文本、圖檔、音頻、視訊等資訊。
人工智能生成合成内容辨別包括顯式辨別和隐式辨別。
顯式辨別是指在生成合成内容或者互動場景界面中添加的，以文字、聲音、圖形等方式呈現并可被使用者明顯感覺到的辨別。
隐式辨別是指采取技術措施在生成合成内容檔案資料中添加的，不易被使用者明顯感覺到的辨別。
第四條 服務提供者提供的生成合成服務屬于《網際網路資訊服務深度合成管理規定》第十七條第一款情形的，應當按照下列要求對生成合成内容添加顯式辨別。
（一）在文本的起始、末尾、中間适當位置添加文字提示或通用符号提示等辨別，或在互動場景界面或文字周邊添加顯著的提示辨別；
（二）在音頻的起始、末尾或中間适當位置添加語音提示或音頻節奏提示等辨別，或在互動場景界面中添加顯著的提示辨別；
（三）在圖檔的适當位置添加顯著的提示辨別；
（四）在視訊起始畫面和視訊播放周邊的适當位置添加顯著的提示辨別，可在視訊末尾和中間适當位置添加顯著的提示辨別；
（五）呈現虛拟場景時，應當在起始畫面的适當位置添加顯著的提示辨別，可在虛拟場景持續服務過程中的适當位置添加顯著的提示辨別；
（六）其他生成合成服務場景應當根據自身應用特點添加具有顯著提示效果的顯式辨別。
服務提供者提供生成合成内容下載下傳、複制、導出等方式時，應當確定檔案中含有滿足要求的顯式辨別。
第五條 服務提供者應當按照《網際網路資訊服務深度合成管理規定》第十六條的規定，在生成合成内容的檔案中繼資料中添加隐式辨別，隐式辨別包含生成合成内容屬性資訊、服務提供者名稱或編碼、内容編号等制作要素資訊。
鼓勵服務提供者在生成合成内容中添加數字水印等形式的隐式辨別。
檔案中繼資料是指按照特定編碼格式嵌入到檔案頭部的描述性資訊，用于記錄檔案來源、屬性、用途、版權等資訊内容。
第六條 提供網絡資訊内容傳播平台服務的服務提供者應當采取措施，規範生成合成内容傳播活動。
（一）應當核驗檔案中繼資料中是否含有隐式辨別，對于含有隐式辨別的，應當采取适當方式在釋出内容周邊添加顯著的提示辨別，明确提醒使用者該内容屬于生成合成内容；
（二）檔案中繼資料中未核驗到隐式辨別，但使用者聲明為生成合成内容的，應當采取适當方式在釋出内容周邊添加顯著的提示辨別，提醒使用者該内容可能為生成合成内容；
（三）檔案中繼資料中未核驗到隐式辨別，使用者也未聲明為生成合成内容，但提供網絡資訊内容傳播平台服務的服務提供者檢測到顯式辨別或其他生成合成痕迹的，可識别為疑似生成合成内容，應當采取适當方式在釋出内容周邊添加顯著的提示辨別，提醒使用者該内容疑似為生成合成内容；
（四）對于确為、可能和疑似生成合成内容的，應當在檔案中繼資料中添加生成合成内容屬性資訊、傳播平台名稱或編碼、内容編号等傳播要素資訊；
（五）提供必要的辨別功能，并提醒使用者主動聲明釋出内容中是否包含生成合成内容。
第七條 網際網路應用程式分發平台在應用程式上架或上線稽核時，應當核驗服務提供者是否按要求提供生成合成内容辨別功能。
第八條 服務提供者應當在使用者服務協定中明确說明生成合成内容辨別的方法、樣式等規範内容，并提示使用者仔細閱讀并了解相關的辨別管理要求。
第九條 如使用者需要服務提供者提供沒有添加顯式辨別的生成合成内容，可在通過使用者協定明确使用者的辨別義務和使用責任後，提供不含顯式辨別的生成合成内容，并留存相關日志不少于六個月。
第十條 使用者向提供網絡資訊内容傳播平台服務的服務提供者上傳生成合成内容時，應當主動聲明并使用平台提供的辨別功能進行辨別。
任何組織和個人不得惡意删除、篡改、僞造、隐匿本辦法規定的生成合成内容辨別，不得為他人實施上述惡意行為提供工具或服務，不得通過不正當辨別手段損害他人合法權益。
第十一條 服務提供者應當按照有關強制性國家标準的要求進行辨別。
第十二條 服務提供者在履行算法備案、安全評估等手續時，應當按照本辦法提供生成合成内容辨別相關材料，并加強辨別資訊共享，為防範打擊相關違法犯罪活動提供支援和幫助。
第十三條 違反本辦法規定，未對生成合成内容進行辨別造成嚴重後果的，由網信等有關主管部門按照有關法律、行政法規、部門規章的規定予以處罰。
第十四條 本辦法自2024年 月 日起施行。
關于征求《網絡安全技術 人工智能生成合成内容辨別方法》強制性國家标準（征求意見稿）意見的通知
各有關機關及專家：
根據國家标準化管理委員會标準制修訂計劃，中央網絡安全和資訊化委員會辦公室已組織完成了《網絡安全技術 人工智能生成合成内容辨別方法》國家标準的征求意見稿，現公開征求意見。請于2024年11月13日前将意見回報給組織起草部門。
聯系人：許曉耕
聯系電話：010-64102744
聯系郵箱：[email protected]
附件：
1.《網絡安全技術 人工智能生成合成内容辨別方法（征求意見稿）》
2.編制說明
中央網絡安全和資訊化委員會辦公室
2024年9月14日
網絡安全技術 人工智能生成合成内容辨別方法（征求意見稿）
國家标準《網絡安全技術 人工智能生成合成内容辨別方法》（征求意見稿）編制說明
一、工作簡況
（一）任務來源
根據國家标準化管理委員會2024年下達的國家标準制修訂計劃，強制性國家标準《網絡安全技術 人工智能生成合成内容辨別方法》由中央網絡安全和資訊化委員會辦公室提出，委托全國網絡安全标準化技術委員會執行，主要起草機關為中國電子技術标準化研究院，計劃号：20241842-Q-252。
（二）制定背景
生成式人工智能已成為繼移動網際網路技術之後最大的一波技術浪潮，同時也帶來了新的安全風險和挑戰。随着人工智能技術的發展，人工智能生成合成内容日益逼真，網絡傳播内容是否由人工智能生成合成難以分辨，社會上已出現多起利用生成合成内容傳播虛假新聞、引發社會輿情，或是利用生成合成内容進行詐騙的案件。人工智能生成合成内容存在被誤用、濫用、惡意使用的安全風險，嚴重影響國家安全，危害廣大人民群衆在網絡空間的合法權益。
2022 年11月，國家網信辦等三部門釋出《網際網路資訊服務深度合成管理規定》（以下簡稱“《規定》”），提出了深度合成服務提供者對使用其服務生成或者編輯的資訊内容進行辨別的要求。2023年7月，國家網信辦等七部門釋出《生成式人工智能服務管理暫行辦法》（以下簡稱“《辦法》”），要求生成式人工智能服務提供者對圖檔、視訊等生成内容進行辨別。
為落實《規定》《辦法》相關要求，切實維護國家安全和公共利益，制定本标準，對人工智能生成合成内容的辨別方法提出規範。本标準對防範人工智能生成合成内容引發安全風險、提升人工智能安全水準起到規範作用，促進人工智能行業安全發展。
（三）起草過程
1、預研階段
（1）2023年11月，組建編制組，編制形成第一版草案。
（2）2023 年11月-2024年2月，标準編制組開展廣泛調研，并多次組織組内研讨，持續完善标準草案，對标準草案進行多輪疊代。
（3）2024 年3月，組織10餘家相關企業多次開展調研、召開研讨會，收集企業回報材料，進一步完善标準草案。
（4）2024年4-5月，繼續聯系重點企業，征求企業意見，結合企業回報疊代标準草案版本，形成标準可行性研究報告。
2、起草階段
（1）2024 年6月25日，國家标準化管理委員會下達本強制性國家标準的制定計劃，标準正式立項。
（2）2024年7月3日，成立強制标準工作專班，由中國電子技術标準化研究院牽頭，國家計算機網絡應急技術處理協調中心、浙江大學、中國科學院軟體研究所等共同組成。
（3）2024年7月3日-15日，标準工作專班組織開展基礎調研，對标準内容進行研讨，分工修改完善标準草案。
（4）2024年7月16日-30日，先後組織20餘家重點通用類與垂域類企業召開3次研讨會，征求企業意見與回報，完善标準草案。
（5）2024年8月9日，組織召開專家研讨會，征求專家意見建議，并修改完善标準草案。
（6）2024年8月10日-25日，根據專家意見對标準草案多輪修改與完善，更新标準草案文本。
（7）2024年8月26日，再次聯系20餘家重點通用類與垂域類企業召開研讨會，征求企業意見與回報，完善标準草案。
（8）2024 年8月30日，組織專家評審會，專家一緻同意該項标準通過評審，根據專家意見修改完善後形成征求意見稿。
二、編制原則、強制性國家标準主要技術要求的依據及理由
（一）标準編制原則
本标準的編制原則是：
1）通用性：生成合成服務提供者和内容傳播服務提供者均可依據本标準開展對人工智能生成合成内容進行辨別活動。
2）可行性：確定标準中技術要求可驗證、可操作。為此，本标準編制過程中與科研機構、相關企業、專家進行了多輪研讨。
3）符合性：符合《規定》、《辦法》等國家有關法律法規和已有标準規範對于辨別的相關要求。
（二）主要技術要求及其确定依據
本标準給出了人工智能生成合成内容辨別方法。本标準适用于規範生成合成服務提供者和内容傳播服務提供者對人工智能生成合成内容開展的辨別活動。
本标準的主要技術要求包括：顯式辨別方法，隐式辨別方法。
顯式辨別方法包括文本内容顯式辨別、圖檔内容顯式辨別、音頻内容顯式辨別、視訊内容顯式辨別和互動場景界面顯式辨別。規範了在不同模态的内容上及互動場景界面上進行顯式辨別的方法，依據為《規定》第十七條“深度合成服務提供者提供以下深度合成服務，可能導緻公衆混淆或者誤認的，應當在生成或者編輯的資訊内容的合理位置、區域進行顯著辨別，向公衆提示深度合成情況”。對目前已對公衆提供人工智能生成合成内容服務的産品進行了調研，發現内容顯式辨別與互動場景界面顯式辨別已有多家重點企業進行了實踐。
隐式辨別方法包括中繼資料隐式辨別。規範了在提供檔案形式的生成合成内容時，添加中繼資料隐式辨別的方法，依據為《規定》第十六條“深度合成服務提供者對使用其服務生成或者編輯的資訊内容，應當采取技術措施添加不影響使用者使用的辨別，并依照法律、行政法規和國家有關規定儲存日志資訊”。調研了國内國際不同格式檔案中繼資料寫入技術，確定主流檔案格式的中繼資料可寫入、可識别。
為落實《規定》《辦法》相關要求，切實維護國家安全和公共利益，在有關主管部門的指導下，編制組廣泛調研國内外生成式人工智能技術研發機構及企業所開展的探索和應用，編制組成員分工合作，完成了技術可行性與法律法規符合性的調研分析工作，確定了标準的可落地、可實施。
（三）修訂前後技術内容的對比[僅适用于國家标準修訂項目]
不涉及。
三、與有關法律、行政法規和其他強制性标準的關系
《規定》第十六條提出，深度合成服務提供者對使用其服務生成或者編輯的資訊内容，應當采取技術措施添加不影響使用者使用的辨別，并依照法律、行政法規和國家有關規定儲存日志資訊。《規定》第十七條提出，深度合成服務提供者提供以下深度合成服務，可能導緻公衆混淆或者誤認的，應當在生成或者編輯的資訊内容的合理位置、區域進行顯著辨別，向公衆提示深度合成情況：
（一）智能對話、智能寫作等模拟自然人進行文本的生成或者編輯服務；
（二）合成人聲、仿聲等語音生成或者顯著改變個人身份特征的編輯服務；
（三）人臉生成、人臉替換、人臉操控、姿态操控等人物圖像、視訊生成或者顯著改變個人身份特征的編輯服務；
（四）沉浸式拟真場景等生成或者編輯服務；
（五）其他具有生成或者顯著改變資訊内容功能的服務。
深度合成服務提供者提供前款規定之外的深度合成服務的，應當提供顯著辨別功能，并提示深度合成服務使用者可以進行顯著辨別。
《辦法》第十二條提出，提供者應當按照《規定》對圖檔、視訊等生成内容進行辨別。
本标準依據《規定》第十六、十七條，将辨別分為顯式辨別與隐式辨別，并分别規範了顯式辨別與隐式辨別的辨別方法，對《辦法》《規定》中的要求進行細化，本标準與現行法律、法規以及國家标準不存在沖突與沖突，與其他标準配套銜接。
四、與國際标準化組織、其他國家或者地區有關法律法規和标準的比對分析
歐盟《人工智能法》和《數字服務法》兩部法律涉及AI辨別，根據這兩部法律的規定，目前主流的生成式人工智能屬于有限風險人工智能系統，須承擔辨別義務，辨別技術包括水印、中繼資料識别、指紋識别、加密方法、日志記錄等。美國拜登政府頒布的《關于AI的安全和可信賴開發和使用的行政指令》為美國AI 辨別技術标準、指南等檔案的出台和工作的開展提供指引。新加坡《生成式人工智能治理模型架構》、加拿大《生成式人工智能行為守則》均提及内容辨別技術的應用。國際組織層面，七國集團通過《開發進階人工智能的組織的國際指導原則》，呼籲采用水印等技術使使用者能夠識别人工智能生成内容。
目前，國際标準化組織ISO/IECJTC1/SC42（人工智能分委員會）和SC27（資訊安全、網絡空間安全和隐私保護分委員）分别收到了來自加拿大和大陸的關于AI辨別的标準化貢獻，但都還未正式立項。NIST釋出的标準《數字内容透明度技術方法概述》中，主要内容有驗證内容并跟蹤其來源、标記合成内容、檢測合成内容等。标準第3節提到标記合成内容分為内容标簽、可見水印、披露字段等直接向使用者披露内容創作過程中使用AI情況的技術；與隐形水印、數字指紋、嵌入的中繼資料等間接披露技術。本标準未規定具體的技術名額。C2PA釋出的《C2PA技術規範》中，主要是采用可追溯的中繼資料來保證内容的真實性。
本标準與現有國際政策、标準相比，明确了辨別的形式，且技術完備，适用性強。本标準的提出可以引領人工智能技術的規範、安全發展，為大陸的AI辨別國際标準貢獻提供支撐。本标準與現有國際政策、标準不沖突，本标準的頒布實施對國際貿易不會帶來壁壘性的影響。
五、重大分歧意見的處理過程、處理意見及其依據
本标準修訂過程中無重大分歧。
六、對強制性國家标準自釋出日期至實施日期之間的過渡期（以下簡稱過渡期）的建議及理由
考慮到執行人工智能辨別生成與檢測技術複雜性相對較低，技術改造所需時間較短，并且由于已有大量制作平台已經開展部分内容辨別工作、預計具備短期内适應标注的能力。建議本标準自釋出之日起，過渡期為半年。半年以後，正式實施。
七、與實施強制性國家标準有關的政策措施
本标準是《人工智能生成合成内容辨別辦法》的配套強制性國家标準，該檔案目前為征求意見稿。檔案第十一條中規定“服務提供者應當按照有關強制性國家标準的要求進行辨別”。其中所指“有關強制性國家标準”即為本标準。
本标準編制過程中配套建設人工智能生成合成内容辨別驗證平台，對後續标準的實施起到支撐作用。同時計劃後續對重點企業進行宣講、教育訓練工作，開展相應的檢測、認證服務。
八、是否需要對外通報的建議及理由
本标準既是對大陸的《規定》和《辦法》的标準支撐，同時也可響應國際标準化組織、其他國家或者地區有關AI辨別的法律法規和标準。本标準與現有國際政策、标準相比，明确了辨別的形式，且技術完備，适用性強。本标準的提出可以引領人工智能技術的規範、安全發展，為大陸的AI辨別國際标準貢獻提供支撐。
另外，本标準為強制性國家标準，還影響到國際人工智能企業在大陸境内提供生成合成内容服務，故建議對外通報。
九、廢止現行有關标準的建議
不涉及。
十、涉及專利的有關說明
本标準不涉及相關專利、知識産權、著作權等内容。
十一、強制性國家标準所涉及的産品、過程或者服務目錄
本标準适用于生成合成服務提供者和内容傳播服務提供者對人工智能生成合成内容開展的辨別活動。以及支撐辨別活動的相應産品和服務開發和應用。
十二、其他應當予以說明的事項
無。
标準編制組
2024年9月13日
點選文末“閱讀原文”可查閱下載下傳标準征求意見稿及起草說明
（本文不代表知産力立場，知産力僅提供資訊釋出平台）
封面來源 | 知産力