視訊裡那張臉正對着鏡頭，幾乎不動，臉上的表情和平常沒什麼不一樣。
7秒視訊通話後，濟南人方楊宥就給對方指定賬戶轉了30萬。等到報了警，他才知道，原來視訊裡那張熟悉的臉是“假”的，螢幕另一端根本不是自己的親戚，而是詐騙人員利用AI技術合成的影像視訊。
這樁發生在今年5月的AI詐騙事件，并非孤例。山東省商河縣警察局刑警大隊中隊長張振華向新京報記者介紹，随着深度合成技術的開放開源，深度合成産品和服務逐漸增多，利用“AI換臉”“AI換聲”等虛假音視訊進行詐騙、诽謗的違法行為日益增多。此前，已有哈爾濱、福州等多地警方通報過有關AI換臉的詐騙事件。
北京市社會科學院法治研究所副所長、副研究員王潔長期從事反電詐研究，他認為，步入人工智能時代，人臉和聲音已經成為一種亟須保護的資訊。然而當下随着AI技術發展，利用AI換臉技術進行詐騙、造謠、侵犯肖像權或知識産權的行為屢屢發生，這意味着技術正被濫用，人臉這一重要資訊極易“丢失”。
AI實時換臉技術發展的同時，也在迅速“平民化”。新京報記者調查發現，AI實時換臉技術在多個平台以百元左右的價格售賣，其中一位商家表示，368元便能購買其自己研發的實時換臉程式，50年内可以無限次使用。可觀的利益驅動着AI灰色市場的發展，有商家自稱月收入高達20萬元，他宣稱自己什麼視訊都能做，任意将一張臉換至色情視訊裡，也僅需150元一分鐘。
“我們的未來一定是會和AI共存共生長的”，王潔說，這意味着人類也将和AI相關的侵權事件共生共存。如何讓技術向善發展，成為當下一個非常重要的問題。
方楊宥報案後，商河刑警奔赴廣東，将涉嫌幫信罪嫌疑人謝某等3人抓獲。目前該案正在進一步偵查中。來源：“濟南公安”微信公衆号
AI騙局
視訊連線隻持續了7秒，看着螢幕裡那張熟悉的臉，聽着手機傳出熟悉的聲音，方楊宥相信了這個剛剛添加自己為好友的新賬号所說的——他确實是自己的親戚，30萬元就這樣轉賬到了對方提供的銀行賬戶上。
“結果一切都是假的。”2023年6月底，商河縣警察局刑警大隊中隊長張振華向新京報記者介紹了這個案子，“這就是近期流行的‘AI詐騙’，一種利用智能AI技術實施詐騙的詐騙手段。”
事情發生在今年5月29日，濟南人方楊宥在家刷短視訊時，突然收到一條陌生人發來的消息。對方自稱是方楊宥的親戚，他發來一串新的QQ号，希望方楊宥添加。剛一加上好友，對方就給方楊宥撥來視訊電話，7秒的視訊連線有些卡頓，但那張熟悉的臉和那個熟悉的聲音，讓方楊宥相信确實這就是自己的“大哥”。
沒說幾句話，對方就以網絡品質不好為由，将視訊挂斷。在随後的文字聊天中，這位“大哥”稱自己急需轉一筆錢，但沒法直接打款，想要先轉賬給方楊宥，然後拜托他幫忙轉到指定的銀行卡裡去。
“那邊急用，你現在馬上安排過去。”兩張成功轉賬的截圖是發來了，可方楊宥一直沒收到這筆款項。“大哥”将原因“甩鍋”給銀行，“那應該就是24小時到了，銀行的資訊不會錯。”以着急用錢為由，“大哥”反複催促方楊宥先行墊付。
經不住一再催促，方楊宥向其指定賬戶轉賬了30萬元。沒過多久，對方又讓方楊宥再轉35萬元。這時，方楊宥猛然想起曾經看過的反詐宣傳，趕緊打電話給自己的親戚，這才知道，一切都是假的。
濟南人方楊宥遭遇的AI詐騙，7秒視訊後，他給對方指定賬戶轉賬30萬元。來源：“濟南公安”微信公衆号
當晚，方楊宥便報了案。根據轉賬卡号的流水，張振華和同僚們發現該銀行卡在廣東的一家金店有過消費。次日，商河刑警便奔赴廣東東莞，抓獲了犯罪嫌疑人謝某等三人。之後，又有三名犯罪嫌疑人被警方抓獲。
在後續的調查中，警方發現，這起AI詐騙真正的源頭在緬北。境内的這夥人，是一個專門幫助境外詐騙分子進行洗錢的犯罪團隊，他們分工明晰，買金、打款、對接上線等都由不同的人操作。目前他們因涉嫌幫信罪，正在接受後續調查。
事實上，利用AI技術進行詐騙的案例已在全國多地發生。王潔第一次知道AI詐騙，是在2019年，當時一位留學生看到詐騙人員利用技術合成其父母的視訊之後，便信以為真。此前，已經有哈爾濱、福州等多地網警通報過有關AI換臉的詐騙事件，他們的手段并非完全相同。
5月20日，標頭市警察局的官方微信公衆号“平安標頭”發文稱，今年4月，因幫派使用AI換臉技術，通過視訊聊天的形式擷取了受害者的信任，使其在10分鐘内給騙子的指定賬戶打去430萬元。受害者報案後，標頭市警銀關聯，成功緊急止付涉嫌電信詐騙資金330多萬元。
6月15日，“大連市銀行業協會”的官方微信公衆号也發文稱，詐騙人員擷取了一位男士的身份證影像資訊後，通過AI技術手段合成了短視訊，并使用該視訊成功應對了銀行大額資金轉賬時的人臉識别驗證，将其卡中的定期存款銷戶，随後轉出部分資金。好在這位男士對銀行非櫃面管道設定了日累計交易限額，超限額部分資金無法實時轉出，有效避免了部分資金損失。
也有詐騙人員盯上的是“聲音”。
2022年，律師馬俊哲在短視訊裡自曝被電信詐騙3萬元的經曆。騙子使用AI技術，合成了馬俊哲母親的聲音，假冒其母親的身份給他打去電話，稱其父親因出車禍而骨折，急需3萬元的醫藥費，希望馬俊哲将錢打入她朋友的賬戶。
就在轉錢的那一刻，馬俊哲發現這個銀行卡歸屬地并非父母的所在地，馬俊哲立刻回撥了母親打來的這串電話，經過母親确認之後，馬俊哲又給父親打了個電話，但是父親電話打不通。他以為父親正在做檢查，便直接将錢打了過去。
可次日馬俊哲再次給母親打電話時，母親卻說沒有這一回事。馬俊哲百思不得其解，“聲音是我媽的，我不可能聽錯。号碼是我媽的，我不可能看錯。”報警後，他才從警方那裡得知，這是一種新型的詐騙方式，詐騙團夥利用技術合成了母親的聲音，又使用技術複制了一串和母親号碼完全一樣的虛拟号碼打來電話，并使用技術手段在行騙期間将親屬号碼屏蔽，讓他們切斷聯系，進而增加騙錢的可信度。
誰在“丢臉”
“AI詐騙的背後，還是人們的資訊洩露問題。”王潔說，随着人工智能時代的到來，人的臉和聲音也成了一種可以擷取利益的資訊，很多人在不知不覺中就“丢了臉”。人臉資訊作為個體生物資訊，屬于敏感個人資訊，具有直接識别性、獨特性和唯一性，一旦洩露會令資訊主體人格尊嚴受到侵害或人身财産安全受到傷害，其危害性較一般個人資訊洩露更為嚴重。
安徽人潘子平親身體驗過，僅需幾秒鐘的視訊通話，自己的人臉資訊就丢失了。
3月24日晚上，潘子平在手機上看仙俠小說正着迷。翻頁時，他誤觸了一旁的廣告，一款遊戲開始在手機背景自動下載下傳。下載下傳完成後，潘子平點開看了看，也是一款和仙俠有關的遊戲，他玩了一會兒覺得沒意思，便直接解除安裝了。
幾秒鐘之後，一個來自境外的電話撥了過來，對方說已經擷取潘子平手機裡的所有資訊，包括相冊和通訊錄，要加QQ詳談。潘子平沒想太多，便添加了好友。剛一加上，一個視訊聊天直接打來，對方的臉始終沒有出現在鏡頭前，一個男聲簡單報了幾個潘子平通訊錄的人名，便挂斷視訊。
雖然兩個電話都沒有提到錢的事，但潘子平心裡開始有所警惕，他立刻将錢提現至銀行卡，并将銀行卡與支付寶和微信解綁。
沒幾分鐘，一條QQ消息發來。這次是一段視訊，約有十幾秒，畫面裡是一個赤身裸體的男子，他頭上頂着潘子平的臉，正在做一些不雅的動作。潘子平驚呆了，“現在的技術都已經這麼厲害了嗎？”還來不及反應，電話又來了，“你給我三萬八，否則我就把你的‘小視訊’發給你通訊錄裡的所有人。”
對方還發來一張截圖，這段視訊已經在對話框準備就緒，隻要點選發送，潘子平通訊錄裡的親朋好友就能收到。視訊再次打來時，對方開啟了螢幕共享功能，潘子平将支付寶和微信餘額展示給對方，說自己拿不出這麼多錢，雙友善從三萬八開始砍價，砍到兩萬八、一萬八，直至八千元，潘子平也說自己拿不出來。之後，對友善開始指使潘子平打開借呗等網貸平台，企圖讓潘子平通過借網貸的方式給他們錢。
就在轉賬前一秒，潘子平幡然醒悟，他立刻挂斷視訊，撥打110報警。由于未造成實際損失，警方并未立案。潘子平問警察，那段利用AI技術實時換臉的淫穢視訊怎麼辦？警方也無法将這段視訊銷毀，隻能告訴他，編輯資訊群發給通訊錄告知此事。
潘子平認為，就是那款遊戲讓自己的資訊洩露，他趕緊檢查每項APP的手機權限，以免再次遇到“危險”。
在王潔的調研中，不乏有人因閱覽不正規網站而丢失個人資訊，乃至遭到詐騙。他指出，要采集人臉資訊，對于現有技術而言是一件非常簡單的事情。遍地可見的攝像頭、手機裡因身份驗證而做的面部檢測、擁有相冊讀取權限的APP等，都在悄無聲息地擷取人臉資訊。
濟南人方楊宥遭遇的AI詐騙，對方僅和他視訊通話7秒。來源：“濟南公安”微信公衆号
2021年，《焦點訪談》曾報道，在公安部“淨網2021”專項行動中，合肥市警察局網安支隊聯手包河分局打掉一個幫派，該團夥非法利用AI人工智能技術，僞造他人人臉動态視訊，為黑灰産業鍊提供注冊手機卡等技術支撐。犯罪嫌疑人電腦中有10G左右的人臉資料資訊，這些資訊在網上轉手多次，而它們的主人對此毫不知情。
活躍在螢幕上的明星網紅，相比普通人則更易丢失臉部資訊。2021年8月，劉昊然工作室釋出聲明稱，由于網絡上出現大量用AI換臉技術對演員劉昊然進行侮辱的視訊、視訊截圖及含有侮辱诽謗言論的聊天記錄，上述視訊、截圖還被不斷販售，工作室向警方報案。近期，還有商家利用AI換臉技術，将演員迪麗熱巴和楊幂的臉部特征應用到他們的電商平台直播間。
擁有130萬微網誌粉絲的網紅“Caro賴賴”，則因AI換臉技術，陷入了黃色謠言的困境。今年4月她在微網誌發文稱，她的臉被盜用在一些淫穢視訊裡。有人在境外社交平台上冒充其身份注冊了賬号，先是搬運她的日常内容，等粉絲人數差不多時，就開始以會員訂閱的方式販賣這些頂着她的臉的色情視訊。
“AI技術存在被人類濫用的情況。”華東政法大學刑事法學研究院院長、上海市法學會刑法學研究會會長劉憲權認為，如今人們已經走入“弱人工智能時代”，即技術仍是被人類使用的一種工具。随着人工智能技術的發展，侵權事件屢屢發生，除了詐騙、造黃謠之外，還有不少人們肖像權、知識産權受到侵害的案例。
“護臉”難題
技術持續更新換代，大衆接觸到AI實時換臉技術的門檻日漸降低。
早在2019年，就有一款名叫“ZAO”的AI換臉APP走紅，使用者隻需提供一張照片，就能成為影視劇中的角色。但沒過多久，因涉及侵犯版權、隐私等方面的問題，這款APP就被下架。
“事實上AI換臉技術本身沒有問題，關鍵是使用方式。”劉憲權說，一旦技術被濫用，就隐含了巨大的風險。于2023年1月10日施行的《網際網路資訊服務深度合成管理規定》中也提到，提供深度合成服務，應當提供顯著辨別功能，并提示深度合成服務使用者可以進行顯著辨別。深度合成服務提供者和技術支援者提供人臉、人聲等生物識别資訊編輯功能的，應當提示深度合成服務使用者依法告知被編輯的個人，并取得其單獨同意。
然而AI實時換臉技術，仍在網際網路上悄悄販賣，這為“顯著辨別”以及“告知被編輯的個人”增加了難度。
以“AI換臉”為關鍵詞在淘寶平台上檢索，并無産品出現。但若替換為“AI換頭”“AI換人臉”等相近詞語，即可檢索到産品。對照片進行換臉的售價在35、50、100元不等，而視訊換臉則以分鐘計費，收費為一分鐘70元、150元、400元不等。
“可以換成任何人的臉”，店家“工程師老張”稱，隻需客戶提供原視訊和任意一張人臉照片，就能實作百分之百無痕換臉。不但能與當紅明星更換面孔，還能讓已去世的故人在視訊中“複活”。
“工程師老張”不僅提供AI換臉服務，還教換臉技術。“可以在我們這兒買程式，自學自做”，他宣稱自己研發了算法進行換臉，并将相關程式插件在淘寶平台售賣，價值368元。程式采用卡密激活的方式，産品有效期50年，其間可以無限次使用該程式。
若想将臉換得更加自然，多位商家均表示，需要買家提供與原照片相近或完全相同角度的人臉照片。不過也有一位商家表示，隻需要買家提供一張正臉的照片，他們便能做到“以假亂真”的效果，“我們根據正臉照片自動模組化，就可以算出另外幾個角度的樣子。”
不少商家會引導使用者添加微信詳談。新京報記者加了店鋪“傑倫視訊設計站”老闆的微信，截止今年7月，該商家售賣産品在淘寶的月銷量顯示為23，但在聊天過程中，對方為說服新京報記者下單，屢次強調其營業收入一個月20萬。他還展示了自己的支付寶截圖，顯示總資産16萬元。咨詢當日下午14點36分，該商家表示，當日營收已經将近1000元。
這位商家自稱是AI實時換臉領域的高手，釋出的朋友圈均為相關案例。5月9日，他在朋友圈釋出了一條19秒的視訊，一位女主播穿着露肩上衣和超短裙，搭配着黑色絲襪，對着鏡頭扭動舞蹈，她的臉看起來和明星楊幂别無二緻，唯有在低頭、側身時，畫面看起來不太協調。
他告訴新京報記者，普通視訊收費為70元一分鐘，色情視訊收費為150元一分鐘。他展示了一張截圖，裡面均為淫穢圖像和視訊，而後又迅速撤回。當新京報記者詢問是否均為換臉視訊，他回答稱，“不要問那麼多，跟你說能換就行了，不宜多說。”
新京報記者調查發現，上述商家确實在兩小時内就能依據客戶需求，成功制作一條一分鐘的換臉淫穢視訊，完成交易。交談間，他多次撤回他認為“敏感”的資訊，從未提及要告知“被編輯的個人”，而後發來的視訊，也無任何關于AI換臉的辨別。但該商家附帶發送一段“免責聲明”，稱“任何圖和視訊資料禁止傳播，任何後果與制作方無關，僅供娛樂，本人不對圖檔和視訊用途負責，不承擔任何責任風險。”
一名淘寶商家向新京報記者展示了一份截圖，上面均為淫穢色情圖檔或視訊，以此證明自己“什麼視訊都能做”。記者調查截圖
除了淘寶之外，抖音也有多款AI換臉軟體産品，售價在1元至196元不等。此外，小紅書平台也有售賣AI換臉課程的賬号，這些賬号通過釋出AI換臉視訊，配上“最近很火”“快速學會”等文案，引導使用者關注和購買。
也有的AI換臉軟體是免費的。在抖音以“AI換臉”為關鍵詞進行檢索，會彈出大量相關的短視訊廣告，下附AI換臉軟體的連結。在一款叫“AI随拍”軟體的連結後，各式各樣的明星、素人短視訊浮現在首頁上。隻需觀看25秒的廣告，就可以用這款APP免費制作一個十多秒的視訊。
“就像人們買刀一樣，難道買刀殺人之後，怪這把刀或者賣刀的人嗎？”北京市華城律師事務所合夥人甘仕榮指出，技術本身沒有問題，關鍵在于使用者是否做出違法行為，如惡意醜化，涉嫌侵犯他人的名譽權，出售換臉色情視訊，涉嫌制作、傳播淫穢物品，可能構成刑事犯罪等。隻是，任意售賣這一技術，增加了違法風險，也加大了執法監督的難度。
怎樣保護我們的“臉”
“AI的出現，讓原本就易受騙的人群更容易上當了。”王潔說，AI隻是一個工具，詐騙人員将其用來增強騙局裡的可信度，進而提高他們詐騙的成功率。随着網絡成為人們生活的一部分，AI換臉騙局不僅是侵占他人财産那麼簡單的事情了，劉憲權認為，這一技術若再發展下去，詐騙方式将更加逼真和多樣，讓人們防不勝防。
根據張振華的辦案經驗，目前的AI詐騙案件中，這一技術并不是“完美”的，如果視訊通話時間長一些，或者将臉放置于複雜、不穩定的場景中，就可能露出蛛絲馬迹。然而人們在緊急狀況下，面對熟悉面孔和聲音，很難多次對聲畫進行試探和觀察。
兩位專家均表示，要針對AI侵權事件進行維權，并非一件易事。劉憲權指出，目前在法律層面沒有關于AI技術使用和發展過程中的相關規制。
王潔則認為，當利用AI技術進行電信網絡詐騙等侵權事件已經發生，再去追究的難度太大。他曾調研過多位反詐警察，當他們花費大量時間和金錢之後，卻發現犯罪源頭在境外。對于受害人而言，也不是所有人都能付出足夠的時間、金錢和精力去追究侵權事件的責任。
淘寶平台上，依然有商家對AI換臉技術進行售賣。網絡截圖
潘子平的臉被盜用在黃色視訊後，由于沒有被騙錢，報警後沒有立案。他既找不到是誰盜用了他的臉，也無法讓對方停止傳播，隻能編輯一條短信群發給每位好友，提醒他們不要傳播，也不要相信視訊内容。
“一心隻想化妝的阿蕾”是小紅書平台上擁有兩百多萬粉絲的美妝部落客，她釋出了很多國風妝造的圖檔。去年4月，她發文自述稱其首頁視訊被盜用至換臉APP成為換臉模闆。她并不清楚是誰上傳了這些模闆，“一個APP可能有幾十個甚至上百個上傳者，這給維權增添了不少難度。”
“我沒那個錢和精力去搞，這不是我的原罪。”有人在評論區提醒她維權，她無奈道，維權首先要從起訴APP開始，定位到每位上傳者，再起訴個人，這樣的時間和金錢成本都很高，前後時間線拉得很長，勝訴得到的賠款卻沒多少。
“核心問題是個人資訊保護。”王潔認為，詐騙事件背後都存在個人資訊洩露的情況，随着深度僞造技術不斷更新換代，保護人臉等個人隐私成為不可輕視的問題。是以公安機關在查案辦案時，應該更加關注資訊洩露的管道，從源頭來進行治理。政府應該加強對個人資訊保護的監管，而APP開發商營運商等各環節也應該共同協力，在人臉資訊的存儲、讀取、使用、清除等方面依法管理，促進企業個人資訊保護合規自律。
人工智能技術飛速發展，劉憲權提出應該探讨如何做到違法侵權的事前防範。他認為，目前人工智能技術還未發展到成為獨立責任主體的地步，技術仍是一種被人利用的工具，隻是因其有一定的智能部分，被不法分子利用時可能加大對社會的危害。是以，除了完善對于新技術的相關法律法規，還應該對于人類使用和發展該技術的過程進行相關限制，比如某一領域是否準入，又有什麼人可以使用相關技術等。
與人工智能技術相關的法律法規也在不斷完善。4月11日，國家網信辦釋出了《生成式人工智能服務管理辦法（征求意見稿）》，對提供生成式人工智能服務做出較為詳盡的規定，其中包括準入資格、内容生産者和個人資訊處理者等各方責任義務和相關處罰措施等。
“我們的未來一定是會和AI共存共生長的”，王潔說，這意味着人類也将和AI侵權事件共生共存。他認為，今後的立法要及時關注技術發展過程中出現的新現象和新問題，普通網民要提升對網絡高風險的認識，而執法監督部門則更應加快技術更新，研發“反換臉”等檢測技術，利用人工智能技術提高辦案能力。
他說，“唯有全社會各方通力合作”，才能讓技術的應用向善發展。
（方楊宥、潘子平為化名）
新京報記者 汪暢 實習生 鄒冰倩
編輯 陳曉舒
校對 賈甯