專家揭秘AI仿真詐騙原理
作者／ IT時報記者 孫永會
編輯／ 錢立富 孫妍
OpenAI最近動作頻頻，繼釋出Sora大模型震撼全世界後，最近又釋出了一款語音引擎模型——Voice Engine，即使用單個15秒音頻樣本，就能生成與原說話者非常相似的自然語音。“根據這些小規模測試的結果，我們将就是否以及如何大規模部署這項技術做出更明智的決定。”OpenAI官網顯示，該模型于2022年年底開發，考慮合成語音可能出現被濫用的風險，該模型正在小範圍内測試。
人們為此驚歎之餘，也産生了擔憂。去年，一段美國女歌星泰勒·斯威夫特說着道地中文的短視訊在網際網路瘋狂流傳，此外，蔡明用英倫腔講段子、郭德綱用英文講相聲等視訊也引起了較大反響。現在，随着Voice Engine亮相，硬币的背面會帶來什麼結果？
語音模型的“正反面”
Voice Engine的亮點在于，使用15秒樣本就能創造出富有感情、逼真的聲音。“較之于Sora，此聲音模型在技術層面具有多個領先性。”網絡尖刀安全團隊聯合創始人蔡勇告訴《IT時報》記者，一方面是語音合成的自然性和逼真度更高，該模型能夠讓合成的語音聽起來更加真實，幾乎可以媲美人類語音；另一方面在于語音識别的準确性和穩定性，即能夠較為精确地了解和轉錄語音；再者，其支援多種語言和保留說話者的原有口音。
據OpenAI官網披露，Voice Engine早期應用範圍廣泛，如提供閱讀幫助、翻譯視訊和播客等内容，既能夠将說話者的聲音翻譯成多種語言，還能保留原始說話者的母語口音，如使用法語使用者的音頻樣本生成英語後，将生成帶有法語口音的語音。
這是該模型正面實作的效果，亦有人表示擔心其會産生負面影響。
今年1月下旬，美國新罕布什爾州一些選民稱接到了AI模拟拜登聲音的自動留言電話，告訴接聽者不要在該州初選中投票。這一事件在當地引發了轟動。
“負面影響主要是虛假資訊和欺詐行為的産生以及隐私洩露。”在蔡勇看來，如果聲音模型技術被濫用，可能會導緻AI詐騙等頻發，如通過仿真某人的語音進行身份識别或竊取個人資訊。
AI換臉詐騙背後
耳聽為虛，眼見也不一定為實。在“深度僞造”方面，除了聲音，還有人物的面貌。
據媒體報道，前段時間，家住内蒙古鄂爾多斯的李女士因為AI換臉險遭詐騙。某日，她忽然收到了一個微信添加好友申請，因發現微信頭像是老同學賈某，便通過了申請。後續，這名“老同學”主動發起視訊通話，李女士看到“老同學”的樣貌後，放松了警惕。
寒暄之後，賈某說有個朋友正在參加一個項目競标，急需資金周轉，但他不友善直接出面将錢轉給對方，希望借李女士的賬戶做資金周轉的橋梁。随後賈某向李女士索要了銀行卡号，接着聲稱已經向她的賬戶轉了196萬元，同時還發來了一張“銀行轉賬記錄”截圖。在收款未到賬的情況下，賈某極力說服李女士先墊付資金。基于對老同學的信任，加上已經通過視訊通話核實了身份，李女士将自己的40萬元轉入對方提供的一個銀行賬号。當李女士轉出40萬後，對方仍不罷休，要求她繼續轉賬。此時李女士才感到事有蹊跷，但當她嘗試再次聯系對方時，發現自己已經被拉黑。李女士随後報警，警方立即啟動了緊急止付機制，成功将被騙的40萬元攔截，返還給了李女士。
“AI換臉詐騙是一種攻擊手段的統稱，不同手段具有不同的攻防側重。”騰訊安全AI詐騙領域專家徐傑（化名）告訴《IT時報》記者，AI換臉詐騙主要有三種類型：其一是最為常見的人臉資訊被竊取；其二是木馬病毒類，使用者的手機或者其他終端裝置被植入木馬病毒，并被不法黑客遠端操控，繞過手機裡的人臉識别系統，或造成較大的财産損失；其三，行為人應用AI技術将受害者的人臉融合到其他人身上，用于線上視訊等實時互動場景，迷惑性較高。
專家揭秘背後原理
種種詐騙手段讓人心生疑問，AI深度僞造的技術原理是什麼？
據蔡勇介紹，其主要原理涉及生成對抗網絡（GANs）和深度學習兩個關鍵技術。生成對抗網絡（GANs）是一種由生成器和判别器組成的神經網絡系統。
“首先，我們需要一個生成器和一個判别器。生成器的任務是模仿已有的真實内容，例如人的臉部特征、聲音模式或圖像細節。生成器通過學習大量的真實樣本，比如照片、音頻檔案或視訊片段，來生成看起來非常逼真的虛假内容。然後，判别器的任務是辨識生成器建立的内容是否真實，它會訓練自己辨識真實的内容和僞造的内容之間的差異。通過不斷疊代訓練，生成器和判别器會不斷互相競争、學習和提高。”蔡勇表示。
蔡勇認為，生成器和判别器互相對抗的過程是整個技術的核心。生成器試圖制造出越來越逼真的僞造内容，而判别器則努力提高自己辨識真僞的能力。随着時間的推移，生成器會變得越來越擅長僞造内容，而判别器則會越來越難以分辨真僞。這種對抗性的過程不斷重複，直到生成器生成的内容足夠逼真，以至于人類很難分辨它們的虛假。
【Tips】
個人如何防範AI仿真詐騙？
蔡勇表示，首先要警惕不明來電，謹慎對待來電内容，尤其是涉及個人敏感資訊時；其次要學會驗證身份，在電話交流中可以通過提問個人資訊，或通過其他管道核實對方身份來确認是否是真實的通話對象；再者，對于收到的聲音資訊，不要輕信其内容，特别是在涉及資金、個人資訊或其他敏感資訊的情況下。
徐傑則表示，在視訊或者通話過程中，仔細觀察對方的動作和特征，并且通過其他管道進一步确認，如發微信、短信或是打電話，确認次數越多，效果會更好。
排版／ 季嘉穎
圖檔／ OpenAI 東方IC
來源／《IT時報》公衆号vittimes
E N D
請加「星标」不錯過我們