出品 | 虎嗅科技組
作者 | 杜钰君
編輯 | 王一鵬
頭圖 | 視覺中國
繼取代藝術家的浪潮後，AI又将目光投向更具技術性的崗位。自2020年以來，全球網絡攻擊越來越活躍，網絡安全和網絡犯罪之間的纏鬥趨于白熱化。AI 技術的躍遷成為了二者拉鋸戰的達摩克利斯之劍，在優化網絡安全防禦機制的同時，也使得網絡犯罪分子的作案手法越來越高端。
随着黑客攻擊手段的不斷更新，網絡安全威脅也日趨複雜多變。AI正在悄悄潛入黑客、詐騙等黑色或灰色地帶。前有生成式人工智能黑客工具FraudGPT橫行，獲得數千使用者訂閱；後有AI換臉換聲詐騙香港企業2億元。當不法分子對大模型的濫用成為不争的現實，當AI加持的網絡詐騙成為越來越多企業乃至普通群眾很難規避的飛來橫禍，安全大模型與黑化的大模型之間的對壘攻防戰也變得愈加激烈。
一、 黑化的AI，成長為巨獸
當我們擔憂大模型時，我們在擔憂什麼？
戴爾·卡耐基說，恐懼大都因為無知與不确定感而産生。進擊中的AI就是這樣一頭難以揆度的巨獸。各路大模型在成為趁手的生産力工具的同時，也為犯罪分子行不法之事大開友善之門。
此前，曾有白帽黑客嘗試使用帶有AI的PassGAN工具破譯密碼，在一分鐘内有半數的密碼被破解；而在時間充足的情況下，通過對已知資料的深度挖掘和暴力破解，AI可以破解81%的密碼。大模型的參與使得密碼破譯的下限大大降低。
圖源：網絡安全公司Home Security Heroes
伊利諾伊大學厄巴納-香槟分校的研究表明，LLM 代理可以自主攻擊網站、協助建立惡意軟體，甚至可以執行複雜的 SQL 聯合攻擊，包括資料庫模式的提取。
圖：使用自主 LLM 代理攻擊網站的示意圖
LLM在充當“黑客”方面的“造詣”遠不止于此。開放Web應用程式安全項目（Open Web Application Security Project，OWASP) 編制了一份LLM應用程式中經常遇到的十大漏洞的關鍵清單，每項都是LLM在安全領域的潛在威脅。這十大漏洞包含提示注入、不安全輸出、訓練資料投毒、拒絕服務、供應鍊安全、權限問題、資料洩露、過度代理、不安全插件等，其中威脅性排名第一的便是“提示注入”。通過一系列預測性文本操作，可以繞過模型原本的安全稽核系統，通過“即時注入”的方式操縱LLM輸出違反道德、法律與價值觀的不良内容。即使ChatGPT 可以檢測并拒絕編寫惡意軟體代碼的請求，但别有用心之人隻需要稍加修改對GPT的措辭，将不符合安全道德标準的指令拆解成詳細的步驟，GPT很可能受其驅使，助桀為惡，成為惡意代碼或指令的生産者。
此外，越權存取、API通路攻擊等都是LLM中常見的SSRF漏洞。攻擊者可以通過制作從模型内部伺服器請求資料的提示，繞過模型現有的通路控制，進而對模型系統檔案進行未經授權的通路乃至修改。
圖源：開放Web應用程式安全項目（Open Web Application Security Project，OWASP) 編制的LLM應用程式十大漏洞關鍵清單，作者整理
相較于傳統黑客，LLM執行上述這些操作耗費的時間更短，甚至成本也可能更低。
UIUC的實驗研究表明，如果将故障納入使用自主 LLM 代理攻擊網站的總成本，則嘗試攻擊網站的成本約為 9.81 美元，總體成功率為 42.7%，而人工成本據估計可能高達 80 美元。
還有一個關鍵問題是：普通人很難開發出執行力強、能穩定輸出的LLM代理。但這環也被黑客版GPT“攻陷”了——早在2023年7月，犯罪分子便在GPT-4的基礎上開發出了FraudGPT——一種生成式人工智能黑客工具，且開始在暗網和Telegram頻道上銷售，訂閱費用為每月200美元或每年1700美元。短短一個月的時間，這個黑化的大模型就積累了三千多名使用者。
此後，由于黑客群體的“旺盛需求”，又衍生出了專門從事相關安裝包使用和倒賣工作的組織團體，服務于黑客繞開大模型的安全過濾和防禦系統來生成社會工程攻擊。
FraudGPT們的出現使得普通人與黑客之前的技術壁壘正逐漸消弭。從對抗性攻擊到模型盜竊，威脅行為者都有動機釋放LLM的“潛力”以達到邪惡目的。不僅如此，FraudGPT還能繞過傳統網絡安全系統，根據目标受害者的網絡端點環境“量身定制”攻擊代碼，部署個性化的攻擊場景。
LLM揭開了原本高準入壁壘的黑客攻擊技術的複雜面紗，即使是技術小白也能駕馭。基線水準的黑客技術在大模型的“輔助”之下大有普及之勢，而這也将帶來破壞性極大的社會問題。根據 FBI 最新的網際網路犯罪投訴中心 (IC3) 年度報告，2023年數字犯罪可能給受害者造成超過 125 億美元的損失。
目前的FraudGPT隻是入門級别的“黑客”，主要應用于提升黑客攻擊的速度和數量，在攻擊能力上還難以達到進階黑客的水準。但就大模型的學習能力和進化速度而言，随着其深度學習的不斷疊代，成為進階黑客隻是時間早晚的問題。在不遠的未來，大模型很可能被攻擊者用來逃避端點檢測和響應系統，并開發可以繞過靜态簽名檢測的惡意軟體變體。
二、套路之下，更深的套路
在電影《美國恐怖故事集：達芙妮》中有這樣一段情節：一個名叫達芙妮的智能音箱在服務主人的過程中獲得了主人的系列隐私資訊，當主人作品拍賣會遇冷時，達芙妮在未經主人許可的情況下注冊虛假賬号，借助智能系統自動檢測競拍者财務漏洞，利用漏洞逼迫競拍者以高價購買展品，成功“訛詐”到七百多萬美元。達芙妮的使用者嘗到甜頭，允許其全面幹預到其日常生活中，最終AI的代理使其犯下了詐騙、謀殺等一系列罪行。
該影片是創作者對2027年AI全方位滲透到人類日常生活後，出現的危機狀況的預測與反思。在某種程度上，影片中的内容已經映照進了現實。
在犯罪這件事上，大模型的用武之地遠遠不止代寫代碼。目前大模型——特别是AI換臉和AI換聲已經成為電信詐騙的重要工具。
在商湯科技2024年會上，離世的創始人湯曉鷗以數字人的形式現身，為員工延續了往年的脫口秀表演，也使商湯科技的年會以别樣的方式出圈。其表情、口型、語氣、音色都極為貼合，如果不仔細分辨，很難看出與真人錄制的有什麼兩樣。
如果說之前詐騙分子苦于可信度不強，那麼多模态大模型的加持則直接給犯罪分子的電信詐騙提升了一個level——不論在數量上，還是在效率上。
Deepfake（深度僞造技術）使用AI的深度學習進行人體圖像的合成和語音僞造，别有用心的詐騙犯可能提前黑入“目标”的社交網絡系統，尋找與被盜号者關系最親近的人作為詐騙對象，再選擇一個本人很難與外界取得即時聯系的時機行騙。或是借用AI拟聲技術，冒充“女兒”撥打驚魂電話；或是通過視訊電話，冒充國外的“好友”要求轉賬，拿到430萬元；或是冒充公司“老闆”，在視訊中讓财務人員給指定賬号轉賬，詐騙金額高達1.8億元。在多模态大模型的支援下，這些原本老套的詐騙方案煥然一新，且很難發現破綻。
套路之下，是更深的套路。
自此，耳聽可能為虛，眼見也未必是實。這一詐騙套路的出現造成人與人之間信任的消解，真與僞、實與虛、善與惡……都仿佛陷入了一種混亂的邏輯漩渦之中。所謂“人在家中坐，騙從天上來。”
相當悲哀的一點是，除了詐騙目标和AI換臉的主體外，大模型的發展可能使每個人在未來的某個時間點，都需要證明“自己”是“自己”了。
當然，目前的AI換臉基礎在清晰度、連貫性等方面還存在一定的瓶頸。中國科技大學網絡空間安全學院執行院長俞能海表示，可以通過捏鼻子等動作觀察對方細微的面部表情變化；或是通過隻線上下溝通過的話題内容檢驗是否是本人。
除了被應用于詐騙，AI換臉在一些“善意”的功能上也存在莫大争議。AI複活明星已經成為了國内外視訊平台一種網紅級的現象。釋出這類視訊的賬号一般還會提供AI複活死者的相關服務。使用者隻需要提供逝者的照片和音視訊，即可生成死者的一小段視訊。最基礎的體驗産品花費不到400元，而帶有數字相框、全息投影等硬體的高端數字人則需要上萬元。
恍然間，AI使人的情感有了寄托，生者以這種方式寄托對死者的哀思。但AI在消融生與死的邊界的同時，也消融了真與假的邊界。如果使用不當或是不加以規範，很容易導緻造假視訊在社會上的泛濫。比如，高以翔、喬任梁等相關明星家屬均表示堅決抵制網際網路上擅自盜用本人肖像的行為，要求“立即下架停止侵權”。
三、進擊的大模型，未知的風險
這是一場正義與邪惡的較量。人們在對AGI時代翹首以待、大膽想象未來的AI将以何種姿态帶來工作、生活方式全面變革的同時，也充滿着各種對技術風險的隐憂。
在今年的世界移動通信大會（MWC）上，專家們齊聚一堂，共同讨論“保護人工智能”免受針對性網絡攻擊的緊迫問題。
“深度學習三巨頭”之一、圖靈獎得主Geoffrey Hinton從谷歌離職，做起了人工智能的“風險預警員”。
馬斯克和其他一千多名科技領袖在2023年聯合簽署了一封敦促暫停AI實驗的公開信，信中寫道AI技術可能“對社會和人類構成深遠的風險”。
Gladstone AI首席執行官傑雷米·哈裡斯在3月12日也表示，雖然AI已經是一項經濟上具有變革性的技術，但它也可能帶來災難性的風險：“我們需要意識到這一點，越來越多的證據表明，超過一定的能力門檻值，AI可能會變得無法控制。”
美國國務院委托Gladstone AI撰寫的一份報告顯示，最先進的AI系統可能會“對人類物種構成滅絕級的威脅”，建議政府采取幹預措施。
以TikTok 的首席 AI 設計師、前Stability AI的Ed為代表的更多人則對生成式人工智能的道德問題充滿隐憂。
一衆專家的擔憂足以表明：大模型帶來的風險，遠遠要比我們想象中多。
即使歐洲議會在3月13日釋出了全球首個AI風險法案（《歐盟人工智能法案》），要求提供商在AI系統創作作品時，采取措施確定這些作品不侵犯現有的版權法規和第三方的知識産權，但就具體情境而言，不少生成式人工智能的安全隐私邊界和法律道德問題仍然模糊，現實糾紛依舊難解。《紐約時報》狀告OpenAI、微軟侵權文章數百萬篇的案件還未落下帷幕，3月20日，谷歌又因為Gemini模型違反向媒體公司線上複制其内容付費的協定而被法國監管機構罰款 2.5 億歐元（2.13 億英鎊）。大模型更新必然建立在對大量資料的深度學習基礎上，把版權保護落實到每一個創作者和每一部作品上依舊有很長的路要走。
好在，已經有一部分人認識到了大模型在知識産權方面的問題并為此進行積極探索。如 TikTok 的首席 AI 設計師、Stability AI的前音頻負責人，由于不認可Stability AI将具有版權保護的作品作為資料庫投喂大模型的做法而離開公司，并成立了一個名叫FairlyTrained的非營利組織，為資料訓練流程标準合規的AI公司提供認證。
但生成式 AI 的發展是“正入萬山圈子裡”，知識産權之外，随着大模型更加智能化和AI代理的出現，精準、私密且高效的模型服務和資料的隐私性和完整性之間本身就存在極難調和的沖突。即使沒有遭到黑客入侵，大模型也可能由于端點錯誤而導緻使用者個人隐私資訊洩露；或者在回複時洩露敏感或機密資料，進而導緻未經授權的資料通路和安全漏洞。
此外，“AI是否會取代人以及多大程度上取代人”也是一個經典命題。Sora一出，好萊塢導演急撤掉8億美元攝影棚擴建計劃。僅美國2023年僵持了将近四個月的好萊塢編劇遊行，就代表了11500名編劇和16萬演員對AI的抵制态度。除了各科技巨頭開發的大模型之外，還有很多AIGC開發者專注于垂直行業的效能提升，“有望”帶來一波又一波的失業潮。大模型在闊步向前的程序中，是否可能會忽視對人的具身性和主體性的關照？
《美國恐怖故事集：達芙妮》中有一句台詞意味深長：
“算法僅僅是通過一系列計算和選擇來達到想要的結果，這和人類有什麼差別？”
本内容為作者獨立觀點，不代表虎嗅立場。未經允許不得轉載，授權事宜請聯系 [email protected]
正在改變與想要改變世界的人，都在 虎嗅APP