近日曝出，重慶某醫院的一名醫生遭遇了煩心事，明明醫保卡就在自己身上，卻被告之有人使用其醫保卡二維碼購買了數萬元的保健品。直至警察上門才得知，原來是别有用心者通過“AI變臉”軟體，盜刷了其醫保卡。
過去一年多的時間裡，生成式AI迅猛發展，在給人們的生産生活帶來更多便利和想象空間的同時，也增加了安全方面的挑戰與壓力。人工智能帶來的安全威脅既有技術層面的攻防對抗，也有系統自身的脆弱性，更有深層次的倫理方面的問題。
Gartner的研究表明，推動2024年網絡安全趨勢的主要因素包括生成式AI、持續威脅暴露、第三方風險等。Gartner預測，到2025年，生成式AI的采用将導緻企業機構所需的網絡安全資源激增，進而使應用和資料的安全支出增加15%以上。
面對方興未艾的生成式AI浪潮，企業的安全與風險管理者，必須未雨綢缪，在技術、方案、組織架構和管理等多個次元提前做好應對準備。
安全是一種企業文化
面對生成式AI帶來的安全挑戰，許多國家和政府，以及企業已經積極行動起來。2023年7月，國家網信辦等七部門聯合釋出了《生成式人工智能服務管理暫行辦法》（以下簡稱《辦法》）。為指導生成式AI服務提供者及相關主管部門落實《辦法》要求，全國網絡安全标準化技術委員會釋出了《生成式人工智能服務安全基本要求》。這之後，國家網信辦還會同相關部門按照《辦法》的要求，有序推進生成式AI服務備案工作。
2024年3月13日，歐洲議會正式投票通過并準許歐盟《人工智能法案》。該法案将規範基礎模型或生成式AI，同時将限制政府在公共場所使用實時生物識别監控來處理某些犯罪案件、防止恐怖襲擊等真正威脅，以及搜查涉嫌最嚴重犯罪的人。據悉，該法案預計将于2025年初生效，并于2026年實施。
亞馬遜首席安全官 Steve Schmidt
防範和抵禦生成式AI可能帶來的安全隐患，雲計算、大資料、人工智能以及網絡安全等諸多相關領域的廠商，應該實作最大範圍和程度的協同。在接受《華爾街日報》采訪時，亞馬遜首席安全官Steve Schmidt表示：“安全團隊的工作是幫助企業了解生成式AI等創新技術的好處和風險，以及如何利用它來提升企業的安全效率。”
實際上，安全已經内化為亞馬遜雲科技的一種公司文化。作為雲計算的開創者和引領者，安全對于亞馬遜雲科技來說具有最高優先級。通過在實踐中總結經驗，亞馬遜雲科技建構起了行之有效的安全文化。Steve Schmidt本人正是亞馬遜安全文化的踐行者和倡導者之一。他表示：“我們不僅在前所未有的大規模企業中建構和運作起對應的超大規模安全體系，而且還形成了一種在安全領域中非同尋常的文化。我最引以為豪的事情，就是在企業中塑造正确的文化。”
安全是每個公司正常營運的底線。安全思想與文化的建立不可或缺。亞馬遜雲科技每周都會舉行一次安全會議，CEO也會參加，以確定業務需求并關注安全問題。毋庸置疑，安全應成為公司每一個人的責任。
企業可以通過自動化的工具來逐漸提高效率和競争力，并且應将安全嵌入到整個開發過程中。通過對基礎問題或複雜問題使用不同的工具，開發者可以清楚地了解安全的邊界，并且使得開發過程更安全，審查效率也更高。
總之，安全應該是企業的一條基線。一個成功的安全團隊也是企業所必備的。安全團隊的成員應保持多樣性，最好具有不同的性格或不同的背景、文化，并且在面對業務部門時，不能說“不能做這個，不能做那個”，而是應該告訴業務團隊，這件事情可以這樣做。
應用生成式AI時的安全建議
在今年全國兩會期間，人工智能、新質生産力等成為高頻詞。國家也号召開展“人工智能＋”行動。確定人工智能應用落地，推動數字經濟蓬勃發展，就必須統籌發展與安全。全國兩會代表也都紛紛為數智時代的網絡安全獻計獻策。比如，有的代表建議，進一步完善建構網絡安全制度體系，加強個人資訊保護和資料安全管理；也有的代表提出，應建設國家級、行業級、城市級的數字安全公共服務基礎設施；還有的代表建議，相關企業應開展聯合創新，圍繞攻防實戰和應用場景實作在“AI+安全”尖端技術方面的突破；另外還有代表呼籲，應盡快推進人工智能法出台，建構人工智能算法治理體系。
Steve Schmidt從他的專業角度給出了使用生成式AI時的安全建議。他認為，任何企業在涉及到生成式AI的安全問題時，都應先問自己三個問題。
第一個問題，資料在哪裡？企業必須清楚在使用資料訓練模型的整個工作流程中，相關資料來自哪裡，以及資料是如何被處理和保護的。
第二個問題，我的查詢和任何相關資料會發生什麼？訓練資料并不是企業需要關注的唯一敏感資料集。當企業開始使用生成式AI和大型語言模型時，很快就會掌握如何讓查詢更有效。而這之後，他們會在查詢中添加更多細節和具體要求，進而獲得更好的結果。企業使用生成式AI進行查詢，就必須清楚地知道生成式AI服務會如何處理輸入進模型的資料以及查詢結果。企業查詢本身也是敏感的，應該成為資料保護計劃的一部分。從外部視角看，從使用者提出的問題中可以推斷出很多資訊。在很多情況下，這些資訊都是非常敏感的，也需要得到關注和有效處理。
第三個問題，生成式AI模型的輸出是否足夠準确？這是最重要的一點。從安全的角度來看，生成式AI的使用場景定義了風險。也就是說，不同的場景對準确度的要求是不同的。如果你正在使用大型語言模型來生成定制代碼，那麼你就必須确認這個代碼是否寫得足夠好，是否遵循了最佳實踐等。
在弄清上述問題之後，企業開始利用生成式AI進行業務創新時，必須在安全方面特别注意以下三種情況。
首先，安全團隊說“不”很容易，但這并不是正确的做法。企業教育訓練内部員工了解公司使用人工智能的政策，讓員工知道應該如何安全地使用它。Steve Schmidt表示，對于企業的安全團隊來說，說“不”很容易，但對于所有的業務團隊和開發人員來說，繞過安全團隊也同樣容易。是以，為了讓企業正确、安全地使用生成式AI，最好的做法是教育、告知、指導、設定防護欄，并使用能夠滿足預設目标的雲服務，同時還要精确了解這些服務如何使用和保留資料。
其次，可見性非常重要。企業需要通過可見性的工具，了解員工如何使用資料。企業有必要限制工作需求之外的資料通路。如果發現有不符合政策的情況發生，例如在涉及到非工作需求之外的敏感資料通路時，就要立刻阻止這種行為。在其他情況下，比如員工使用的資料不太敏感，但是可能會違反政策，企業應主動聯系員工詳細了解其真實的使用目的，并尋求妥善的解決之道。
最後，通過機制解決問題。機制是可重複使用的工具，允許我們随着時間的流失精确地驅動特定的行為。例如，當員工有違規操作時，系統會通過彈窗等方式提示員工，并建議使用特定的内部工具，同時就相關問題進行報告。
以上是Steve Schmidt的經驗之談。他表示：“利用生成式AI提升安全代碼的編寫工作，能夠有效地推動整個行業進入更進階别的安全領域。”
用AI對抗AI
“用AI來對抗AI”，這是目前人們普遍接受的一種方式。在防範黑客方面，生成式AI有效提升了安全工程師的效率。企業可以使用生成式AI模型建構自動響應流程，并可以對預定事件進行快速響應和輸出。尤其是在人工互動領域，大模型可以讓不懂技術的管理人員也能在安全事件發生時快速了解發生了什麼。舉例來說，Amazon Detective有一個基于生成式AI的流程來建構安全事件的文字描述，這意味着安全工程師可以拿到準備好的内容，對其進行調整，在確定準确的前提下用于解釋正在發生的事件，進而節省數小時的時間。
另外，借助生成式AI，還可以有效緩解目前網絡安全人才短缺的情況。Steve Schmidt表示，使用人工智能和機器學習技術，可以讓企業更快更有效地識别和解決安全問題。舉例來說，生成式AI在檢測客戶賬戶中的異常行為方面發揮了巨大作用，可以幫助企業更準确地隔離和提醒個别使用者的高度可疑行為。這樣一來，企業的安全團隊就可以将精力集中在戰略業務計劃和更高價值的任務上，而不是僅僅用來發現和響應事件。
在技術和服務上，亞馬遜雲科技已經全面就緒，面對生成式AI帶來的安全挑戰，能夠做到防患于未然。在2023 re:Invent全球大會上，亞馬遜雲科技推出了具有生成式AI能力的安全服務能力。Amazon Inspector的Amazon Lambda函數代碼掃描功能，能夠利用生成式AI和自動推理實作代碼修複。基于生成式AI，亞馬遜雲科技能夠為多種類别的漏洞建立與情境相關的代碼更新檔，這有利于開發者快速進行驗證和代碼替換等操作，進而快速有效地解決問題。Amazon Detective能夠使用生成式AI提供調查發現組摘要。具體來說，生成式AI可以自動分析調查發現組，并以自然語言提供洞察，進而加快進行安全調查。Amazon Detective服務的目的是讓使用者更輕松地分析、調查和快速确定潛在安全問題或可疑活動的根本原因。對于安全專家來說，這有助于驗證他們已經觀察到的事物，并簡化他們的工作；而對于軟體開發者來說，Amazon Detective通過使用AI能夠讓他們更容易了解安全調查中所需的相關進階安全知識。概括來說，這兩項服務都極大地提升了企業安全實施的效率，彰顯了生成式AI技術在安全領域的巨大潛力。
2024年3月7日，亞馬遜雲科技宣布，通過與光環新網和西雲資料的緊密合作，在亞馬遜雲科技（北京）區域和（甯夏）區域推出一項完全托管的服務——網絡防火牆服務Amazon Network Firewall，幫助客戶更輕松地為其運作在亞馬遜雲科技上的工作負載提供網絡安全防護。
另外，亞馬遜雲科技還通過加強與合作夥伴的協作，為客戶提供更安全的營運環境。比如，Palo Alto Networks（派拓網絡）利用亞馬遜雲科技中國區域加速其安全解決方案落地中國，覆寫網絡安全、雲安全、營運安全以及威脅情報和咨詢，提供全球一緻的安全體驗。再比如，英偉達GB200将受益于Amazon Nitro系統增強的安全性，在用戶端和雲端全程保護客戶的代碼和資料在處理過程中的安全。這一獨有的功能已經獲得了領先的網絡安全公司NCC Group的獨立驗證。
Steve Schmidt表示，亞馬遜安全團隊多年來一直緻力于應用各種人工智能技術改善客戶體驗。在最開始的階段，編寫更加安全的代碼是生成式AI帶來的重大影響。從安全和成本的角度來看，一開始就編寫安全的代碼，比在編寫完成後或者已經進行了內建測試，甚至傳遞給客戶後再去修改要好得多。可以說，代碼的編寫方式是資訊安全中最大的杠杆因素之一。亞馬遜安全團隊利用開箱即用的生成式AI應用，從代碼階段開始，持續推動安全行業更新。