天天看點

如何有效降低大資料平台安全風險

摘要:在2019杭州雲栖大會大資料企業級服務專場,由阿裡雲智能計算平台事業部資深技術專家李雪峰帶來以“如何有效降低大資料平台安全風險”為題的演講。本文首先概括了企業在大資料上雲過程中會産生的安全顧慮。接着,在大資料平台中要處理的安全風險中,對資料中心實體安全與網絡安全、大資料平台系統安全以及資料應用安全三部分做了詳細的介紹。最後,描述了阿裡雲飛天大資料平台的安全體系。

精彩視訊回放 >>>

以下為精彩視訊内容整理:

企業大資料上雲的安全顧慮

企業大資料在上雲過程中,通常會有這樣一些安全顧慮:“資料從企業内部遷移到雲上後,資料有沒有可能會被丢掉? ”,“資料在雲上存儲時,資料是否可能被篡改?”, “資料在雲上使用的時候,資料是否有可能被洩露出去? ”。這三類問題非常具有代表性,它們剛好涵蓋了資訊安全的三個基本要素,即: 資訊的可用性、資訊的完整性以及資訊的保密性。應當說,這三類問題并不是因為大資料上雲而額外帶來的,即使在企業内部建構自身的大資料平台的時候,依然要解決這三類安全問題。今天我們将通過深入解讀飛天大資料中台的安全體系,幫助企業了解如何有效降低大資料中台的安全風險。

如何有效降低大資料平台安全風險

我們将企業級大資料中台要面臨的安全風險, 根據其所涉及的系統及技術領域的不同, 分為三個層次。最基礎的層次是資料中心的實體安全與網絡安全,資料中心是建構大資料中台的基礎,資料中心自身安全性和網絡接入安全性直接影響到企業大資料中台的可用性。在這之上是企業大資料平台的系統安全,由大資料平台内部的各個本機安全性授權構成,這些本機安全性授權共同保障了大資料平台的完整性。最上層是資料應用安全,這層貼近于使用者的應用場景。通過在這一層提供豐富多樣的資料安全産品,大資料中台為使用者應用資料的各類業務場景提供切實可靠的資料安全能力。

資料中心實體安全與網絡安全

如何有效降低大資料平台安全風險

在飛天大資料中台中,資料中心實體與網絡層的安全保障, 由阿裡雲資料中心安全基礎設施提供。我們重點介紹三個次元的安全措施:

第一個次元是資料中心保障設施,主要包括供電保障以及冷卻保障. 阿裡雲資料中心可以支援獨立的多路供電、低壓變配電系統和高備援UPS/HVDC以及高可靠後備電源系統和多級防雷接地系統, 這些設施共同為阿裡雲資料中心提供了高可用的供電保障。阿裡雲資料中心的冷卻系統, 通過提供冷源裝置管路以及終端的多路備援的基礎設施, 為資料中心的提供了高可用的冷卻保障。

第二個次元是資料中心安全管控。 阿裡雲資料中心的運維過程遵循一系列的管控流程, 包括安全管控流程和運維管控流程. 在安全管控流程中, 阿裡雲資料中心将參與整個生産過程的人和實體建築各分為三個等級,在每個等級上标記不同的顔色,并基于這些顔色标記建構了色彩管控體系。同時,為了檢驗安全管控流程在設施中持續有效的運作,阿裡雲資料中心還建立了針對性的對抗檢驗體系。另一方面,阿裡雲資料中心還提供7×24運維監控,并且可以将資料中心産生的各類運維事件接入到不同的管控平台中。

第三個次元是資料中心的網絡安全。阿裡雲資料中心一方面提供多路備援的網絡接入,最大限度保證接入網絡的可用性, 另一方面提供低收斂比的網絡架構,針對大資料計算場景, 量身優化基礎網絡架構。此外,針對網絡攻擊,阿裡雲資料中心不僅可以提供網絡高防服務和近源攻擊清洗的能力, 還能充分利用雲安全基礎設施WAF, 為上層大資料平台提供七層的網絡防禦能力。

大資料平台系統安全

如何有效降低大資料平台安全風險

MaxCompute平台安全系統主要包括四個子系統:

通路控制子系統,負責處理所有的通路接入控制和權限控制. MaxCompute在接入控制上可以支援IP白名單能力,在權限控制上提供ACL(DAC) , LABEL(MAC)權限控制以及基于屬性的POLICY(ABAC) 通路控制能力, 還能通過Package提供安全的資料共享能力。

應用程式隔離子系統,該子系統提供獨立的隔離環境用于執行資料處理Application. MaxCompute 可以支援 Java和Python語言編寫的UDF, 還能夠支援執行三方計算引擎,這些都為 MaxCompute的客戶提供了更加多元化的資料處理能力。

風控審計子系統,提供多種事件審計的日志,主要包括任務日志和使用者日志及表的日志,還提供多種的中繼資料能力,包括表和資源。

平台可信子系統,基于可信硬體和軟體設施提供存儲加密等能力。

MaxCompute平台通路控制子系統

如何有效降低大資料平台安全風險

MaxCompute通路控制子系統是建構平台多租戶體系的基礎。MaxCompute中的每個租戶擁有一個或多個project,每個project會包括三類的内容。第一類是project屬性,包括Quota和Owner資訊。第二類是project數組,包括User ID和Role。第三類是project所有的資源,包括表、函數、檔案系統和Instance執行個體等。

作為我們将在雲上提供的新功能之一, 租戶可以将VPC ID配置為通路控制條件,僅允許來自于指定VPC的請求,通路特定的project,這就是MaxCompute通路控制的VPC白名單能力。針對在企業場景中,我們還将提供對console端識别的通路控制能力, 以滿足企業對生産裝置進行日益嚴格的通路管控安全需求。同時。MaxCompute還将在雲上提供權限系統2.0,這其中主要包括 精細粒度ACL權限控制能力, 獨立的下載下傳權限,以及人到表及表到人的權限查詢能力。所有這些新功能,都旨在為公共雲上的企業客戶提供更安全更專業的資料授權和适用控制支撐。

MaxCompute平台應用程式隔離子系統

如何有效降低大資料平台安全風險

MaxCompute平台上可支援多種類型的應用程式。當被租戶要求執行這些應用程式時,MaxCompute應用程式隔離子系統會将它們分别運作在獨立的虛拟化隔離環境中。這不僅為應用的運作環境相容性提供了保障, 還充分保證了這些應用之間以及他們與平台自身之間有足夠強度的安全隔離。

基于這些技術沉澱以及安全保障,MaxCompute平台将在雲上為企業客戶提供新的應用程式類型 --- 使用者自定義引擎。通過使用者自定義引擎, 企業基于Spark或者Flink等開源引擎定制的計算引擎,都将可以用來在MaxCompute平台中處理資料。

MaxCompute平台風控審計子系統

如何有效降低大資料平台安全風險

MaxCompute平台将為雲上的企業客戶重點提供Information Schema 1.0功能。

MaxCompute Information Schema1.0 将包括三種類型的中繼資料, 分别是資料管理類, 權限管理類以及綜合分析類。基于第一類中繼資料, 使用者可以實作詳細的資料生命周期的管理功能, 還可以實作Owner檢索以及存儲尺寸檢索的資料管理功能。基于第二類中繼資料, 使用者可以實作使用者或角色資訊的查詢、使用者的權限查詢、資源的權限查詢、表和字段打标的查詢等, 這些企業級權限管理類功能。 基于第三類中繼資料, 使用者可以實作定制化分析的功能,包括熱表分析、表血緣分析、費用分析、性能分析等企業級分析功能。

MaxCompute Information Schema1.0将以準實時的方式為使用者提供資料。

MaxCompute 平台可信子系統

如何有效降低大資料平台安全風險

MaxCompute将在雲上為企業客戶提供BYOK的存儲加密能力。使用者可以将自己指定的秘鑰上傳到阿裡雲KMS中作為資料加密的根秘鑰。 MaxCompute平台在進行資料加密時,經過使用者授權, 使用使用者上傳的主秘鑰生成資料加密秘鑰(DataKey),然後使用DataKey對資料進行加密, 并将加密過的資料以及經過根秘鑰加密過的DataKey存儲在實體媒體中。 加密過程的算法可以支援AES256和國密算法SM4。

存儲加密BYOK,賦予企業需要銷毀雲上資料的能力. 企業隻需要在阿裡雲KMS中銷毀根秘鑰, 即可實作銷毀雲上所有基于此根秘鑰加密的資料。

資料應用安全

資料應用安全,本質上需要解決三大資料應用風險: 資料洩露,資料濫用和資料誤用。

飛天大資料中台通過DataWorks資料安全産品為使用者提供完善的資料應用安全解決方案。DataWorks資料安全産品主要分類三個類别: 權限管控類産品将提供申請流程控制、審批流程控制、權限回收以及權限檢視的基本的産品能力; 資料保護類産品将提供資料分類分級、敏感資料識别 、資料打标、靜态脫敏以及差分隐私的能力; 風險治理類産品将提供敏感權限審計、資料通路審計、資料防洩漏以及資料防濫用能力。

DataWorks 資料應用安全解決方案

如何有效降低大資料平台安全風險

DataWorks 資料應用安全解決方案如圖所示。資料識别能力為使用者資料可以提供多種類型的規則進行資料的打标,可以基于資料的字段安全來定義資料的安全等級、個人資訊資料等級、表安全等級和安全分類标簽,所有的資料在經過自動的識别之後,通過MaxCompute的字段級打标能力直接進入到MaxCompute的源資料中。

DataWorks權限管控類産品,可以基于安全分類标簽, 對表,字段級的權限申請進行控制. 這些權限申請在被送出後,交由企業内部業務角色審批。在審批通過之後, DataWorks使用MaxCompute的字段級ACL以及Label等授權手段,為企業資料提供最小粒度的權限控制, 這幫助企業有效減少了資料濫用行為。

所有的授權操作會進入到MaxCompute的風控審計資料中,并通過Information Schema提供給使用者進行審計。同時, 這些人員權限審計、資源權限審計、權限使用審計也将為DataWorks 風險治理類資料安全産品提供了資料支撐. 通過使用這類産品, 企業可以通過即時回收資料權限, 有效避免資料洩露。

經過資料識别, 打标為個人敏感資訊的資料, DataWorks提供靜态脫敏産品,并支援自定義脫敏規則。MaxCompute也提供回顯脫敏和下載下傳脫敏的功能。此外,DataWorks還将提供差分隐私的脫敏服務。所有對個人敏感資訊的使用也進入了到中繼資料中,通過MaxCompute Information Schema功能,為使用者提供資料使用審計支援。

DataWorks資料安全權限管控産品

如何有效降低大資料平台安全風險

DataWorks 資料安全産品主要分為權限管控類和資料保護類兩個部分。

如何有效降低大資料平台安全風險

DataWorks 安全中心2.0目前提供權限管控功能. 使用者可以在DataWorks安全中心中針對特定的字段進行權限申請。在權限申請中可以設定特定的權限使用時間、權限申請理由以及使用範圍。權限申請在被送出之後,将會出現在權限審批者的頁面中. 在審批者的待審批頁面中,可以看到申請者提供的詳細申請資訊。當審批按照拒絕流程處理時,申請人的清單裡,也會看到申請人拒絕審批的狀态。同時,在權限審批完成後,安全中心會提供表到人和人到表的權限查詢功能,并可以在功能中直接進行權限回收。

DataWorks資料安全數隐私保護産品

如何有效降低大資料平台安全風險

差分隐私是目前在數學上可以證明隐私保護手段。将包含敏感資訊的資料經過差分隐私脫敏處理後, 脫敏資料與原始資料之間呈現出數學上可描述的機率分布規律,如上圖所示。紅線是包含原始資料,黑線是經過脫敏的資料。這意味着, 在某些統計場景中, 可以用脫敏後的資料替代原始資料而不影響統計結果。

如何有效降低大資料平台安全風險
如何有效降低大資料平台安全風險

DataWorks差分隐私服務提供兩個UDF函數,分别用來實作資料脫敏和脫敏結果的統計計算。由上圖可以看出,經過DataWorks差分隐私服務脫敏處理後,脫敏資料與原始資料可以呈現出非常好的統計一緻性。

阿裡雲飛天大資料平台安全體系

如何有效降低大資料平台安全風險

最後我們來回顧一下阿裡雲飛天大資料中台安全體系的主要内容。

首先,阿裡雲資料中心的安全基礎設施為飛天大資料中台提供了實體層安全設施和安全管控流程,還提供了網絡安全的支撐。

在這之上,MaxCompute平台安全系統通過通路控制子系統、應用程式隔離子系統、風控審計子系統和平台可信系統為企業客戶提供大資料平台的完整性保障。這一層最新釋出了VPC白名單、App端識别、權限系統2.0以及使用者定義計算引擎的能力。還最新支援了InformationSchema1.0中繼資料能力和BYOK存儲加密能力。

在往上一層, DataWorks 資料安全産品為使用者的資料應用場景提供的資料防洩漏,資料防濫用以及資料防誤用的能力。這一層主要包括權限管控類産品、資料保護類産品以及風險治理類産品。Dataworks最新釋出了安全中心2.0以及差分隐私服務。

所有的産品和系統為使用者資料的全生命周期安全提供了堅實保障。

MaxCompute産品官網 >>> DataWorks産品官網 >>>

繼續閱讀