4月30日，阿裡雲發現，俄羅斯黑客利用Hadoop Yarn資源管理系統REST API未授權通路漏洞進行攻擊。
Hadoop是一款由Apache基金會推出的分布式系統架構，它通過著名的 MapReduce 算法進行分布式處理，Yarn是Hadoop叢集的資源管理系統。
此次事件主要因Hadoop YARN 資源管理系統配置不當，導緻可以未經授權進行通路，進而被攻擊者惡意利用。攻擊者無需認證即可通過REST API部署任務來執行任意指令，最終完全控制伺服器。
利用方式還原及趨勢判斷
1、通過對比分析，阿裡雲安全專家觀察到，與之前Redis、CouchDB事件相比，Hadoop作為一個分布式計算應用程式架構，讓其更容易被“攻陷”，因為：
- Hadoop種類和功能繁多，各種元件安全問題，可能會帶來更大的攻擊面；
- 針對某一個薄弱點的攻擊，可能通過該架構分布式的特性，迅速擴散到所有節點。
2、灰黑産的入侵變現的手段，正在從入侵利用雲上普通主機資源挖礦獲利（Web伺服器、資料庫伺服器等），轉向攻擊專用算力應用，以竊取更大的算力進行挖礦獲利轉變（如Hadoop等分布式計算平台）。從本次樣本的分析來看，利用專用算力應用來攻擊變現的方式，還處在早期的測試階段；随着加密貨币的進一步繁榮，該類型的攻擊風險将會愈發凸顯。
總的來說，灰黑産對經濟利益的渴求，推動着這個行業的變遷更新。随着加密貨币市場熱度的攀升，入侵挖礦的灰色産業，也會随之擴大；挖礦這種最有效變現手段對算力不斷擴大的需求，必然引導灰黑産的攻擊目标逐漸轉向更高算力的産品和服務。
是以，阿裡雲安全專家建議，不論是SaaS化服務的算力産品提供商，還是算力的最終使用者，都應該更加的關注安全問題，隻有在發展自己的業務的同時切實加強安全水準，才能保障業務長期健康穩定的發展。
附：詳細YARN REST API如下所示
http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html
安全建議
針對此類大規模攻擊，阿裡雲平台已可預設攔截，降低漏洞對使用者的直接影響；
如果企業希望徹底解決Hadoop安全漏洞，推薦企業使用 阿裡雲MaxCompute （8年以上“零”安全漏洞）存儲、加工企業資料；阿裡雲數加MaxCompute（原名ODPS）設計之初就是面向多租戶，確定租戶的資料安全是MaxCompute的必備功能之一。在MaxCompute系統的安全設計和實作上，MaxCompute的工程師們會遵循一些經過實踐檢驗的安全設計原則（如Saltzer-Schroeder原則）。在常用密碼算法及安全協定的設計和實作上，也會遵循業界相關标準（如PKCS-及FIPS-系列标準），并堅持最佳安全實踐。
這裡從如下幾個方面來解刨一下MaxCompute的安全特性，讓關心MaxCompute資料安全的讀者有一個基本的了解。更多産品資訊請通路
https://www.aliyun.com/product/odps。
1. API認證
認證是一個服務的安全入口。MaxCompute認證采用業界标準的API認證協定來實作，如HmacSHA1。MaxCompute還提供HTTP和HTTPS兩種的EndPoint以滿足使用者對認證安全的不同要求。HTTP EndPoint是明文傳輸，那麼HmacSHA1認證隻能保證消息請求的真實性(Authenticity)和完整性(Integrity)，适合于對資料安全不太敏感的使用者。HTTPS EndPoint則能提供更多的安全性，比如信道加密，抗重播攻擊等。适合于對資料安全比較敏感的使用者。
2. 通路控制
當你建立項目空間後，你就是項目空間的owner。一個項目空間隻有一個owner，隻有owner對項目空間有完全控制權限。你可以上傳/下載下傳資料、送出SQL進行資料處理。在沒有你的授權的情況下，任何其他使用者都無權通路你的項目空間。 注意，MaxCompute平台并沒有超級管理者的角色，是以MaxCompute的開發、測試、運維同學都是沒有權限看到使用者資料的。有人會問了，通過MaxCompute背後的運維管理控制台也不能通路使用者資料嗎？的确不能。運維同學隻有在獲得内部授權之後，可以通過該控制台來執行一些運維管理類操作，比如停止一個有惡意行為的使用者作業，但該控制台沒有操作使用者資料的權限。
MaxCompute産品面向的是企業級使用者，是以提供了豐富的項目空間内的使用者管理及授權功能，有興趣的同學可以參考MaxCompute使用者手冊中的相關章節。MaxCompute通路控制粒度非常精細，比如你可以授權一個使用者隻能讀某個table的部分columns，并且可以要求該使用者隻能在某個時間範圍内、而且必須從指定的某些IP位址來進行通路。換句話說，一個企業主可以做到隻允許其員工在公司内、在正常上班時間才能通路資料，下班回家就不允許通路了。
3. 資料流控制
MaxCompute設計之初就是要滿足資料分享（或資料交換）的場景。是以，隻要有授權，使用者就可以非常友善的進行跨項目空間的資料通路。比如，在獲得相應的通路權限之後，項目空間A中的作業可以直接處理項目空間B中的資料，而不必事先将資料從項目空間B中複制到項目空間A。
資料保護有兩層含義，一是防止未授權的資料通路；二是防止獲得授權的使用者濫用資料。很多商用系統并不提供後一種資料安全保證。但在MaxCompute平台上，使用者的這種擔憂比較明顯：使用者希望能確定對自己的資料擁有控制權，而一旦授權他人讀取，他人就可能會做複制資料，那麼就相當于失去了對資料的控制權。
MaxCompute通過支援資料流控制來防止跨項目空間的資料複制。如果你想確定項目空間中的所有資料都不允許流出去，那麼你可以打開項目空間的資料流控設定。你還可以設定項目空間的資料保護政策，以限制哪些資料可以流出到哪些項目空間。
4. 使用者作業的隔離運作
MaxCompute支援使用者送出各種類型的作業（如SQL/XLib/MR）。為了確定不同使用者作業在運作時互不幹擾，MaxCompute将使用者作業的Worker程序運作在飛天 Container沙箱中。如果使用者作業含有Java代碼（比如UDF），那麼飛天Container沙箱中的Worker程序啟動JVM時，還會設定嚴格的Java 沙箱政策以限制UDF的運作時權限。
5. 作業運作時使用最小權限
最小權限原則是系統安全和容錯設計的一個基本指導原則，即讓每個任務在運作時使用剛好滿足需要（不多也不少）的權限來執行。
MaxCompute的作業運作過程一般是這樣：使用者送出的SQL/XLib/MR作業會被排程到某一計算叢集上運作，運作時每個作業一般對應一組并行跑的Worker程序，Worker程序一般會從資料叢集上讀資料、處理完成後最終會将資料寫回到資料叢集。舉個例子來了解MaxCompute是如何遵循最小權限原則的。我們假設使用者Alice被授權讀通路一個項目空間下t1和t2兩個table資料，但她送出的某個SQL隻需要讀t1的資料。在MaxCompute中，這個SQL對應的Worker程序在運作時就隻能讀t1對應的底層資料檔案，而不會有更多的資料通路權限。
MaxCompute最小權限是依賴于底層的飛天分布式作業系統提供的Kerberos認證和Capability通路控制來實作的。Kerberos認證用于解決飛天底層服務子產品之間的身份認證，Capability則用于解決底層服務子產品之間的通路控制技術。這與上層MaxCompute所提供的認證和通路控制是完全正交的安全機制，對MaxCompute使用者是完全透明的。
6. 資料通路審計
MaxCompute還提供精準的、細粒度的資料通路操作記錄，并會長期儲存。MaxCompute平台體系所依賴的功能服務子產品非常之多，我們可以把它稱之為底層服務棧。對于資料操作記錄來說，MaxCompute會收集服務棧上的所有操作記錄，從上層table/column級别的資料通路日志，一直到底層分布式檔案系統上的資料記錄檔。最底層分布式檔案系統上處理的每一次資料通路請求，也都能追溯到是最上層的哪個項目空間中的哪個使用者的哪個作業發起的資料通路。
有了服務棧上的各層操作審計之後，即使是内部攻擊者（工程師或滲透到内部系統中的黑客）想從内部（繞過MaxCompute服務）直接通路底層分布式檔案系統上的使用者資料的話，也一定是可以從記錄檔中被發現的。是以，通過資料通路審計，使用者就可以準确的知道他在MaxCompute上的資料是否存在未授權的資料通路。
7. 風險控制
除了不同層面的防禦機制之外，MaxCompute産品還會提供一套安全監控系統，用于監控使用者作業及使用者資料的安全活動，如AccessKey濫用，項目空間安全配置不當，使用者代碼運作時觸犯安全政策，以及使用者資料是否遭受異常通路等。
安全攻擊防不勝防，是以MaxCompute會通過安全監控手段來及時發現問題，一旦發現安全問題則會啟動相應的處理流程，盡可能将使用者損失降到最低。
結語：雖然沒有絕對的安全，但安全性在MaxCompute産品設計和實作中享有最高優先級。MaxCompute團隊已經彙聚了多領域的安全專家，以保障使用者資料安全。同時，我們歡迎更多安全專家的加入，共同增強MaxCompute的資料安全。
相關文章：
- 你的大資料安全麼？“Hadoop叢集遭遇勒索軟體攻擊 ”
- 【阿裡雲大資料産品MaxCompute】DT時代企業資料資産的護衛艦
- 可靠、安全、易用，阿裡雲數加大資料平台首批通過國家大資料标準檢測
- 阿裡雲成為全國首家雲等保試點示範平台 金融雲通過國家等保四級備案測評
- MaxCompute資料安全機制
- 還在用Hadoop麼？Hadoop伺服器造成5PB資料洩露，中國、美國受波及最大！
- 如何通過Dataworks禁止MaxCompute 子賬号跨Project通路
- 資料保護傘—為MaxCompute平台資料安全保駕護航
- 從單租戶IaaS到多租戶PaaS——金融級别大資料平台MaxCompute的多租戶隔離實踐
購買&試用MaxCompute，請掃二維碼加入釘釘群。
