天天看點

阿裡雲的水晶計劃1.打不開的資料黑盒2.從水晶計劃到透明廚房3.行至雲深處:可靠、可控、可見

2018年9月的一天,阿裡雲基礎産品首席架構師黃瑞瑞在跟H銀行客戶交流時,聽到了這樣的吐槽:“我上雲之後,看不到你們在雲上的資料操作過程,其他雲廠商我也看不到。雖然我會繼續用你們的産品,但我心裡不舒服。”

讓這位客戶不舒服的正是行業一大痛點:對于上雲企業來說,雲廠商對雲上資料的操作、運維過程完全是一個黑盒子。就像一台汽車,你能看到方向盤、底盤、座艙,但是看不到引擎到底是怎麼運作的。

這容易埋下隐患。随着資料被定義為數字時代的新型生産要素,從過去單純的“資料資訊”變成如今的“企業資産”,其重要性陡然提升。把自家的資料資産交給别人保管,而且看不到保管的過程,這讓人如何相信資料資産的安全?

這種疑惑并非個例,雲廠商隻好苦口婆心地向外界宣告公有雲是安全的。早在2015年7月,阿裡雲就釋出《資料保護倡議書》,明确表示絕對不碰客戶資料。之後,其他國内雲廠商跟進表示自己“不碰資料”。

但是,這更像是一種倡議而非機制,資料黑盒的行業通病并沒有從根本上得到解決。

直到今天,這一行業痛點迎來轉機。在10月19日的阿裡雲栖大會上,阿裡雲智能總裁張建鋒(花名:行癫)在主論壇的演講環節,重申了保護客戶資料安全是阿裡雲的第一原則。行癫在台上沒有提到的細節是,阿裡雲給出了對于資料黑盒的解決方案——透明廚房。

阿裡雲的水晶計劃1.打不開的資料黑盒2.從水晶計劃到透明廚房3.行至雲深處:可靠、可控、可見

透明廚房在阿裡雲内部有一個特殊的代号——水晶計劃,它與本次雲栖大會上釋出的第四代神龍架構,同屬2019年阿裡雲基礎産品的六大戰役。值得一提的是,放眼全球也隻有谷歌雲(Google Cloud)有類似的産品。

本文,「甲子光年」采訪了阿裡雲基礎産品首席架構師黃瑞瑞,來還原透明廚房的前世今生。

在資料安全受到前所未有的重視後,雲計算也走進深水區。透明廚房是阿裡雲的一小步,也是資料安全的一大步。

1.打不開的資料黑盒

在雲計算之前的IT服務時代,企業将資料儲存在自己的IDC(資料中心)機房中,運維人員的每一步操作都會生成相應的日志,來記錄整個操作過程。是以對于企業來說,這是一個白盒。

而資料黑盒是雲計算的副産品。

從IDC切換到雲服務之後,雲廠商除了提供計算、存儲這些基礎的資源外,還會提供智能托管的服務——也就是代運維。但是,就像把家裡的鑰匙完全交給裝修師傅一樣,雲廠商在雲平台上的操作過程并不能被客戶感覺。這對客戶來說,就形成了資料黑盒。

盡管雲廠商已經通過各種加密手段、第三方審計報告或合規證書來證明其資料的安全性,但黃瑞瑞認為“這隻是安全的及格線”。

黃瑞瑞告訴「甲子光年」:“客戶常常表示,我相信你們阿裡雲不會碰我的資料,但你們怎麼保證沒有員工頭腦發熱,或者誤操作?”

為了打消企業對資料安全的疑慮,過去雲廠商通常有兩種做法:

第一種是商業手段,将資料安全寫進合同。如果企業發現雲廠商對自己的資料做了手腳,那麼雲廠商要做出一定的賠償。

這是一個行業标準做法,但問題又回到了邏輯的原點。“既然你都不告訴客戶雲平台内部到底發生了什麼,他又怎麼能發現你動了他的資料呢?他發現不了。你寫在合同裡無非是表達一種承諾,讓客戶心裡好受一點罷了。”黃瑞瑞表示。這種方式治标不治本。

還有一種技術手段,将雲平台内部所有的運維API接口向客戶開放,把“鑰匙”還給業主,把黑盒再次變成白盒。

但是這種做法有點不切實際。負責着阿裡飛天雲平台總體架構設計,以及下一代雲平台底座技術架構設計、更新等工作的黃瑞瑞深知,把雲平台内部的接口全部對外開放是一種不負責任的行為。

站在客戶的角度看,很多客戶不具備敏感資料、API的管理能力,這樣做等于雲廠商将資料安全問題甩給沒有安全能力的客戶;站在雲廠商自己的角度,大量暴露API接口實際上擴大了黑客的攻擊面,此外權限收斂和配置設定是以也更加複雜,難以做到最小化授權。

從創立開始,阿裡雲就一直在思索這個問題的最佳解決方案應該是什麼。

他們最早的靈感來自一則牛奶廣告:牛奶廠商為了證明牛奶品質的可靠性,邀請很多家長、小朋友去牧場參觀從奶牛到牛奶的生産全流程,來切身感覺一杯牛奶的誕生。牛奶廠商要做的,就是消除消費者和企業的資訊差。

阿裡雲安全和産品團隊從這則廣告中獲得了啟發,雲服務的過程就像牛奶生産的過程,想要獲得客戶的信任,最好要讓客戶獲得全鍊路的感覺能力。但是這一想法一直沒有很好的落地契機。直到H銀行客戶在和阿裡雲溝通時,提到了它在海外給谷歌提出了一個需求,即在雲上系統中的内部操作,運維日志都要對客戶透明公開。

放眼全球,這稱得上是一個創新。黃瑞瑞認為,這對阿裡雲的高安全等級需求客戶(如金融類客戶)來說,也會是一個非常重要的需求。

要不要做這件事呢?與其說這是一個痛點,倒不如說是一個癢點。市場調研機構IDC釋出的市場佔有率報告顯示,2018年阿裡雲在國内的市場佔有率占比高達45.5%,牢牢占據第一位。即使不解決資料黑盒問題,阿裡雲的收入似乎也不會有影響。

但黃瑞瑞當時有一個更理想化的追求。他認為,首先這是客戶真真切切的需求;其次作為全球排名第三、國内第一的雲計算廠商,阿裡雲有義務為行業樹立一個标杆。

說幹就幹,在經過需求論證之後,阿裡雲将這一資料安全産品上升到戰略高度,定為2019年阿裡雲基礎産品的6大戰役之一,并起了一個代号——水晶計劃。

2.從水晶計劃到透明廚房

水晶計劃的過程則是一波三折。

最開始,阿裡雲安全和産品團隊把問題想得很簡單,雖然不能把API接口全部對外,但直接把運維日志給到客戶不就行了?

實際操作起來才發現,阿裡雲的内部運維日志是海量資料,大量的内部運維日志非但不能給客戶産生價值,反而變成了一種白噪音——客戶并不能從海量日志中分辨哪些東西對他是有用的。

同時,還有很多資料并非人為操作産生,而是機器自動産生。黃瑞瑞告訴「甲子光年」:“比如說機器監控到某個叢集水位高了,就會自動遷移到其他地方,這個過程本身是符合安全要求的,即使給到客戶也沒有多少參考價值。”

有時候大而全不是最優解,反而給客戶帶來負擔。阿裡雲需要小而美的解決方案。

最終,阿裡雲将對外公開的日志範圍縮小到人為記錄檔。這樣能保證客戶拿到資料之後,快速分析和判斷阿裡雲從業人員對客戶的資料執行了哪些操作。

理清思路後,接下來就是内部團隊的協調和開發。阿裡雲做的第一個産品,是針對OSS存儲(對象存儲服務)運維日志的透明化。OSS适合存放任意類型的檔案,包括文字、圖像、視訊等等,是以也是阿裡雲客戶使用最多的産品之一。

阿裡雲做了兩層“透明化”,第一層是日志的訂閱管理。

客戶可以通過訂閱的方式,在任何他想看的時刻來獲得阿裡雲内部的運維記錄檔,來擷取什麼人員因為什麼原因做了什麼操作。這是平台為了“自證清白”。

但如果将阿裡雲内部的運維日志不加處理交給客戶,有時候是沒有意義的。因為這些日志,隻有在内部運維系統的上下文中才有意義。是以要提取有效資訊,并将其翻譯成客戶能看懂的示例。此外,阿裡雲要保證資料脫敏,不能在保護客戶資料的初心下反而造成雲廠商資料隐私的洩露。

第二層“透明化”,是在第一層的基礎上再加一層保險箱,稱為客戶工單的授權管理。

黃瑞瑞告訴「甲子光年」,當客戶發起工單,平台會追加一個子項目,在從業人員操作之前向客戶申請授權,“工單是工單,授權是授權,如果隻有工單沒有授權,我們是不會進行任何操作的”。

這樣,阿裡雲不僅要打通工單系統,還要打通授權系統。盡管這增大了工作量,但能夠讓客戶買的安全,用的放心。

阿裡雲将這個産品的理念描述為“透明廚房”。顧名思義,阿裡雲将雲服務比作去餐廳吃飯,過去人們看不到菜品的烹饪過程。而在透明的廚房,人們可以像在家裡做飯一樣,看到每個菜的烹饪細節。

2019年下半年,經過一個6人小組以及存儲産品團隊小夥伴們半年多的努力,針對OSS存儲的“透明廚房”終于落地了。在推向市場的時候,阿裡雲卻同時得到了一個好消息和一個壞消息。好消息是,客戶對此産品的評價是“有幫助”,壞消息是“幫助不大”。

原因也很簡單,企業不僅僅用阿裡雲OSS存儲這一個産品,也用了資料庫、雲盤、大戶資料分析等等産品,隻保證OSS存儲這“一道菜”的透明化遠遠不夠,必須擴大到“滿漢全席”。

如果說OSS存儲是透明廚房從零到一的探索性産品,接下來的兩年,透明廚房團隊做的事情就是從一到十的規模性擴大。如今,透明廚房已經适配了包括資料庫、雲盤在内的超過十款阿裡雲主流産品,并延伸到了線上賬号管理系統和權限管理系統,以及密鑰管理系統。

有一個金融客戶讓黃瑞瑞印象深刻。在聽說阿裡雲研發了透明廚房之後,該金融客戶打電話給黃瑞瑞說,他們正在内部審計,比較着急,“如果送出工單之後能第一時間看到阿裡雲的運維日志,不管需要多少錢,我馬上就買”。黃瑞瑞則告訴對方:“日志可以馬上給,但是不要錢,這是免費的産品。”

對此,黃瑞瑞向「甲子光年」解釋:“透明廚房沒有商業化的計劃。我們認為資料安全是阿裡雲應該提供的基礎服務而非增值服務。”

後來,黃瑞瑞收到了審計部門對于透明廚房的回報,隻有簡單一句話:“做的不錯,這是一個新的可審計資料集,符合可審計的需求。”

這給了透明廚房團隊很大的鼓勵。

3.行至雲深處:可靠、可控、可見

在資料安全之下,如今雲計算的發展正呈現出兩個趨勢。

第一是針對資料安全生命周期建立全鍊路保護機制。

資料的全生命周期一般為6個階段,包括資料采集、資料傳輸、資料計算、資料交換、資料存儲到資料銷毀。黃瑞瑞告訴「甲子光年」,幾年前雲廠商的宣傳大多停留在單點保護,而實際上客戶需要的是全流程全周期的保護。

透明廚房不針對某一階段,而是貫穿資料全流程的産品。不過現在,透明廚房相對側重在企業更常用的資料計算、資料傳輸和資料存儲,來記錄資料是否被觸碰或修改。

基于6個階段和1個全流程産品,阿裡雲将其資料安全能力總結為三個詞:可靠、可控與可見,三者螺旋交替,互為補充。

可靠性,是指阿裡雲建立的全鍊路資料保護機制。雲上資料的6個關鍵階段都需要不同的安全能力,這依賴于阿裡雲高安全等級的基礎設施産品。

每年的雲栖大會也是阿裡雲基礎産品的集中釋出會。今年,阿裡雲釋出了自研CPU倚天710、磐久伺服器、第四代神龍架構等基礎産品。比如,通過自研的神龍雲伺服器,阿裡雲能提供“晶片級”加密安全環境,隻有使用者才能看到并使用自己的資料。

可控性,是指阿裡雲把資料控制權交給使用者所有。這裡的資料控制權,主要指資料“密鑰”。

企業的資料明文通過加密算法加密後就會變成資料密文。無論國際還是國内,都對加密算法有嚴格的合規标準,就像一個資料保險箱,打開保險箱的唯一方式就是拿到保險箱的鑰匙,即“密鑰”。

阿裡雲做的就是把加密算法的密鑰,完全給到使用者。目前阿裡雲上40餘款産品支援全鍊路加密能力,和在适用場景下的自選密鑰能力,讓使用者對資料的調用和讀取具有完全的控制權。

阿裡雲的水晶計劃1.打不開的資料黑盒2.從水晶計劃到透明廚房3.行至雲深處:可靠、可控、可見

最後是可見性,即透明廚房。

阿裡雲目前已經實作雲平台内部操作完整記錄,并通過了第三方權威審計公司的嚴苛審計,審計期間會做大規模随機抽樣,可驗證阿裡雲是否遵循嚴格的安全控制措施。目前,阿裡雲幾乎已經拿到了安全合規領域的“全滿貫”資質。

阿裡雲的水晶計劃1.打不開的資料黑盒2.從水晶計劃到透明廚房3.行至雲深處:可靠、可控、可見

第二個變化趨勢是黃瑞瑞從客戶側感受到的——客戶越來越懂行業了。

過去客戶會糾結于上不上雲,現在這已不成為問題了。早在2019年Veritas(資料管理公司)對1654名來自世界各地的雲架構師和管理人員做了調研,80%的中國受訪者表示“他們希望将大部分甚至全部的應用程式放至公有雲架構中”。

同時,客戶的專業性也越來越高。黃瑞瑞提到:“我們其實很早就在做全鍊路加密和自選密鑰的雲産品功能了,但是一直到最近的一年多客戶的需求才呈現井噴式增長。很多客戶開始問我們密鑰的控制權能不能交給他們,放在過去如果我們不提,可能很多人都不知道有自選密鑰這回事。”

黃瑞瑞認為,雲廠商與客戶各進一步,是這個行業正在走向成熟的一個标志。

今年的雲栖大會上,行癫的演講主題是“雲深處,新世界”。行至雲深處,這是雲計算發展的一個縮影,而保護資料安全始終是第一原則,就像“水晶計劃”名字所希望的那樣,透明而堅固。

END.