天天看點

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

對于企業來說,但是到底雲計算是什麼呢?相信很多企業都有這樣的困惑,讓我們一起回到這個原始的起點探讨究竟什麼是雲計算?雲計算對于企業而言到底意味什麼?

當回到最初的起點再審視雲計算的發展路徑,可以發現,經過十餘年的發展演進,雲計算有三條發展路徑,并且最終沉澱下來了三種落地形态。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

<b>第一條路</b>:源自于谷歌對大規模資料的處理,谷歌為全球的網際網路使用者提供同一個服務——搜尋,它需要将全世界所有的網站的資料都爬回去,然後做排序和索引,之後再為使用者提供搜尋服務。可以看到這樣的工作需要對海量資料進行處理,谷歌需要把上百萬台的伺服器整合起來去做排序,索引和查詢。

<b>第二條路</b>:淘寶則發展出來雲計算的另一條路徑,這條路與谷歌的相比有類似之處,同樣需要把很多資料整合起來做一件事情。在我看來,淘寶所做的事情比谷歌更偉大一點,因為淘寶做的事情是交易。承載6億使用者線上通路和下單支付,這件事情比簡單提供一個不能保證這次查詢和下次查詢結果的差異的查詢要更加困難,也更加偉大。因為這是有極其嚴格的業務要求的,雖然在規模上而言淘寶可能用不了像谷歌那樣多達百萬台的機器,但是這也是一個聚沙成塔的過程,把衆多的廉價的伺服器整合起來去做一件事情,這就是雲計算的第二條路徑。

<b>第三條路</b>:這條路徑的發展是源于在過去的十幾年間企業内部在硬體方面進行的大量的投資造成的大量賦閑伺服器資源。對于企業内部的使場景而言,往往僅有幾千或者幾萬個使用者,即便是大型的國有企業擁有有上百萬使用者,也就僅此而已。和動辄上千萬,上億的網際網路使用者相比,企業投入大量的it資源特别是硬體資源的情況下,服務的客戶數過少,顯然造成伺服器資源的賦閑。面對由此造成的資源使用率低的情況,帶來的挑戰就是如何更多更好地去利用這些賦閑資源。虛拟化技術,最早是ibm在小型機上或者大型機上就實作了,通過虛拟化或者分區技術,可以來解決資源使用率低的問題,虛拟化的技術後來被vmware發揚光大,在x86的平台上進行了廣泛傳播應用,第三條路徑其實是就是虛拟化的過程。

雲計算經過發展最終沉澱下來的這些技術,對于企業,甚至對于任何一個開展的業務而言,都必不可少的。既需要有效利用資源,将規模從小變大;也需要面向客戶和業務做線上并且有業務品質保證的交易,同時也需要對資料進行大規模處理,進而産生對資料的洞察來支援業務的智能化。

真正能做到這樣的集大成者,實際上是我們現在看到的網際網路架構的雲提供商,比如aws和阿裡雲。而另外一些模式産生出來的雲計算提供商,因為它們沒有這些強大的業務需求推動而産生的技術沉澱,是以很難把這個能力集合在一起。比如面向企業的商用軟體vmware,雖然其能夠提供虛拟化,但是對于運作在其上的分布式應用,以及對大資料的處理就顯得比較薄弱。而開源世界則通過軟體方式的互動,看起來能夠擁有這樣的能力,比如通過hadoop可以做大資料,通過openstack可以做虛拟化,但是我們可以看到這兩者是實際上存在天然的割裂,無論是在硬體的共享還是在管理層面的融合,以及在業務層面的互相支撐都存在鴻溝。

再回過頭來看,企業在上雲的過程中會遇到一些挑戰,企業需要面對非常複雜的雲計算路徑。面對這麼多的雲計算形态,企業在上雲時會遇到困惑:到底該怎麼考慮自己的雲計算?

阿裡在和很多企業溝通并且幫助他們進行雲計算轉型的過程中,認識到了企業上雲面臨的最大的三個問題:

<b></b>

第一,陷入虛拟化的誤區:将虛拟化等同于雲計算,沿着虛拟化的這條路走到黑。

<b>第二,缺乏資料中心全局方案</b>:在小規模的應用場景下,進行簡單的虛拟化還是可行的,但是當雲變成了企業的公共資産,變成一個平台的時候,就需要從大規模的角度甚至從資料中心整體的角度考慮,不光要考慮硬體的安裝部署,還要考慮後續的維護和統籌部署,安全問題以及業務快速響應問題。由于缺乏全局方案,是以資料中心變得非常棘手。

<b>第三,難以全面擁抱公共雲</b>:由于中國的很多政策,以及很多企業的傳統習慣,還有很多投資方面的資産會限制企業一步到位地去擁抱公共雲,很多時候企業希望在自己内部有一朵雲,幫助企業既能夠享受網際網路技術帶來的業務升華,同時又能避免一些政策的影響以及資料安全的限制。這些問題是真實存在的,比如說虛拟化這件事情,未來的業務場景會是網際網路化甚至移動網際網路化的,我們不得不把自己開放出來,去迎接更多使用者的通路。隻有與更多客戶發生直接的關聯,才能夠産生對客戶的洞察,這時大規模的通路以及大規模線上交易将成為必然。另一方面制造業裝置,運輸業的交通裝置和其他電子裝置等都在更新改造成為智能裝置,這些裝置之是以智能的前提條件就是它能夠将資料送回來,讓我們加以利用,這就構成了另外一個次元的大規模,這就是網際網路的連接配接的大規模和物聯網資訊處理的排程大規模。

對于第三件事情,還有重要的一點是:當客戶的行為資料和産品産生的資料都回到我們手中的時候,應該如何去使用這些資料?我們需要使用它們産生智能來指導業務,比如淘寶體系内,對于6億使用者,100億商品,依靠傳統方式手工去推薦基本上是一個不可能的事情,隻能依靠人工智能對資料的挖掘,靠商業的智能在100億商品和6億客戶中做推薦。雙十一900多億的營收,有300多億的超總營收三分之一是來源于智能推薦,這也導緻一個3萬人的企業産生了3萬億的這樣龐大的經濟規模。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

未來企業做大規模雲計算的時候,會遇到一個很大的障礙就來源于資料中心。在傳統企業中建構資料中心往往采取使用複雜的硬體做內建的方式。這些異構的硬體産品在小規模的單系統情況下,耗費一些時間去內建運維,系統所提供的可靠性保證還算是可以的。但是如果将全公司成百上千個業務都運作在同一個系統上面的時候,靠簡單硬體的高可用已經不足以承載,因為在5000台機器的規模下,每天都有超過10台硬碟的損壞,以這樣維修的機率,如果不以軟體的方式和智能化的方式加以解決,完全靠硬體的內建方式,是無以為繼的。

更可怕的是對于這樣一個複雜的內建工程,從采購到建設,将會經曆一個漫長的的周期。這樣做雲計算反而制約應用的發展,因為過去一個系統采購一套裝置,還是等得起的事情,但是當幾千個應用都需要等待這個雲平台的建設來開通的時候就是個等不起的事情了。

安全同樣也是,政策法規、資訊安全的一些隐患、現有系統的投資等等問題,都導緻企業不可能一步就走到公共雲上去。在這樣的情況下,企業要解決這些困惑,要上雲該怎麼辦呢?

阿裡巴巴作為一個企業,我們也親身經曆過這樣的過程,而也把這個過程獲得的收獲總結成公共雲,并且服務了衆多的小微企業。現在我們也嘗試用混合雲的方式服務大型企業。阿裡雲是怎樣發揮自己的特長去幫助企業的呢?阿裡雲能幫助企業解決剛才提到的一個比較嚴重的上雲障礙。可以用數字來證明我們真正做到了,雙十一是對我們業務的強大的挑戰,但對于技術而言,雙十一也是孵化新技術良好的土壤。通過3億使用者同時線上,每秒産生14萬筆訂單,進行8萬多筆支付交易的強事務處理的場景,以及每天要消化掉200pb的資料,産生對于客戶的洞察,進而使智能化營銷和智能化推薦形成閉環。

我們孵化出來了以淘寶體系為核心的分布式架構,也孵化出來了類似于谷歌那樣的大資料處理的平台。這些都是從經曆十多年的艱苦卓絕的鬥争中積累下來的。

2003年開始的時候,淘寶隻是一個非常簡單的網站,一個現在大家都可以做的lamp架構的網站。但是到現在已經經曆了5個階段,通過不斷解耦,通過分布式架構的1.0,2.0,3.0這樣的逐漸演進,我們已經能夠做到把交易,消息以及資料庫都完全做成分布式的。也就說在資料層面,應用層面,進入方面和查詢方向,全都以分布式的結構來搭建系統,使得整個系統不存在性能以及擴充的瓶頸。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

我們的架構總結下來是這樣的,全分布式的體系,通路層,應用層和資料層都是分布式的,這使得核心系統也是分布式的。為應對大規模的挑戰,我們在前端通過cdn把内容緩存在離客戶最近的地方來提高客戶體驗。在2015年的時候,我們将這個架構變為産品,讓任何一個企業,哪怕是小微企業也可以建構像淘寶一樣強大線上交易系統,幫助這些企業在做“網際網路+”轉型以及業務轉型的時候獲得最大的技術基礎。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

能夠把雲計算的三個方向整合到一起的另外一個方向就是大資料的處理。阿裡雲的大資料處理也是經過了從2009年到2013年這五年的孵化,在2009年的時候,我們還是亞洲最大的oracle叢集,但是還是已經無法承載飛速發展的業務。

于是我們選擇了3條分支路徑去探索後面的路,第一條路徑是用商業的greenplum來替代分析型資料運算;第二條路是因為擔心greenplum不靠譜,我們也使用hadoop做類似的事情。第三件事情,就是啟動了飛天作業系統的研發,目标是打造一個屬于自己的大資料平台。中間的曆程非常坎坷,到2010年的時候,greenplum這條路因為規模和可用性的問題以及計算準确性問題被放棄,2013年的時候,hadoop平台也因為資料中心規模擴充不上去和安全管理以及權限管理和資源管理等一系列問題,最後不得不放棄這套體系。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

最終我們使用自主研發的飛天作業系統将五千台機器整合到一個大平台,用飛天作業系統能夠分布式的部署到異地的多個機房的能力實作了大資料計算和存儲能力。飛天作業系統幫我們真正實作了夢想:把三個雲計算方向整合起來,提供通用的計算能力,提供一種足夠便宜足夠強大的計算能力。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

通過使用安裝了linux系統的五千台相同的計算機,通過飛天的分布式檔案系統,整合成為一個分布式系統,開通了三類服務。

<b>第一類服務</b>:彈性計算,就是應對虛拟化的服務,但是它不隻虛拟化,彈性計算可以做計算虛拟化,存儲虛拟化,可以提供更加強大的計算環境;

<b>第二類服務</b>:提供淘寶這樣強大的分布式應用中間件來幫助企業打造分布式應用;

<b>第三類服務</b>:大資料處理和資料智能的這些業務,這些業務都是依賴于我們的大資料處理能力進行的。

通過飛天系統成功地将三種雲計算以及雲計算路線整合到一個平台當中,有了這個平台的支援,才使得整個企業的智能化得到了長足的發展。在智能化發展過程中,我們基于這些計算能力,逐漸地壘高了技術和模型的儲備以及對資料應用的儲備,一層一層地從分析工具到應用引擎再到解決方案,支撐了阿裡巴巴整個智能化的人力資源,智能化的安全管理,智能的物流客服以及智能化推薦,這些也支援阿裡巴巴整個集團業務不斷前進和發展。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

在這個的過程中,阿裡巴巴作為一個網際網路公司,在快速發展業務的同時也在遭受世界上最多的網際網路攻擊。真正的統計資料是,我們每天會防禦2億次暴力破解,2000萬次web入侵,超過1000次ddos拒攻擊,在這樣惡劣的環境下,我們用10年的時間産生出一整套安全體系和服務産品。這個産品從感覺态勢就可以知道,哪些壞人,哪些惡意的行為在哪裡發生,以及他們用了什麼樣的伺服器,誰是主要,對我們在進行什麼樣的探索行為,背後的人是誰,他的身份證号碼是多少,這些東西,我們都通過感覺的基礎之上進行捕獲。基于感覺的基礎就可以做到知己知彼,才可以百戰百勝,戰勝敵人的同時對自己進行保護。我們的産品服務有網絡層面的保護,也有伺服器主機層面的保護,更多的會上升到業務層面的保護以及對于資料的防護。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

舉個态勢感覺的一個例子,雙十一當天,有很多機構和競争對手在對我們發起攻擊。這些攻擊行為來自世界各地,來自機器和人。通過對其進行追溯,我們建構出了一套以大資料為核心的安全體系,圍繞着網絡,應用資料,形成了各個次元的全鍊路的閉環式的關聯安全體系。

這套安全體系,不僅在保護着我們自己,同時也在保護阿裡雲上100多萬的企業使用者,幫助他們修複每天6000多次的高危風險,阻礙1000多次ddos攻擊,攔截2000萬次的web滲入和2億次主機暴力破解,為阿裡雲百萬客戶保駕護航。

對于從使用者提供的服務中沉澱下來的能力,用一句話總結就是:軟體定義資料中心。在如此大規模的情景下,我們沒有辦法靠傳統方式去堆疊硬體,去做內建和做分段維護,我們必須要有新的方式:基于最簡單最普通最标準化的硬體建構底層,然後用飛天作業系統将幾千台機器整合成一台機器,在其上為大家提供軟體定義存儲的服務。客戶需要對象存儲,阿裡雲就提供對象存儲,無論如何一定會解決客戶的存儲問題。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

軟體定義網絡的服務,需要安全網絡vpc,需要負載均衡和高速通道,阿裡雲都可以幫使用者提供,不需要客戶去獨自支撐這樣的服務,也不需要客戶再去手工操作。之後再将安全包括剛才提到強大的雲盾,安騎士态勢感覺作為一個防護體部署在資料中心之上。

有了這樣的軟體定義存儲,網絡和安全之後才算是提供了真正的彈性計算。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

有了阿裡雲自主研發的這些技術優勢,才能夠支撐我們在全球快速地部署雲計算業務,并且快速穩定地營運雲計算業務。因為這些特點,阿裡在公共雲上有了很大的突破,海量使用者和應用都承載在我們雲服務的資産之上,使用了彈性計算,中間件,大資料的存儲計算,智能化的應用開發的能力以及安全和監控雲服務。

考慮到國内的一些實際情況,一些企事業機關上雲遇到了很多痛苦和困難,我們就把軟體定義資料中心,大資料計算的能力和分布式應用的能力作為一個“三位一體”的解決方案,通過專有雲的形式,部署到企事業機關的體系内,幫助企業機關去享受網際網路技術帶來的賦能。同時也解決企業不能使用公有雲的困惑,進一步我們發現企業還是需要“網際網路+”的,這時候我們就以混合雲的方式解決問題。企業内部在成員企業和總部内部署自己專有雲,作為自己集中化演進的過程,通過阿裡公共雲的vpc資源與專有雲進行打通,為企業提供快速解除“網際網路+”的通道,這樣的方式稱為混合雲。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

混合雲有很多實際的落地實作,舉個例子:中國石化在自己機房内建設了一個私有雲,同時在阿裡雲公共區域也申請了幾百台虛拟資源,彈性計算資源和分布式架構資源,它的公共雲承載了面向客戶的電商業務以及對外其他業務,在專有雲上承載了智能物流,智能煉廠,智能油田,大資料安全以及企業内部安全的一些應用。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

這一套體系中,應對未來物聯網飛速也有一個專門的參考架構:實時的資料上報,将資料快速的沉澱到阿裡雲的離線計算平台當中,總結出預測性的模型,在實時的流量計算服務單元裡面加載,進而幫助我們進行實時的智能判斷,然後同時通過資料存儲單元和資料轉換單元實作智能化和圖形化的應用。

這裡的一個應用例子:威派格智慧供水業務,它實作了tb級的裝置時序資料在日常監控,曆史情況回溯,和時名額統計,我們的架構應用于在這個企業所管理水房,泵房以及裝置的故障規則預警與智能故障預測等多個應用場景。

詳解:從Greenplum、Hadoop到現在的阿裡大資料技術

基于整個大資料平台之上,未來的發展方向是人工智能。智能上一些新的技術往往從娛樂方面開始的,阿裡雲也在娛樂端做了一些人工智能的嘗試,阿裡雲小ai在歌王挑戰中準确預測到了前三名選手的順位,幫助我們證明了在阿裡星球強大的資料支撐下,用500萬首歌曲訓練後得到的強大預測能力。隻有強大的計算能力支援才能開展人工智能這個防線的探索,而這隻是開始,阿裡雲未來将會針對各行各業開展人工智能的應用。

本文根據阿裡雲技術專家<b>宋傑</b>在5月17日舉辦的2016雲栖大會·武漢峰會上演講整理而成。

繼續閱讀