天天看點

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

在上周舉辦的2016 AWS re:invent上,AWS副總裁兼傑出工程師James Hamilton首次對外界大量披露了AWS亞馬遜雲的基礎設施建設及工程化細節,其中有大量資料也是首次對外釋出。小編特别聽譯了James的這部分演講,同時把他的全套PPT拍下來,供粉絲們收藏!

以下為James Hamilton演講翻譯:

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

首先看一下這個數字:如今的AWS亞馬遜雲在全球部署的伺服器資料,相當于每天都能支援一個2005年的亞馬遜網站,而在那時亞馬遜網站還是一個84.9億美元的企業。

是以,僅看到這個數字,你就可以先把那些所謂創新放到一邊,而考慮如何把龐大的零部件制造出來,再運送到伺服器廠商那裡,伺服器廠商再把這些零部件組裝起來,通過測試後再打包發給供應鍊上的運貨公司,運貨公司再把這些伺服器運送到相應的資料中心裡,而資料中心則需要相應的電源供應、機架供應、網絡供應等,技術人員再把這些伺服器安裝起來,然後第二天再同樣流程再來一遍。

就在幾年,在亞馬遜一想到這樣體量的硬體安裝與部署,就相當于是一個登月工程,幾乎在當時是無法想象的。今天,AWS的伺服器容量可以每天都裝下一個财富500強公司伺服器容量。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

彈性是新常态(Elastic is the new norm)。亞馬遜技術團隊根據2015年到2016年亞馬遜在頂峰時伺服器用量而繪制了一張簡單的示意圖,圖中顯示在2016年頂峰時期亞馬遜啟用了數十萬台虛拟伺服器,而當頂峰時期過後又把這些虛拟伺服器收回,這就是彈性計算。正因為有了這樣規模和能力的彈性計算,全球的企業才能基于雲服務而創造新的業務營收、實驗新的業務想法、快速加大對可行新業務的計算資源投入等等,而這一切都在極為低廉的成本下實作。

數十萬台伺服器是一個什麼樣的概念?它相當于一個中等規模的資料中心。是以前述過程相當于在很短時間裡建立一個中等規模的資料中心,使用幾周後再撤銷這個資料中心。而對于企業來說,如果按照頂峰時期的需求規模來建自有資料中心,相當于過度供應了伺服器容量。因為企業自建資料中心有一個周期,這裡面有複雜的采購、調試、安裝和上線的過程,而且成本可能達到2億美金。于是,一個2億美元的資料中心自建成後的大部分時間都是閑置的,隻有頂峰時才可能用上所有的伺服器資源。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS目前在全球有14個資料中心區域,2017年還将增加4個,到時就将有18個資料中心區域。此外,AWS目前在全球有68個CloudFront PoP(Point of Presence,小編認為可以了解為68個具體資料中心位置分布在全球)。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

那麼,AWS在全球有自己的雲基礎設施嗎?或是大家通常了解的私有雲部署?可以了解為,AWS在全球部署了龐大的自有基礎設施資源,而且全部由AWS自己管理。而不是像其它雲服務商那樣在全球找了很多節點的供應商,再通過管理複雜的供應商網絡來傳遞一個統一的雲服務。因為不同的供應商都有各自的系統、标準、流程等等,想要管理這樣一個複雜的全球網絡而同時為企業傳遞一緻的使用者體驗,難度之大可想而之。

AWS則不一樣,因為全都是自己的資源,再統一管理、統一營運和統一傳遞,整體效率、品質和使用者體驗都要好很多。這樣就避免了不同供應商之間複雜的合同談判,而且很多情況下供應商都會試圖對自己的資源進行管控以達到各自最大化的商業利益。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS在全球部署了100GB高速以太網,在所有的資料中心區域都是100GB網絡,同時還有更多并行的100GB級網絡用于輔助資料傳輸。這樣整體部署的網絡成本相當之高,可以說是不惜血本,但從保證網絡品質來說卻是最正确的做法。這些網絡有自建的、有租用的、有經過海底的暗光纖(Dark Fiber)等,總體由AWS營運管理以確定網絡服務品質。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

以夏威夷跨太平洋光纖線纜為例,這是AWS的最新網絡工程。該工程預計将建成長達14000公裡的海底線纜以連接配接紐西蘭、澳洲、夏威夷和俄勒崗等地,最深處為海平面以下6000米,該項目于2016年11月底動工。這裡面有很多巨大的工程挑戰,比如信噪比(SNR)就是一個問題,這就需要在海底每60-80公裡部署信号中繼器,這些中繼器都需要電力供應,而且要在20年内都無人維修。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

衆所周知,光纖線纜裡有大量的銅包裝材料,這些銅包裝材料裹住了最裡面的光纖,而這些銅制材料需要在大量中繼器間不間斷傳輸電流以中繼信号,怎麼做才是最佳成本效益方式?一種方式是需要大量的電力導體,另一種方式是傳送電壓。實際上,在地面上的長距離電力傳送也使用了同樣的技巧。AWS即将部署的海底線纜的每個中繼節點裡,都含有兩個非常小的導體以傳送高壓直流電,相應電壓在正負1萬伏之間。一旦其中一個導體因為某種原因而無法正常工作,比如低壓端的導體失效的話,可以把高壓端的導體電壓提升到2萬伏,然後使用海水作為備用“線纜”,這樣可以同樣保持電壓差而不影響線纜工作直到修複完成。

此外,該夏威夷光纜工程在每對光纖上通過100個光波傳送100GB資料,可以在同一光纖上運作多個光波,這樣就可用6個光纖傳送30TB資料。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

再來看AWS的實際資料中心區域。每個資料中心區域都至少有兩個可用區域(AZ,Available Zone),而一個AZ可用區域即意味着一個獨立的大樓。實際上,大部分AWS資料中心區域都有三個AZ,建立的資料中心區域都配備了三個AZ。每個資料中心區域還有兩個傳送中心(Transit Center),兩個傳送中心互為備援,它們的任務是為所屬資料中心區域和外部提供連接配接和交換功能。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

于是,在每個可用區域内部需要建立互連光纖,在不同可用區域之間需要建立互連光纖,在不同傳送中心之間還要建立光線連接配接,是以在每個資料中心區域至少要建立126段光纖連接配接,包括242,472股光纖,AWS也是首家在資料中心區域部署3456高光芯線纜的雲服務商。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

再細看每一個可用區域。每一個可用區域至少有一個資料中心,有的可用區域容納了8個資料中心,在可用區域内有大量備援網絡,有的可用區域的伺服器數量高達30萬台規模。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

每一個資料中心的規模是每5萬到8萬台伺服器,相應需要25-32兆瓦的電力,如今AWS的很多資料中心都是32兆瓦的規模。大型資料中心的好處在于成本的規模效應,但規模過大後又會帶來災備的難度,是以AWS目前選擇是25-32兆瓦的規模。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

在網絡硬體裝置方面,AWS為了避免在傳統網絡硬體裝置的高額投資,而定制研發了自己的路由器,其中包括AWS自行開發的網絡交換協定等。而定制研發網絡硬體裝置的最大好處,其實還是網絡的穩定性。傳統網絡硬體裝置供應商往往要向硬體裝置裡增加很多複雜的進階功能以提高産品的銷售價格,但這樣做的問題在于加大了網絡硬體裝置的管理難度,甚至達到不可管理的程度。而AWS定制開發的網絡路由器則大幅簡化了裝置複雜性,相應極大提升了裝置的可靠性。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS定制開發的路由器為25GB帶寬,而業界标準不是10GB就是40GB,為什麼?一個光波可載10GB資料(小編注:這裡指的應該是陸上光纜),40GB就是4個光波,成本是10GB的4倍。而一個光波也可以載25GB資料,成本相對10GB略高一些,但幾乎價格差不多。于是,兩個光波就是50GB帶寬,但成本相對于40GB帶寬來說,卻低了很多。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS還在Broadcom Tomahawk ASIC晶片基礎上定制了自己的網絡路由器內建電路ASIC,該ASIC內建電路晶片有70億個半導體,128個接口提供25GB帶寬。而AWS選擇這款ASIC晶片的原因還在于其生态系統,很多供應商都提供支援這款晶片設計的生産制造,其中包括Cavium、Mellanox、Broadcom、Innovium、Barefoot和Marvell等。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

在軟體定義網絡方面,AWS自EC2開始就采用了軟體定義網絡SDN。2012年開始,AWS把網絡通信中的重複性工作轉換到定制的10GB網絡集線器(NIC)上完成,以及基于AWS軟體的定制處理器。而把重複性網絡通信工作從伺服器上解除安裝到網絡硬體裝置的好處,還在于大幅降低的網絡時延,網絡時延從毫秒級進入到了納秒級甚至微秒級。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

除了定制路由器等網絡硬體裝置外,AWS還開發自己的半導體晶片。對,你知道AWS也在半導體行業嗎?Amazon Annapurna ASIC晶片是第二代高性能網絡晶片,内含數十億半導體,由AWS主導該晶片的矽片、軟體和硬體設計,并按照AWS的創新速度進行研發。(小編注:實際上亞馬遜在2015年1月以3.7億左右美元的價格收購了以色列半導體公司Annapurna Labs,就是為自己研發制造半導體晶片。)如今,每一個AWS伺服器裡都有至少一個這樣的晶片。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS在資料中心硬體方面的創新還包括定制的成套配電櫃,主要是修正了電櫃的firmware固件,以避免類似2013年Super Bowl停電事故。在那次事故中,一個檢測元件發現了電流異常,于是按預先設定的流程切斷了電力供應,進而導緻2013年Super Bowl長達半個小時的停電事件。AWS在保障資料中心的電力供應方面還進行了多種創新,以確定能安然渡過類似2013年Super Bowl式的黑天鵝事件。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

在定制儲存設備方面,2014年AWS介紹了一個機架中880個磁盤的定制儲存設備,接下來AWS在一個42U機櫃中裝入了1100個磁盤,當時的容量為8.8PB,而如果按照今天的磁盤規格就相當于11PB的資料。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!

在定制計算伺服器方面,AWS定制的1RU伺服器裡空了一半的空間,用于電力及散熱。AWS發現由于散熱及電力損耗,伺服器的密度與工作效率并不比對。而在AWS定制的伺服器設計裡,電源裝置元件PSU及電壓調節VRD的效率都大于90%。是以,AWS資料中心的PUE水準在1.12-1.15之間。

AWS亞馬遜雲内部大揭秘,全套PPT收藏!
AWS亞馬遜雲内部大揭秘,全套PPT收藏!
AWS亞馬遜雲内部大揭秘,全套PPT收藏!
AWS亞馬遜雲内部大揭秘,全套PPT收藏!

AWS承諾100%綠色可循環能源。2015年4月AWS達到25%的水準,現在達到了40%的水準,2016年底将達到45%的水準,2017年底将達50%的水準。AWS總共将把907兆瓦的新可循環能源帶到線上,每年實作260萬兆瓦小時的可循環能源。