天天看點

把舊資料“冷凍”起來,Facebook這是在幹嗎?

當有人提到“可持續發展”這個詞語的時候,第一個出現在你腦海裡的肯定不會是資料中心。而實際上,這些有着龐大的計算機組、網絡架構以及儲存設備的大樓卻是典型的耗電大戶。原因就在于,為了保障這些裝置正常運轉,必須要有一個巨型的冷卻系統來保證其一直在低溫狀态下運作。它們的配電系統會在這一制冷過程中損失近千瓦的電力。并且,為了保障裝置不受突發狀況導緻的停電所影響,這些大廈往往還需要配備有備用電池和柴油發電機。而很明顯,這兩者并不是什麼清潔能源,會嚴重影響周圍的環境。

把舊資料“冷凍”起來,Facebook這是在幹嗎?

所有這一切都開始于8年前,當時facebook正在着手設計其位于prineville的第一個資料中心。facebook自那時開始,就已經聘用了專門負責可持續發展的董事bill weihl,他直接對facebook的環保工作負責。在此期間,facebook已經做了很長時間的實驗,來研究如何設計建立用可持續能源來供電的綠色資料中心。

如今,facebook的資料庫中有數十億的圖檔,而你肯定無法想像為了存儲這些圖檔将會消耗掉多少電力。在2013年,facebook的圖檔存儲系統haystack一共産生了1eb的資料流量。(1eb=1024pb;1pb=1024tb;1tb=1024gb)這個數字是非常驚人的。雖然這些圖檔在大多數情況下在被分享幾周之後就很少再會被檢視了,但是facebook仍然需要儲存他們,而且必須要確定即使是在硬碟出現故障的情況下也要保障圖檔檔案的完整性。

這就意味着facebook需要在資料中心儲存大量的資料,為了保證這一點就需要其提供大量的電力。而facebook的工程師則巧妙的利用了“負瓦特”,開發了一個名叫"cold storage"的系統。cold storage能夠允許facebook資料中心内超過一半的磁盤在任何時候關機,進而實作大幅降低功耗。現在,facebook的存儲團隊正在考慮進一步節約能源,比如将老舊的圖像拷入藍光磁盤内。

把舊資料“冷凍”起來,Facebook這是在幹嗎?

目前facebook已經在prineville及 forest 兩個中心建設了兩套cold storage系統。cold storage系統的每個伺服器機櫃可容納1.92 pb的資料。是以,在完全架設完畢的情況下,每一個資料中心可以存儲1eb的資料。而且facebook在設計時還考慮到了未來。很多系統在規模擴大或者使用率上升時往往就會出現性能下降的問題,而facebook的這套系統則從一開始設計時就考慮到了。facebook的做法是每次增加容量時,都将軟體對現有資料進行再平衡。也就是說将原有資料配置設定到新的硬體上,并釋放之前用過的空間。這個過程并非實時進行,十分适合用于系統的逐漸移植。這樣既不影響系統的使用,又能逐漸将資料遷移到新硬體上。如果把cold storage看作一塊大硬碟的話,這種再平衡的做法就可以視為智能硬碟整理程式。

降低耗電是開發cold storage系統的主要目的之一。據介紹這套系統的耗電極低,僅需消耗傳統資料中心 1/6的電量。其主要手段就是以空間換功耗——facebook的資料中心占地面積非常大。但是随着以後單盤容量的提升,其存儲規模還可以進一步擴大。同時由于cold storage存放的不是活躍資料,而是曆史資料,是以 facebook可以把備援電力系統(不間斷電源、柴油發電機、備用電池等)也抛棄了,進而進一步提升了能效。

把舊資料“冷凍”起來,Facebook這是在幹嗎?

為了盡可能降低能耗,cold storage 允許伺服器不帶硬碟一起啟動,之後将由軟體來控制其閑時時段。不過這樣就要求facebook對open vault的存儲規範進行修改。facebook最大的改動就是——每次隻允許為每個托盤上的一塊硬碟供電。為了避免軟體bug錯将所有硬碟都供電,導緻資料中心保險燒壞,facebook甚至還專門修改了每一塊硬碟驅動器的固件。此外,由于不需要每次都給所有硬碟供電了,facebook還通過一系列的優化成功使得機架的存儲密度大大增加,與傳統存儲伺服器相比,其耗電隻有後者的 1/4。

在2012年,紐約時報的一篇報道揭露了it業資料中心效率低下,耗電量驚人的問題。自此之後,降低資料中心能耗效率值(pue)便成了考核資料中心的熱門名額之一。(pue指資料中心總耗電量與it裝置耗電量的比值,這個值越接近1,資料中心的能耗效率就越高)。

而facebook位于北卡萊羅納的資料中心僅通過使用自然風制冷,并提高伺服器硬體的耐熱性能,就打造出了pue能耗效率值僅為1.07的超級綠色資料中心。這個數值也大大超過了google資料中心pue能耗效率值——1.12。據介紹,facebook使用bin maker軟體分析天氣資料,預測出北卡萊羅納的溫度和濕度,然後通過美國采暖、制冷和空調工程師協會(ashrae)的資料來判斷是否需要使用空調。

把舊資料“冷凍”起來,Facebook這是在幹嗎?

此外,facebook還根據其釋出的open compute标準開發出了能耐受更高室内溫度和濕度的伺服器硬體,并通過改善傳統資料中心電力供應鍊來減少在電力轉換過程中的能源損失。對傳統伺服器來說,如果一個ups壞了或者電源部件壞了,整個資料中心就癱瘓了,而對open compute來說,隻是某個部分不能繼續使用罷了。另外,在維修傳統伺服器時,維修人員必須将整個伺服器拿出來,用工具拆開後才可以修理;而open compute則采用了通用電源插座,維修時直接通過滑軌拉出來就可以實作線上維修。為了進一步提高能源使用效率,甚至連資料中心樓道裡的燈都是隻有在人通過的情況下才會亮。facebook在提高資料中心能源使用效率上下的功夫可見一斑。

原文釋出時間為:2015-11-12

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号