對于目前創業成長型的企業來說,離線計算已經必不可少了,通過離線計算我們可以生成複雜的業務報表,通過離線計算我們也能精确的算出使用者畫像。離線計算已經當今的企業中成為了不可或缺的存在。那麼使用彈性計算能夠對離線計算領域帶來什麼好處呢?小編告訴你好處肯定是有的,且聽小編娓娓道來。

從上圖中我們用最常見的離線計算開源産品Hadoop作為例子,如上圖所示大家會把存儲服務跟計算符合放在一台ECS上。但是随着業務的擴張,我們對計算的需求越來越大,我們需要用資料做各種運算,為了增強離線叢集的計算能力,我們會想到直接通過添加計算節點的方式來獲得。但是随着計算節點的添加我們會遇到另一個問題,那就是資源使用率不夠的問題。雖然計算通過擴容能夠提升計算能力,但是資料可不會像計算那樣突然猛增,是以對于存儲來說擴容操作會暫時導緻資源使用率的下降。再加上離線計算每天的計算時間隻有一段時間,擴容之後的ECS在每天離線計算完成之後将大量空閑,這段時間将是對成本極大的浪費!那麼很多客戶會想是否有一種方法能夠将計算存儲分開進行擴容,并且在離線計算的時候對計算節點擴容,在計算完成之後将擴容的計算節點釋放掉,進而達到節省成本的目的。這個架構肯定是有的,不過為了讓大家更好的了解接下來的架構,小編先要給大家介紹一下競價執行個體和彈性伸縮。
從上面的圖中大家可以發現競價執行個體是一種按照供需關系變化價格波動的一種後付費類型執行個體,相對于按量付費執行個體價格有較低的折扣。不過同時競價執行個體是有可能随時被阿裡雲釋放的,這點請大家務必注意。簡而言之就是競價執行個體便宜,但是可能随時被釋放。
彈性伸縮總共有如下三個優點:
彈性伸縮會定時檢查ECS健康狀态,如果發現ECS不健康,那麼ECS将會建立一台新的ECS去替換它并且将不健康的ECS釋放掉。
彈性伸縮能夠通過定時、自動伸縮保證應用程式始終有合适的容量去滿足目前的請求流量。
彈性計算通過自動動态的方式按需增減執行個體,在需要的時候添加執行個體,不需要的時候釋放執行個體,進而節約IT成本。
經過上面對競價執行個體以及彈性伸縮簡單的介紹,現在小編可以大聲的告訴大家,存在一種基于彈性計算的架構能夠不僅能夠滿足使用者對于海量資料的計算能力需求,而且還能降低大家的計算成本。
将Hadoop的存儲計算節點分離
使用彈性伸縮來按時、按需建立、釋放計算計算節點
計算節點的付費類型采用競價方式
這裡相信大家肯定又有疑問了,競價執行個體不是會被阿裡雲釋放嗎,這裡使用競價執行個體合适嗎?答案是絕對合适的。第一競價執行個體的價格變量付費便宜很多,第二就算競價執行個體被阿裡雲釋放了,影響的也緊緊隻是我們離線計算的速度。在上面的架構圖上小編也留了一台ECS沒有加入伸縮組,這一台ECS我們可以采用預付費的方式為我們計算資源提供“保底”的計算能力,當然我們也可以根據自身的需要來設定“保底”ECS的數量。
通過阿裡雲ECS的售賣頁面檢視競價執行個體多可用區的曆史價格,進而選擇一個合理的出價。
不要在整點觸發定時擴容任務,整點擴容的客戶比較多,大家可以選擇整點過後5-10分鐘進行擴容,這樣價格相對會低一些
通過監測計算節點的CPU/MEM名額來觸發報警任務
通過在伸縮組選擇多可用區來增加成功購買競價執行個體的機率
在伸縮組内配置最大ECS數目防止彈性伸縮建立ECS數量超過預期
建立一條伸縮任務進行手動擴容以備不時之需