天天看點

EMR本地盤執行個體大規模資料集測試

直達最佳實踐:【 EMR本地盤執行個體大規模資料集測試

最佳實踐頻道:【

點選檢視更多上雲最佳實踐

這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!

場景描述

阿裡雲為了滿足大資料場景下的存儲需求,在雲上推出了本地盤D1機型,這個系列提供了本地盤而非雲盤作為存儲,提高了磁盤的吞吐能力,發揮Hadoop的就近計算優勢。阿裡雲EMR産品針對本地盤機型,推出了一整套的自動化運維方案,幫助使用者友善可靠地使用本地盤機型,不需要關注整個運維過程同時資料的高可靠和服務的高可用。

解決問題

1、雲盤多份備援資料導緻成本高

2、磁盤吞吐量不高

3、節點的高可靠分布問題

4、本地盤與節點的故障監控問題

5、資料遷移時自動決策問題

6、自動故障節點遷移與資料平衡問題

産品清單

  • EMR(E-MapReduce)
  • 本地盤
  • VPC
EMR本地盤執行個體大規模資料集測試
直達最佳實踐 》》
EMR本地盤執行個體大規模資料集測試