直達最佳實踐:【 Spark on ECI大資料分析】
最佳實踐頻道:【
點選檢視更多上雲最佳實踐
這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!
場景描述
Spark作為快速、通用的大規模資料處理平台,更多關注Spark Application的管理,底層實際資源排程和管理更多的是依靠外部平台的支援例如Mesos、YARN、Kubernetes等。借助阿裡雲的容器服務Kubernetes版(ACK)、彈性容器組執行個體(ECI)、檔案存儲HDFS或者對象存儲OSS提供靈活彈性計算資源彈性可擴充、計算與存儲分離架構、成本可控的Spark on ECI解決方案實踐。
解決問題
- 計算資源彈性能力不足,計算資源成本管控能力欠缺
- 叢集資源排程能力和隔離能力不足
- 計算與存儲無法分離,大資料量分析時出現資料存儲資源瓶頸
- Spark submit方式送出分析作業參數支援有限等缺點
産品清單
- 容器服務Kubernetes版(ACK)
- 彈性容器執行個體(ECI)
- 檔案存儲HDFS
- 對象存儲OSS
- 專有網絡VPC
- 容器鏡像服務ACR