天天看點

Spark on ECI大資料分析

直達最佳實踐:【 Spark on ECI大資料分析

最佳實踐頻道:【

點選檢視更多上雲最佳實踐

這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!

場景描述

Spark作為快速、通用的大規模資料處理平台,更多關注Spark Application的管理,底層實際資源排程和管理更多的是依靠外部平台的支援例如Mesos、YARN、Kubernetes等。借助阿裡雲的容器服務Kubernetes版(ACK)、彈性容器組執行個體(ECI)、檔案存儲HDFS或者對象存儲OSS提供靈活彈性計算資源彈性可擴充、計算與存儲分離架構、成本可控的Spark on ECI解決方案實踐。

解決問題

  • 計算資源彈性能力不足,計算資源成本管控能力欠缺
  • 叢集資源排程能力和隔離能力不足
  • 計算與存儲無法分離,大資料量分析時出現資料存儲資源瓶頸
  • Spark submit方式送出分析作業參數支援有限等缺點

産品清單

  • 容器服務Kubernetes版(ACK)
  • 彈性容器執行個體(ECI)
  • 檔案存儲HDFS
  • 對象存儲OSS
  • 專有網絡VPC
  • 容器鏡像服務ACR
Spark on ECI大資料分析
直達最佳實踐 》》
Spark on ECI大資料分析

繼續閱讀