《Spark Cookbook 中文版》一1.6 在叢集上使用Mesos部署Spark

本節書摘來異步社群《spark cookbook 中文版》一書中的第1章，第1.6節，作者： 【印度】rishi yadav（亞達夫）譯者： 顧星竹 , 劉見康 責編： 胡俊英，更多章節内容可以通路雲栖社群“異步社群”公衆号檢視。

mesos正慢慢崛起為跨資料中心管理所有計算資源的資料中心管理系統。mesos可以運作在任意一台linux作業系統的機器上。mesos與linux核心有着相同的配置原則。讓我們看看如何安裝mesos。

具體步驟

mesosphere提供mesos的二進制安裝包。最新的mesos分布式安裝包可以通過mesosphere庫按照如下步驟安裝。

1．在ubuntu作業系統的可靠版本上執行mesos。

2．更新庫。

3．安裝mesos。

4．連接配接spark到mesos上以整合spark和mesos，配置spark二進制安裝包以适應mesos，并配置spark驅動以連接配接mesos。

5．把第一份教程中使用到的spark二進制安裝包上傳到hdfs。

6．mesos單主節點的主url是mesos://host:5050，如果使用zookeeper管理mesos叢集的話，url是mesos://zk://host:2181。

7．配置spark-env.sh中的如下變量。

8．通過scala運作。

9．通過spark運作。

提示 mesos有兩種模式。

fine-grained：在fine-grained模式（預設模式）下，每個spark任務以獨立的mesos任務運作。

coarse-grained：在此模式下，僅會在每個mesos機器上發起一個長時間運作的spark任務。

10．如果想要修改模式為coarse-grained，配置spark.mesos.coarse。