1.從spark官網下載下傳安裝包,網址:https://spark.apache.org/downloads.html
我這裡以spark-2.3.3-bin-hadoop2.7.tgz為例
2.在Linux系統安裝spark:
首先将spark安裝包拷貝到Linux系統上(拷貝過程不再贅述),将spark解壓到某個檔案夾下(具體哪個檔案夾根據個人的需要),解壓指令:tar -zxvf *****/spark-2.3.3-bin-hadoop2.7.tgz(spark安裝包所在的路徑) -C **(解壓到某個檔案夾的路徑)
3.解壓完成後,接下來進行配置
僞分布式
以下涉及到的所有路徑都是我個人的安裝路徑,僅用來參考,與你的路徑不一樣,完全正常.
1.進入到spark的安裝目錄下: cd /opt/module/spark-2.1.0-bin-hadoop2.7/
2.進入到conf目錄下 : cd conf/
3.将spark-env.sh.template檔案重命名,拷貝一份: cp ./spark-env.sh.template ./spark-env.sh
4.現在可以修改spark-env.sh這個master的配置檔案了,首先通過vi指令進入到這個檔案中:vi ./spark-env.sh
5.在spark-env.sh這個檔案的末尾添加以下配置
export JAVA_HOME=/root/training/jdk1.7.0_75(這個是jdk的安裝路徑)
export SPARK_MASTER_HOST=spark1(指定spark的master節點的ip位址,我這裡寫spark1是因為已經在機器上配置了主機名,沒有配置的話直接填IP位址即可,下同)
export SPARK_MASTER_PORT=7077(端口号)
下面這兩個參數可以不配置:(預設)
export SPARK_WORKER_CORES=1(worker節點的核數是1核)
export SPARK_WORKER_MEMORY=1024m(worker節點的記憶體容量)
儲存退出:wq
6.配置worker節點,進入conf目錄下的slaves檔案: vi ./slaves
在檔案的末尾新增一行,内容為:spark1(IP)
這樣master跟worker節點都配置在同一台機器上,這個簡單的僞分布式就搭建好了.
全分布式
這裡我用三台機器搭建一個全分布式.
首先還是修改spark-env.sh這個master配置檔案
配置跟僞分布式一樣,
export JAVA_HOME=/root/training/jdk1.7.0_75(這個是jdk的安裝路徑)
export SPARK_MASTER_HOST=spark1(機器1的ip)
export SPARK_MASTER_PORT=7077(端口号)
接下來配置worker節點
進入slaves檔案,在檔案末尾增加對節點機器的ip
spark2(機器2的ip)
spark3(機器3的ip)
儲存退出:wq
這樣一個簡單的全分布式就配置好了.
注:三台機器上都要安裝Spark,而且以上的配置要一樣,可以先配置好一台機器,然後将這台機器上的Spark安裝目錄遠端拷貝到其他兩台機器上.
指令為: scp -r 目前機器的Spark的安裝目錄 [email protected]:目标目錄
現在來啟動一下Spark叢集
進入到sbin目錄下 : cd /opt/module/spark-2.1.0-bin-hadoop2.7/sbin
執行指令:./start-all.sh
現在可以打開浏覽器來看一下Spark叢集的頁面
在浏覽器的url位址欄輸入:http://spark1:8080/ 将spark1更改為你的Spark主節點的IP位址,即上面spark-env.sh檔案中配置的IP位址.效果如下:
