Spark開發詳細流程之一：windows本地搭建JAVA Spark開發環境

JDK1.8 + Spark2.3 + Hadoop2.7.1

1. 安裝JDK1.8

2. 安裝Spark2.3.1（http://spark.apache.org/downloads.html）

   解壓路徑：D:\Tools\spark-2.3.1-bin-hadoop2.7

   配置環境變量：1）系統變量：SPARK_HOME；變量值：D:\Tools\spark-2.3.1-bin-hadoop2.7

   2）Path環境變量增加：%SPARK_HOME%\bin，%SPARK_HOME%\sbin

3. 安裝Hadoop2.7.1（https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1）

   解壓路徑：D:\Tools\hadoop-2.7.1

   配置環境變量：1）系統變量：HADOOP_HOME；變量值：D:\Tools\hadoop-2.7.1

   2）Path環境變量增加：%HADOOP_HOME%\bin

4. 下載下傳 winutils.exe 并複制到 hadoop的bin目錄 https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe
5. 啟動Spark

1. CMD切換到spark-2.3.1-bin-hadoop2.7\bin目錄
2. 運作spark-shell