安裝jdk 1.7以上 hadoop 2.7.0不支援jdk1.6，spark 1.5.0開始不支援jdk 1.6
安裝scala 2.10.4
安裝 hadoop 2.x 至少hdfs
spark-env.sh
slaves指定worker節點
運作spark-submit時預設的屬性從spark-defaults.conf檔案讀取
spark-defaults.conf
啟動叢集
spark-shell指令其實也是執行spark-submit指令
spark-submit --help
deploy-mode針對driver program(sparkcontext)的client(本地)、cluster(叢集)
預設是client的，sparkcontext運作在本地，如果改成cluster則sparkcontext運作在叢集上
hadoop on yarn的部署模式就是cluster，sparkcontext運作在application master
spark-shell quick-start連結
<a href="http://spark.apache.org/docs/latest/quick-start.html" target="_blank">http://spark.apache.org/docs/latest/quick-start.html</a>