Spark standalone簡介與運作wordcount（master、slave1和slave2）hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3節點叢集搭建(含zookeeper叢集安裝）Spark程式設計環境搭建（基于Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（部落客強烈推薦)

1. Standalone模式

      即獨立模式，自帶完整的服務，可單獨部署到一個叢集中，無需依賴任何其他資源管理系統。從一定程度上說，該模式是其他兩種的基礎。借鑒Spark開發模式，我們可以得到一種開發新型計算架構的一般思路：先設計出它的standalone模式，為了快速開發，起初不需要考慮服務（比如master/slave）的容錯性，之後再開發相應的wrapper，将stanlone模式下的服務原封不動的部署到資源管理系統yarn或者mesos上，由資源管理系統負責服務本身的容錯。目前Spark在standalone模式下是沒有任何單點故障問題的，這是借助zookeeper實作的，思想類似于Hbase master單點故障解決方案。将Spark standalone與MapReduce比較，會發現它們兩個在架構上是完全一緻的： 

　　1)  都是由master/slaves服務組成的，且起初master均存在單點故障，後來均通過zookeeper解決（Apache MRv1的JobTracker仍存在單點問題，但CDH版本得到了解決）； 

2) 各個節點上的資源被抽象成粗粒度的slot，有多少slot就能同時運作多少task。不同的是，MapReduce将slot分為map slot和reduce slot，它們分别隻能供Map Task和Reduce Task使用，而不能共享，這是MapReduce資源利率低效的原因之一，而Spark則更優化一些，它不區分slot類型，隻有一種slot，可以供各種類型的Task使用，這種方式可以提高資源使用率，但是不夠靈活，不能為不同類型的Task定制slot資源。總之，這兩種方式各有優缺點。

Spark Standalone部署配置---Standalone架構

　　　　　　　　　　　　

Spark Standalone部署配置---手工啟動一個Spark叢集

 　　這裡，我帶大家，看官網

<a href="http://spark.apache.org/docs/latest">http://spark.apache.org/docs/latest</a>

<a href="http://spark.apache.org/docs/latest/spark-standalone.html">http://spark.apache.org/docs/latest/spark-standalone.html</a>

　　這裡，我不多說，自行去看吧！

Spark Standalone部署配置---通路web ui

● 通路http://master:8080/(預設端口是8080，端口大家可以自己修改)

Job送出與運作---運作示例程式

● Standby masters with Zookeeper

● Single-Node Recover with Local File System

　　但是，這裡需。關于zookeeper的安裝

　　我這裡不多說，請移步

 或者

 　　

　　　　　　　　　　　　　　　　

Spark Standalone運作架構解析---Spark基本工作流程

　　以SparkContext為程式運作的總入口，在SparkContext的初始化過程中，Spark會分别建立DAGScheduler作業排程和TaskScheduler任務排程兩級排程子產品。

　　其中作業排程子產品是基于任務階段的高層排程子產品，它為每個Spark作業計算具有依賴關系的多個排程階段（通常根據shuffle來劃分），然後為每個階段建構出一組具體的任務（通常會考慮資料的本地性等），然後以TaskSets（任務組）的形式送出給任務排程子產品來具體執行。而任務排程子產品則負責具體啟動任務、監控和彙報任務運作情況。

Spark Standalone運作架構解析---Spark local模式

　　Local，本地模式，預設情況是本地模式運作，如運作的spark-shell，開發測試環境，運作任務指令:

　　　　　　　　　　　　　　　　　　　　

 　　LocalBackend響應Scheduler的receiveOffers請求，根據可用的CPU核的設定值[N]直接生成CPU資源傳回給Scheduler，并通過Executor類線上程池中依次啟動和運作Scheduler傳回的任務清單，其核心事件循環由内部類LocalActor以Akka Actor的消息處理形式來實作。

Spark Standalone運作架構解析---Spark local cluster模式

僞分布式模式啟動兩個Worker，每個Worker管理兩個CPU核和1024MB的記憶體

 　　LocalBackend響應Scheduler的receiveOffers請求，根據可用的CPU核的設定值[N]直接生成CPU資源傳回給Scheduler，并通過Executor類線上程池中依次啟動和運作Scheduler傳回的任務清單，其核心事件循環由内部類LocalActor以Akka Actor的消息處理形式來實作

Spark Standalone運作架構解析---Spark standalone模式

　　　　　　　　

Spark Standalone運作架構解析---Spark standalone詳細過程解析

 Spark Standalone 下運作wordcount

　具體，請移步

● wordcount代碼

● mvn 項目打包上傳至Spark叢集。

● Spark 叢集送出作業

　　

本文轉自大資料躺過的坑部落格園部落格，原文連結：http://www.cnblogs.com/zlslch/p/6628764.html，如需轉載請自行聯系原作者