Spark叢集獨立模式HA

一、Spark簡介：

Spark是一種與Hadoop相似的開源叢集計算環境

Spark基于MR算法實作的分布式計算，擁有Hadoop MR的優點，不同的是結果儲存在記憶體中

Spark是一個針對超大資料集合的低延遲的叢集分布式計算系統，比MapReduce快40倍左右

Spark是在 Scala 語言中實作的，它将 Scala 用作其應用程式架構

Spark相容Hadoop的API，能夠讀寫Hadoop的HDFS HBASE 順序檔案等

傳統的hadoop

<a href="http://s3.51cto.com/wyfs02/M01/5B/B5/wKioL1URY7nRlAbqAAFgqu76O_Y976.jpg" target="_blank"></a>

Spark

<a href="http://s3.51cto.com/wyfs02/M01/5B/BB/wKiom1URYpiR_49-AAGA5sVsokc685.jpg" target="_blank"></a>

環境概述：

192.168.1.2 master

192.168.1.3 worker

192.168.1.4 worker

二、Scala環境設定

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

<code>[root@master ~]</code><code># tar zxvf scala-2.10.4.tgz -C /home/hadoop/</code>

<code>[root@master ~]</code><code># cd /home/hadoop/</code>

<code>[root@master hadoop]</code><code># ln -s scala-2.10.4 scala</code>

<code>[root@master ~]</code><code># chown -R hadoop.hadoop /home/hadoop/</code>

<code># Scala</code>

<code>export</code> <code>SCALA_HOME=</code><code>/home/hadoop/scala</code>

<code>export</code> <code>PATH=$PATH:$HADOOP_DEV_HOME</code><code>/sbin</code><code>:$HADOOP_DEV_HOME</code><code>/bin</code><code>:$SCALA_HOME</code><code>/bin</code>

<code>[root@master hadoop]</code><code># source /home/hadoop/.bashrc </code>

<code>[root@master hadoop]</code><code># su - hadoop</code>

<code>[hadoop@master ~]$ scala</code>

<code>Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25 ).</code>

     本文轉自ljl_19880709 51CTO部落格，原文連結：http://blog.51cto.com/luojianlong/1622837，如需轉載請自行聯系原作者