天天看點

SparkSQL 初識_2

開發者學堂課程【大資料實時計算架構 Spark 快速入門:SparkSQL 初識_2】學習筆記,與課程緊密聯系,讓使用者快速學習知識。

課程位址:

https://developer.aliyun.com/learning/course/100/detail/1699

SparkSQL 初識_2

内容簡介

一、accumulator 在 Scala 運用

二、accumulator 在 Java 運用

三、RED 緩存

四、執行結果

Scala

scala >

​​

val

accum

=

sc. accumulator(

,

My Accumulator")

accum: spark. Accumulator[Int]

=0

scala >sc. parallelize(

Array

(

1,2,3,4

)).foreach(x

=>

 accum+= x)

10

/

09

/

29

18

:41:08

INFO SparkContext: Tasks finished in

 0.317106 s

scala>accum, value

res2:

Int

=10

Java

Accumultor accum=sc. accumulator(

);

 sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)

//…

//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

accum.

value

()

;

//returns 10

三、RED緩存

SparkSQL 初識_2
SparkSQL 初識_2

SparkSQL 初識_2
SparkSQL 初識_2

SparkSQL 初識_2

SQL 子產品 

http://spark.apacho.org/sql/