開發者學堂課程【大資料實時計算架構 Spark 快速入門:SparkSQL 初識_2】學習筆記,與課程緊密聯系,讓使用者快速學習知識。
課程位址:
https://developer.aliyun.com/learning/course/100/detail/1699SparkSQL 初識_2
内容簡介
一、accumulator 在 Scala 運用
二、accumulator 在 Java 運用
三、RED 緩存
四、執行結果
Scala
scala >
val
accum
=
sc. accumulator(
,
”
My Accumulator")
accum: spark. Accumulator[Int]
=0
scala >sc. parallelize(
Array
(
1,2,3,4
)).foreach(x
=>
accum+= x)
…
10
/
09
/
29
18
:41:08
INFO SparkContext: Tasks finished in
0.317106 s
scala>accum, value
res2:
Int
=10
Java
Accumultor accum=sc. accumulator(
);
sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)
//…
//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s
accum.
value
()
;
//returns 10
三、RED緩存
SQL 子產品
http://spark.apacho.org/sql/