Spark入門之送出wordcount任務

• 1.Wordcount代碼
• 2.打包代碼
• 3.上傳至伺服器
• 4.運作
• 5.檢視結果

1.Wordcount代碼

object Test01 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("test01")/*.setMaster("local[2]")*/
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.textFile("file:///usr/local/testFile/hello.txt")
    val words = lines.flatMap(_.split(" "))

    val rdd1: RDD[(String, Int)] = words.map(word => (word, 1))
    val rdd2 = rdd1.reduceByKey(_+_)
    val output= rdd2.saveAsTextFile("/usr/local/testFile/target01")
  }
}
           

2.打包代碼

3.上傳至伺服器

上傳到/usr/local/testFile/spark01.jar這個位置，根據自己實際情況選擇。

4.運作

進入spark的bin包裡，執行指令（我的是單機版spark，是以不需要制定master的ip）

./spark-submit --class com.spark.scala.Test01 /usr/local/testFile/spark01.jar

           

5.檢視結果