Spark入门之提交wordcount任务

• 1.Wordcount代码
• 2.打包代码
• 3.上传至服务器
• 4.运行
• 5.查看结果

1.Wordcount代码

object Test01 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("test01")/*.setMaster("local[2]")*/
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.textFile("file:///usr/local/testFile/hello.txt")
    val words = lines.flatMap(_.split(" "))

    val rdd1: RDD[(String, Int)] = words.map(word => (word, 1))
    val rdd2 = rdd1.reduceByKey(_+_)
    val output= rdd2.saveAsTextFile("/usr/local/testFile/target01")
  }
}
           

2.打包代码

3.上传至服务器

上传到/usr/local/testFile/spark01.jar这个位置，根据自己实际情况选择。

4.运行

进入spark的bin包里，执行命令（我的是单机版spark，所以不需要制定master的ip）

./spark-submit --class com.spark.scala.Test01 /usr/local/testFile/spark01.jar

           

5.查看结果