天天看點

spark的WordCount

一、互動式界面中的操作

1.設定連接配接的檔案位址
	sc.textFile("hdfs://IP位址:9000/dy/wz.txt")
	2.設定分切統計
	val wc = file.flatMap(line => line.split("[,| |.| \"]")).map(word=>(word,1)).reduceByKey(_+_)
	3.界面顯示統計結果
	wc.collect()
	4.輸出至檔案,指定的檔案夾不可是已存在的
	wc.saveAsTextFile("hdfs://IP:9000/dy")
           
spark的WordCount

繼續閱讀