天天看点

spark的WordCount

一、交互式界面中的操作

1.设置连接的文件地址
	sc.textFile("hdfs://IP地址:9000/dy/wz.txt")
	2.设置分切统计
	val wc = file.flatMap(line => line.split("[,| |.| \"]")).map(word=>(word,1)).reduceByKey(_+_)
	3.界面显示统计结果
	wc.collect()
	4.输出至文件,指定的文件夹不可是已存在的
	wc.saveAsTextFile("hdfs://IP:9000/dy")
           
spark的WordCount

继续阅读