天天看点

Spark on YARN--WordCount、TopK

原文地址:

1、首先利用搭建好的Eclipse(Scala)开发平台编写scala文件,内容如下:

2、利用Eclipse的Export Jar File功能将Scala源文件编译成class文件并打包成sc.jar

3、执行run_wc.java脚本:

附:

TopK(选出出现频率最高的前k个)代码:

附录2 join操作(题意详见:):