【flink】flink实现wordCount(java)

文章目录

• 前言
• 一、wordCount
• • 1、有界wordCount
  • 2、无界wordCount
  • 3、pom.xml

前言

之前学习了spark,现在正在学习flink，感觉很类似，记录下flink的学习过程，请大家参考。

一、wordCount

1、有界wordCount

代码如下（示例）：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class WordCount {

	public static void main(String[] args) throws Exception{
		// 创建执行环境
		ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

		// 从文件中读取数据
		String inputPath = "E:\\webapps\\test\\flink-demo\\data\\1.txt";
		//这里和spark很相似了
		DataSet<String> inputDataSet = env.readTextFile (inputPath);

		// 对数据集进行处理，按空格分词展开，转换成(word, 1)二元组进行统计
		DataSet<Tuple2<String, Integer>> resultSet = inputDataSet.flatMap(new MyFlatMapper())
				.groupBy(0)   // 按照第一个位置的word分组
				.sum(1);    // 将第二个位置上的数据求和
		resultSet.print();
	}

	// 自定义类，实现FlatMapFunction接口
	public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String, Integer>>
	{
		public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
			// 按空格分词
			String[] words = value.split(" ");
			// 遍历所有word，包成二元组输出
			for (String word : words) {
				out.collect(new Tuple2<String,Integer>(word, 1));
			}
		}
	}
}
           

2、无界wordCount

代码如下（示例）：

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
 
public class WordCount2
{
	public static void main(String[] args) throws Exception{
		// 创建流处理执行环境
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		String host = "localhost"; 
		int port = 7777; 
		// 从socket文本流读取数据
		DataStream<String> inputDataStream = env.socketTextStream(host, port);
		//处理无界数据的时候，没有groupBy方法，groupBy可以理解为当数据全加载完成之后进行分组
		// 无界是没有办法加载全部数据，因此替换为keyBy方法
		DataStream<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new WordCount.MyFlatMapper())
				.keyBy (0).sum (1);
		resultStream.print();
		// 执行任务
		env.execute();
	}
}
           

无界启动时，使用nc工具进行测试，通过nc工具进行socket信息传输。

启动指令

nc -l -p 7777

或者

nc -lk 7777

，可能由于nc版本不同或者执行环境不同，命令可能

如果出现

local listen fuxored: INVAL

异常，使用

nc -l -p 7777

即可。

3、pom.xml

<dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.10.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>1.10.1</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>