三、MapReduce编程实例

一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式

二、JAVA API实现HDFS

@

目录

前文

MapReduce编程实例

前言

注意事项

单词统计 WordCount

MapReduce 经典案例——倒排索引

MapReduce 经典案例——数据去重

MapReduce 经典案例——TopN

Github下载地址

简介

讲解_Hadoop 中文网

Hadoop测试项目：HadoopDemo

如果下载了HadoopDemo作为测试，用到HDFS_CRUD.java

需要提前准备winutils。最好对应版本。

WordCountMapper.java

WordCountReducer.java

WordCountCombiner.java

WordCountDriver.java

InvertedIndexMapper.java

InvertedIndexCombiner.java

InvertedIndexReducer.java

InvertedIndexDriver.java

DedupMapper.java

DedupReducer.java

DedupDriver.java

TopNMapper.java

TopNReducer.java

TopNDriver.java

(HadoopDemo)[https://github.com/lehoso/HadoopDemo]

本文来自博客园，作者：李好秀，转载请注明原文链接：https://www.cnblogs.com/lehoso/p/15550135.html