三、MapReduce程式設計執行個體

一、CentOS7 hadoop3.3.1安裝(單機分布式、僞分布式、分布式

二、JAVA API實作HDFS

@

目錄

前文

MapReduce程式設計執行個體

前言

注意事項

單詞統計 WordCount

MapReduce 經典案例——反向索引

MapReduce 經典案例——資料去重

MapReduce 經典案例——TopN

Github下載下傳位址

簡介

講解_Hadoop 中文網

Hadoop測試項目：HadoopDemo

如果下載下傳了HadoopDemo作為測試，用到HDFS_CRUD.java

需要提前準備winutils。最好對應版本。

WordCountMapper.java

WordCountReducer.java

WordCountCombiner.java

WordCountDriver.java

InvertedIndexMapper.java

InvertedIndexCombiner.java

InvertedIndexReducer.java

InvertedIndexDriver.java

DedupMapper.java

DedupReducer.java

DedupDriver.java

TopNMapper.java

TopNReducer.java

TopNDriver.java

(HadoopDemo)[https://github.com/lehoso/HadoopDemo]

本文來自部落格園，作者：李好秀，轉載請注明原文連結：https://www.cnblogs.com/lehoso/p/15550135.html