天天看点

【Hadoop】MAC下hadoop2.6安装以及执行wordcount

首先简单介绍下博主的配置环境

MAC 10.10.0

hadoop 2.6

JDK 1.6(可以在shell里用jdk -version查询)

安装的话推荐使用mac下面的brew,理由就是用brew安装的话,它会自动给帮你配置好相应的路径。当然也可以到官网下载,注意jdk和hadoop版本要对应。

安装好了之后,可以使用brew list hadoop 来查看。

位置应该是在:/usr/local/Cellar/hadoop/

这时候就可以直接在shell里执行hadoop命令,是不是很方便。

首先说一下,现在要执行的wordcount只是简单试验下hadoop是否能工作,并不是多线程的伪分布式,因为还没有配置,这个下一节会讲。

<dl></dl>

<dt>1.首先我们先建立以下数据源</dt>

<dd>在hadoop根目录下,建立一个文件夹,叫“input”</dd>

<dd>在里面放上txt数据,我直接把”readme.txt”copy 进去了</dd>

<dt>2.这时候我们就可以执行hadoop的自带命令了</dt>

<dd>首先要找到 hadoop-mapreduce-examples-2.6.0.jar 这个文件的路径,因为自带的例子都是在这个里面的。</dd>

<dd>用 jar 命令来执行,因为都是java写的嘛。</dd>

3.执行命令

<dt>4.效果</dt>

<dd>这时候你会发现shell蹦出一大串东西</dd>

<dd>最终会生成一个output文件夹,里面的东西打开,就是wordcount</dd>

【Hadoop】MAC下hadoop2.6安装以及执行wordcount
本文来自博客 “李博Garvin“