天天看点

集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

id="cproIframe_u1728839_3" width="120" height="240" src="http://pos.baidu.com/acom?adn=4&at=160&aurl=&cad=1&ccd=24&cec=GBK&cfv=17&ch=0&col=zh-CN&conOP=0&cpa=1&dai=3&dis=0&layout_filter=rank%2Cimage&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DSVVSALQUitZkyr2KOJ-7aYo-rb-oTgd9zeJZRbTiammX6RMkeJI2NcC6EdB__gUnmSwaOf2uKaZtTAJbgBvBfa%26wd%3D%26eqid%3Df82f7f3500005fa200000003559bc2d4&ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-6777-1-1.html&lunum=6&n=92051019_cpr&pcs=1920x989&pis=10000x10000&ps=604x1419&psr=1920x1080&pss=1920x770&qn=2a0d408e3eef70b1&rad=&rsi0=120&rsi1=240&rsi5=4&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000ff&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=tabcloud_skin_3&stid=5&td_id=1728839&tn=text_default_120_240&tpr=1436271323424&ts=1&version=2.0&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u1728839&ti=%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E5%AE%8C%E6%AF%95%EF%BC%8C%E8%AF%A5%E5%A6%82%E4%BD%95%E6%B5%8B%E8%AF%95%E5%92%8C%E4%BD%BF%E7%94%A8%E9%9B%86%E7%BE%A4-hadoop%E5%8D%95%E6%9C%BA%EF%BC%88%E4%BC%AA%E5%88%86%E5%B8%83%EF%BC%89-%E5%A4%A7%E6%95%B0%E6%8D%AE%EF%BC%88hadoop%E7%B3%BB%E5%88%97%EF%BC%89%E5%AD%A6%E4%B9%A0-about%E4%BA%91%E5%BC%80%E5%8F%91&tt=1436271323414.124.142.143" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frame allowtransparency="true" style="word-wrap: break-word;"> 本帖最后由 pig2 于 2014-2-8 22:56 编辑http://www.aboutyun.com/thread-6777-1-1.html

集群安装完毕,该如何测试和使用集群:

运行hadoop首先进入hadoop所在目录,第一次执行要格式化文件系统bin/hadoop namenode –format 

启动bin/start-all.sh 

用jps命令查看进程,显示:

[email protected]:/usr/hadoop/hadoop-1# jps

6449 DataNode

6998 TaskTracker

33851 Jps

6200 NameNode

6765 JobTracker

6683 SecondaryNameNode

少一个都不对

还有就是使用web接口访问

http://localhost:50030 

可以查看JobTracker的运行状态

集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

http://localhost:50060 

可以查看TaskTracker的运行状态

集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

http://localhost:50070 

可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。

集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

运行测试实例wordcount

注意:1.注意wordcount大小写,这里都是小写

         2.复制命令可能会出现命令不识别,尽量手写

copyFromLocal: Unknown command

Usage: java FsShell

           [-ls <path>]

      .......

           [-help [cmd]]

这里使用附带jar包里的wordcount

(1)先在本地磁盘建立两个输入文件file01 和 file02: 

$ echo "Hello World Bye World" > file01  

$ echo "Hello Hadoop Goodbye Hadoop" > file02

(2)在hdfs 中建立一个input目录:

$ hadoop fs –mkdir input 

(3)将file01 和 file02 拷贝到hdfs中:  

$ hadoop fs –copyFromLocal file0* input 

(4)执行wordcount:  

$ hadoop jar hadoop-examples-1.2.0.jar wordcount input output

(5)完成之后,查看结果:

$ bin/hadoop fs -ls . 查看已有的文件列表

$ hadoop fs -cat output/part-r-00000  查看结果

结果为:可见把单词都统计了

Bye 1  

Goodbye 1 

Hadoop 2 

Hello 2 

World 2  

继续阅读