hadoop的簡單安裝部署過程
為了做些實驗,是以在自己筆記本電腦上裝了個虛拟機,系統為CentOS6.2,JDK1.7,hadoop-1.0.1
為了簡單起見,部署僞分布式,即僅有一個節點,這個節點既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker。
部署總體說明:
僞分布式部署比較簡單,隻需要搞定4個配置檔案即可,分别是:
1.hadoop-env.sh //用以指定JDK的位置
2.core-site.xml //核心配置,用以指定HDFS位址及端口号
3.hdfs-site.xml //HDFS配置,可以指定備份數量,預設為3,僞分布式需要配置為1
4.mapred-site.xml //用以配置JboTracker的位址及端口
配置完上述檔案之後,還差兩步:
1.格式化HDFS檔案系統
2.啟動并驗證
正式開始:
1.配置hadoop-env.sh
由于忘記了JDK的位置,用java -verbose查了一下,找到/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64/jre
是以,在hadoop-env.sh中寫入如下一行(其實可以找到指定位置,讀者可以自己發現)
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64/jre
2.配置core-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!-- Putsite-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
//說明:其實其他部分已經有了,隻需要自己敲入黑色加粗部分就可以了
3.配置hdfs-site.xml
<name>dfs.replication</name>
<value>1</value>
4.配置mapred-site.xml
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
進入最後兩步:
1.格式化hdfs
[root@wjz hadoop]# cd /usr/local/hadoop/bin //進入hadoop的可執行檔案bin目錄
[root@wjz bin]# ./hadoop namenode -format //執行格式化指令
[root@wjz bin]# ./start-all.sh
打開浏覽器驗證,分别輸入如下網址:
http://localhost:50030 (MapReduce的WEB頁面)
http://localhost:50070 (HDFS的WEB頁面)