天天看點

hadoop常用的端口配置

1 擷取預設配置

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置檔案,預設下來,這些配置檔案都是空的,是以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導緻無法生效。浏覽更多的配置,有兩個方法:

1.選擇相應版本的hadoop,下載下傳解壓後,搜尋*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是預設配置,可以參考這些配置的說明和key,配置hadoop叢集。

2.浏覽apache官網,三個配置檔案連結如下:

http://hadoop.apache.org/common/docs/current/core-default.html

http://hadoop.apache.org/common/docs/current/hdfs-default.html

http://hadoop.apache.org/common/docs/current/mapred-default.html

這裡是浏覽hadoop目前版本号的預設配置檔案,其他版本号,要另外去官網找。其中第一個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

2 常用的端口配置

2.1 HDFS端口

參數

描述

預設

配置檔案

例子值

fs.default.name namenode

namenode RPC互動端口

8020

core-site.xml

hdfs://master:8020/

dfs.http.address

NameNode web管理端口

50070

hdfs- site.xml

0.0.0.0:50070

dfs.datanode.address

datanode 控制端口

50010

hdfs -site.xml

0.0.0.0:50010

dfs.datanode.ipc.address

datanode的RPC伺服器位址和端口

50020

hdfs-site.xml

0.0.0.0:50020

dfs.datanode.http.address

datanode的HTTP伺服器和端口

50075

0.0.0.0:50075

 2.2 MR端口

mapred.job.tracker

job-tracker互動端口

8021

mapred-site.xml

hdfs://master:8021/

job

tracker的web管理端口

50030

0.0.0.0:50030

mapred.task.tracker.http.address

task-tracker的HTTP端口

50060

0.0.0.0:50060

 2.3 其它端口

<col>

dfs.secondary.http.address

secondary NameNode web管理端口

50090

0.0.0.0:50090