天天看點

Hadoop 組成

這裡介紹一下hadoop的組成, hadoop主要由兩部分組成,,一個是hdfs,另一個是mapreduce

這兩個部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh啟動。mapreduce 在2.0版本中有了一個新名字yarn.

dfs 主要用來啟動 namenode 和 datanode, namenode既是是傳說中的matser, datanode 是傳說中的slave。

yarn 主要用來啟動resourcemanager 和nodemanager。resourcemanager也被稱為jobtracker,nodemanger也被稱為tasktracker.

下圖是yarn的組成結構圖。詳細介紹請看

http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/yarn.html

Hadoop 組成

reference:http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/yarn.html

繼續閱讀