hadoop
環境:rhel6.5 selinux and iptables disabled, sshd enabled
主機: 172.25.35.1 master
172.25.35.2 slave
172.25.35.3 slave
172.25.35.4 slave
hadoop 主從節點分解,如圖：
主節點包括名稱節點、從屬名稱節點和 jobtracker 守護程序(即所謂的主守護程序)以及管理叢集所用的實用程式和浏覽器。從節點包括 tasktracker 和資料節點(從屬守護程序)。兩種設定的不同之處在于,主節點包括提供 hadoop 叢集管理和協調的守護程序,而從節點包括實作hadoop 檔案系統(hdfs)存儲功能和 mapreduce 功能(資料處理功能)的守護程序。每個守護程序在 hadoop 架構中的作用。namenode 是 hadoop 中的主伺服器,它管理檔案系統名稱空間和對叢集中存儲的檔案的通路。還有一個 secondary namenode,它不是namenode 的備援守護程序,而是提供周期檢查點和清理任務。在每個 hadoop 叢集中可以找到一個 namenode 和一個 secondary namenode。datanode 管理連接配接到節點的存儲(一個叢集中可以有多個節點)。每個存儲資料的節點運作一個 datanode 守護程序。
每個叢集有一個jobtracker,它負責排程 datanode上的工作。每個datanode有一個tasktracker,它們執行實際工作。jobtracker和tasktracker采用主-從形式,jobtracker跨datanode 分發工作,而 tasktracker執行任務。jobtracker還檢查請求的工作,如果一個datanode由于某種原因失敗,jobtracker會重新排程以前的任務。
1.安裝并配置hadoop
2.僞分布式檔案管理系統
3.hadoop線上添加，删除節點
如圖：
新開一台虛拟機作為新節點用作線上添加