建立虛拟機:mac上安裝vmware&搭載centos7
三台裝置:
ip hostname
192.168.77.100 server001
192.168.77.110 server002
192.168.77.120 server003
設定主機名:
檢視 vi /etc/hostname
配置主機hosts:
vi /etc/hosts
添加如下内容
首先確定開啟了ssh,開啟後會在/root目錄下有.ssh檔案夾
每台分别執行ssh-keygen -t rsa,連續按3個回車,在.ssh目錄下生成id_rsa和id_rsa.pub
然後分發秘鑰:
在server001上執行 ssh-copy-id server002和ssh-copy-id server003,其他兩台上同理。
至此三台之間就可以通過 ssh server001/002/003進行免密登入了。
下載下傳位址:http://archive.apache.org/dist/zookeeper/(下載下傳3.4.9)
注意:有的高版本執行會報:找不到或無法加載主類 org.apache.zookeeper.zookeepermain
解壓檔案:
(1)修改zoo.cfg配置
末尾添加:
2555是leader端口,3555是follower端口,可以修改。
(2)将server001上的zookeeper檔案拷貝到server002和server002上
(3)在每台裝置上建立id
建立data目錄:mkdir data
cd data
vi myid(server001上是1,server002上是2,server003上是3)
(4)分别在三台機器上啟動zk
檢視啟動狀态:
(1)下載下傳的hadoop檔案解壓:(1-7都在一個節點上操作)
(2)編輯hadoop-env.sh
修改:
生效:source hadoop-env.sh
(3)編輯core-site.xml
(4)編輯hdfs-site.xml
(5)編輯mapred-site.xml
(6)編輯yarn-site.xml
(7)編輯slaves
(8)把配置好的hadoop拷貝到其他節點
(9)配置環境變量
vi /etc/profile
生效:source /etc/profile
(10)啟動hadoop叢集
• 三個節點啟動zookeeper
檢視zookeeper啟動狀态
• 格式化zookeeper(在第一個節點操作即可)
• 在每個節點啟動journalnode
• 在第一個節點上格式化namenode
• 在第一個節點上啟動namenode
• 在第二個節點上格式化namenode
• 在第二個節點上啟動namenode
• 在每個節點上啟動datanode
• 在第一個節點和第二個節點上啟動zkfc(failovercontroller)
• 在第一個節點上啟動yarn
• 在第三個節點上啟動resourcemanager
• 檢視第一個節點namenode
浏覽器輸入http://192.168.77.100:50070
• 通路管理頁面http://192.168.77.110:8088