天天看點

zookeeper、hadoop、hbase叢集搭建

建立虛拟機:mac上安裝vmware&搭載centos7

三台裝置:

           ip                  hostname

    192.168.77.100        server001

    192.168.77.110        server002

    192.168.77.120       server003

設定主機名:

檢視 vi /etc/hostname

配置主機hosts:

vi /etc/hosts

添加如下内容

首先確定開啟了ssh,開啟後會在/root目錄下有.ssh檔案夾

每台分别執行ssh-keygen -t rsa,連續按3個回車,在.ssh目錄下生成id_rsa和id_rsa.pub

然後分發秘鑰:

在server001上執行 ssh-copy-id server002和ssh-copy-id server003,其他兩台上同理。

至此三台之間就可以通過 ssh server001/002/003進行免密登入了。

下載下傳位址:http://archive.apache.org/dist/zookeeper/(下載下傳3.4.9)

注意:有的高版本執行會報:找不到或無法加載主類 org.apache.zookeeper.zookeepermain

解壓檔案:

(1)修改zoo.cfg配置

末尾添加:

2555是leader端口,3555是follower端口,可以修改。

(2)将server001上的zookeeper檔案拷貝到server002和server002上

(3)在每台裝置上建立id

建立data目錄:mkdir data

cd data

vi myid(server001上是1,server002上是2,server003上是3)

(4)分别在三台機器上啟動zk

檢視啟動狀态:

(1)下載下傳的hadoop檔案解壓:(1-7都在一個節點上操作)

(2)編輯hadoop-env.sh

修改:

生效:source hadoop-env.sh

(3)編輯core-site.xml

(4)編輯hdfs-site.xml

(5)編輯mapred-site.xml

(6)編輯yarn-site.xml

(7)編輯slaves

(8)把配置好的hadoop拷貝到其他節點

(9)配置環境變量

vi /etc/profile

生效:source /etc/profile

(10)啟動hadoop叢集

• 三個節點啟動zookeeper

檢視zookeeper啟動狀态

• 格式化zookeeper(在第一個節點操作即可)

• 在每個節點啟動journalnode

• 在第一個節點上格式化namenode

• 在第一個節點上啟動namenode

• 在第二個節點上格式化namenode

• 在第二個節點上啟動namenode

• 在每個節點上啟動datanode

• 在第一個節點和第二個節點上啟動zkfc(failovercontroller)

• 在第一個節點上啟動yarn

• 在第三個節點上啟動resourcemanager

• 檢視第一個節點namenode

浏覽器輸入http://192.168.77.100:50070

• 通路管理頁面http://192.168.77.110:8088

zookeeper、hadoop、hbase叢集搭建
上一篇: 消息隊列