天天看點

hadoop + ganglia 配置安裝

用了很長一段時間叢集了 今天裝了個監控 看起來不錯ganglia

hadoop + ganglia 配置安裝
hadoop + ganglia 配置安裝
hadoop + ganglia 配置安裝

==========================安裝過程====================================================================================

centos 6.4

修改yum

1. cd /etc/yum.repos.d

2. mv CentOS-Base.repo CentOS-Base.repo.backup

3. wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

4. mv CentOS6-Base-163.repo CentOS-Base.repo

5.yum clean all

安裝yum EPEL源

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

修改: /etc/yum.repos.d/epel.repo

baseurl 去掉#

mirrorlist 加#

baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch

#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch

準備工作,安裝apr-1-config,libconfuse 以及libpcre包 

#yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

主節點(Master)

安裝ganglia-gmetad 和 ganglia-web

Shell代碼  收藏代碼

#yum search ganglia     ------------------檢視ganglia在epel的安裝包,複制進行安裝  

#yum -y install ganglia-web.i686 ganglia-gmond-3.1.7-6.el6.i686  

#yum -y install ganglia-gmetad.i686 ----------------------(如果上一步執行了這步不用執行,web包會自動下載下傳該依賴)  

#rpm -qa |grep ganglia          --------------------檢視安裝情況  

# rpm -ql ganglia-gmetad-3.1.7-6.el6.i686       ------------- 複制上面指令執行結果的安裝名,可檢視安裝路徑  

配置gmetad 

Shell代碼  收藏代碼

# vi /etc/ganglia/gmetad.conf  

data_source "Hadoop" localhost lboenSlaveTest-1  ---- Hadoop為cluster名稱,後面是需要監控的主機名  

修改apache設定

Shell代碼  收藏代碼

# vi /etc/httpd/conf.d/ganglia.conf  

檔案内容Deny from all 為 allow from all  

設定啟動 

Shell代碼  收藏代碼

# chkconfig --add gmetad  

# chkconfig --add gmond  

# chkconfig --add httpd  

配置hosts

# vi /etc/hosts

192.168.103.42 lboenSlaveTest-1

127.0.0.1 lboenMasterTest

打開端口/關閉防火牆

# /etc/init.d/iptables stop -------------------關閉防火牆,用于測試時,線上最好用打開端口方式

關閉SELinux 

1 永久方法 – 需要重新開機伺服器

修改/etc/selinux/config檔案中設定SELINUX=disabled ,然後重新開機伺服器。

2 臨時方法 – 設定系統參數

使用指令setenforce 0

附:

setenforce 1 設定SELinux 成為enforcing模式

setenforce 0 設定SELinux 成為permissive模式

監控節點(lboenSlaveTest-1)

安裝ganglia-gmond

Shell代碼  收藏代碼

#yum search ganglia  

#yum install ganglia-gmond-3.1.7-6.el6.i686  

 配置gmond

Shell代碼  收藏代碼

#vi /etc/ganglia/gmond.conf  

cluster {  

  name = "Hadoop"------ cluster名稱,是你在gmetad.conf裡配置的data_source名稱  

  owner = "unspecified"  

  latlong = "unspecified"  

  url = "unspecified"  

}  

udp_send_channel {  

  #mcast_join = 239.2.11.71 ----- 多點傳播  

  host = 192.168.103.22 -------------- 單點傳播 gmeta主機的ip/主機名lboenMasterTest  

  port = 8649  

  ttl = 1  

}  

udp_recv_channel {  

  #mcast_join = 239.2.11.71  

  port = 8649  

  bind = 192.168.103.42 ------------- 本機的ip/hostname  

}  

配置啟動

# chkconfig –add gmond

# chkconfig –list gmond

此時,如果正确安裝,會出現gmond           0:off   1:off   2:off   3:off   4:off   5:off   6:off

配置hosts

# vi /etc/hosts

192.168.103.22 lboenMasterTest

127.0.0.1 lboenSlaveTest-1

全部安裝完畢後

在主機上

# service gmetad start

# service gmond start

# service httpd start

# service gmetad status    -------------------驗證是否啟動成功

# service gmond status   -------------------驗證是否啟動成功

lboenSlaveTest-1 機器上  

# service gmond start  

# service gmond status   -------------------驗證是否啟動成功

-------------web通路http://localhost/ganglia----------------------------

常見問題

Forbidden錯誤時,因為對apache有一個設定

修改 /etc/httpd/conf.d/ganglia.conf檔案内容Deny from all 為 Allow from all

There was an error collecting ganglia data (127.0.0.1:8652):fsockopen error: Permission denied 解決方法

1 永久方法 – 需要重新開機伺服器

修改/etc/selinux/config檔案中設定SELINUX=disabled ,然後重新開機伺服器。

2 臨時方法 – 設定系統參數

使用指令setenforce 0

附:

setenforce 1 設定SELinux 成為enforcing模式

setenforce 0 設定SELinux 成為permissive模式

There was an error collecting ganglia data (127.0.0.1:8652):fsockopen error: Connection refused 解決辦法

解除安裝yum remove ganglia-web ganglia-gmetad

重新安裝yum install ganglia-web    ----- ganglia-web本身有引用gmetad

重新開機即可

---------------------------啟動服務---------------------------------------------------------

master啟動:

在主機上

service gmetad stop

service gmetad start

service gmond stop

service gmond start

service httpd stop

service httpd start

service gmetad status    -------------------驗證是否啟動成功

slave啟動: 

service gmond stop

service gmond start  

service gmond status   -------------------驗證是否啟動成功

----------------------------------------------------------------------------