hadoop叢集配置Ganglia監控

根據網友的介紹，簡單配置了一個叢集，用作記錄

我的叢集

hadoop1            192.168.1.151              gmetad 和 gmond

hadoop2            192.168.1.152              gmond

hadoop3            192.168.1.153              gmond

hadoop4            192.168.1.154              gmond

hadoop1 監控4台虛拟機

1.先配置下 yum 源，一些 yum 源沒有 ganglia 所需要的包，妥妥滴要 EPEL

rpm -Uvhhttp://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

2.安裝 ganglia 所需要的包

         ganglia 伺服器

         yum install rrdtool ganglia-gmetad ganglia-gmond ganglia-web httpd php

        注意：這裡因為有依賴關系，最好不安裝 ganglia-gmetad，因為安裝 ganglia-web 會自動安裝，如果出錯，請看錯去清單

         ganglia 用戶端

         yum install ganglia-gmond

3.安裝好了就是配置，我列出我的配置，參考下

        Ganglia 伺服器

        # gedit /etc/ganglia/gmetad.conf  

        data_source "hadoopcluster" hadoop1  hadoop2  hadoop3  hadoop4

        ---- hadoopcluster為cluster名稱,後面是需要監控的主機

        # gedit /etc/httpd/conf.d/ganglia.conf  

        主要是修改  Deny  from  all  為  Allow  from  all

         Ganglia 用戶端

 這個檔案  四個  gmond 結點 都一樣 簡單暴力       

#vi /etc/ganglia/gmond.conf 

cluster {  

         name = "hadoopcluster"------ cluster名稱,是你在gmetad.conf裡配置的data_source名稱  

         owner = "unspecified"  

         latlong = "unspecified" 

url = "unspecified"  

}  

  udp_send_channel {  

        #mcast_join = 239.2.11.71 ----- 多點傳播  

        host = 192.168.1.151 -------------- 單點傳播  指定 gmetad 主機

        port = 8649  

        ttl = 1  

}  

udp_recv_channel {  

        #mcast_join = 239.2.11.71  

        port = 8649  

bind = 192.168.1.151 ------------- 指定 gmond 主機， 注意：這點在不同的 gmond 結點上不一樣，對應各自的IP

}  

4.最好把 selinux 關閉，實際工作中感覺還是不要這樣的好，開放 端口即可

            gedit  /etc/selinux/config

            SELINUX=disabled

    四個結點都搞一遍，全部重新開機

5.啟動服務  

  root @ hadoop1 #  service gmetad start

  root @ hadoop1 #  service gmond start

  root @ hadoop1 #  service httpd start

service gmetad status  沒個都看一遍有沒有啟動

其他 gmond 結點  啟動  gmond 即可

6.通路   hadoop1/ganglia  ,看看頁面可不可以出來，如圖

7.錯誤清單，鑒于運氣好，錯誤幾乎沒有，等慢慢的記錄吧

（1）There was an error collecting ganglia data (127.0.0.1:8652):fsockopen error: Connection refused 解決辦法

         解除安裝yum remove ganglia-web ganglia-gmetad

         重新安裝yum install ganglia-web    ----- ganglia-web本身有引用gmetad，這裡就不需要安裝ganglia-gmetad了，不過解除安裝了重裝，當然要重新配置

         啟動兩個程序即可

下面是Ganglia-3.6.0的安裝配置

參考  http://www.linuxidc.com/Linux/2014-01/95804p2.htm

由于安裝好HTTPD後 /etc /httpd /conf /http.conf 預設的使用者使用者組都是  apache 這點要注意，在gmetad 中設定  setuid_username "apache"  gmond中也設定user 為 apache   ，/var/lib/ganglia/rrd 的使用者使用者組都為apache

Of course, If you change user or group in /etc/httpd/conf/http.conf ,You should modify other configures too.I use yum to install my httpd,if you use the file of tar.gz to install by youself,you can customize you path to save http.conf