天天看點

《Hadoop實戰第2版》——2.5節日志分析及幾個小技巧

2.5 日志分析及幾個小技巧

如果大家在安裝的時候遇到問題,或者按步驟安裝完成卻不能運作hadoop,那麼建議仔細檢視日志資訊。hadoop記錄了詳盡的日志資訊,日志檔案儲存在logs檔案夾内。

無論是啟動還是以後會經常用到的mapreduce中的每一個job,或是hdfs等相關資訊,hadoop均存有日志檔案以供分析。

例如:namenode和datanode的namespaceid不一緻,這個錯誤是很多人在安裝時都會遇到的。日志資訊為:

若hdfs一直沒有啟動,讀者可以查詢日志,并通過日志進行分析,日志提示資訊顯示了namenode和datanode的namespaceid不一緻。

這個問題一般是由于兩次或兩次以上格式化namenode造成的,有兩種方法可以解決,第一種方法是删除datanode的所有資料,第二種方法就是修改每個datanode的namespaceid(位于/dfs/data/current/version檔案中)或修改namenode的namespaceid(位于/dfs/name/current/version檔案中)。使其一緻。

下面這兩種方法在實際應用也可能會用到。

1)重新開機壞掉的datanode或jobtracker。當hadoop叢集的某單個節點出現問題時,一般不必重新開機整個系統,隻須重新開機這個節點,它會自動連入整個叢集。

在壞死的節點上輸入如下指令即可:

2)動态加入datanode或tasktracker。下面這條指令允許使用者動态地将某個節點加入到叢集中。

繼續閱讀