2.5 日志分析及幾個小技巧
如果大家在安裝的時候遇到問題,或者按步驟安裝完成卻不能運作hadoop,那麼建議仔細檢視日志資訊。hadoop記錄了詳盡的日志資訊,日志檔案儲存在logs檔案夾内。
無論是啟動還是以後會經常用到的mapreduce中的每一個job,或是hdfs等相關資訊,hadoop均存有日志檔案以供分析。
例如:namenode和datanode的namespaceid不一緻,這個錯誤是很多人在安裝時都會遇到的。日志資訊為:
若hdfs一直沒有啟動,讀者可以查詢日志,并通過日志進行分析,日志提示資訊顯示了namenode和datanode的namespaceid不一緻。
這個問題一般是由于兩次或兩次以上格式化namenode造成的,有兩種方法可以解決,第一種方法是删除datanode的所有資料,第二種方法就是修改每個datanode的namespaceid(位于/dfs/data/current/version檔案中)或修改namenode的namespaceid(位于/dfs/name/current/version檔案中)。使其一緻。
下面這兩種方法在實際應用也可能會用到。
1)重新開機壞掉的datanode或jobtracker。當hadoop叢集的某單個節點出現問題時,一般不必重新開機整個系統,隻須重新開機這個節點,它會自動連入整個叢集。
在壞死的節點上輸入如下指令即可:
2)動态加入datanode或tasktracker。下面這條指令允許使用者動态地将某個節點加入到叢集中。