hbase報錯ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 采坑記

1、錯誤異常資訊：

2、解決方式：

1）、檢查發現此時hadoop 處于安全模式，需要讓hadoop退出安全模式

2） 重新開機hbase ，發現Hbase還是服務不能正常使用，Hmaster異常，Regionserver異常，異常日志如下：

3）、問題分析

解決前以排除hdfs問題，datanode異常資訊是由hbase Hmaster不能正常啟動導緻，172.33.2.17是active（zk确定）Hmaster節點；

根據Reginserver和Hmaster的日志org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is notrunning yet

Master is not running yet

确定是Hmaster服務不能正常啟動導緻；

根據Hmaster異常日志：2018-05-25 10:19:59,868 WARN [hadoop001:60000.activeMasterManager] wal.WALProcedureStore: Unable toread tracker for hdfs://beh/hbase/MasterProcWALs/state-00000000000000040786.log- Missing trailer: size=11 startPos=11檢視目錄hdfs://beh/hbase/MasterProcWALs，該目錄總大小為1.3T大小

Ø 原因:Hmaster狀态變為active狀态，它就會有許多不同的日志來recover, lease, read；但是日志量巨大，是給了namenode很大壓力，耗盡了tcp緩沖空間，導緻服務恢複時間超長。

4）、解決方式：  删除hdfs://beh/hbase/MasterProcWALs目錄下的日志檔案 ，然後重新開機hbase叢集

作者的原創文章，轉載須注明出處。原創文章歸作者所有，歡迎轉載，但是保留版權。對于轉載了部落客的原創文章，不标注出處的，作者将依法追究版權，請尊重作者的成果。