天天看點

如何指定Hadoop指令行日志輸出級别

溫馨提示:如果使用電腦檢視圖檔不清晰,可以使用手機打開文章單擊文中的圖檔放大檢視高清原圖。

Fayson的github:

​​https://github.com/fayson/cdhproject​​

提示:代碼塊部分可以左右滑動檢視噢

1.文檔編寫目的

使用Hadoop的用戶端指令時,在指令執行報錯的情況下,需要使用通過DEBUG日志來分析報錯原因,在CM上通過設定HDFS的Gateway角色日志輸出級别為DEBUG,但指令行使用hadoop指令并未輸出DEBUG日志。

如何指定Hadoop指令行日志輸出級别

以上方式設定後,指令行執行hadoop指令并不能輸出Debug日志

如何指定Hadoop指令行日志輸出級别
  • 測試環境說明

1.CM5.15.0和CDH5.14.2

2.指令設定輸出日志級别

通過在指令行設定HADOOP_ROOT_LOGGER的環境變量設定hadoop指令的日志輸出級别,操作如下:

[root@cdh03 ~]# export HADOOP_ROOT_LOGGER=DEBUG,console
[root@cdh03 ~]# hadoop fs -ls /      

(可左右滑動)

如何指定Hadoop指令行日志輸出級别

可以看到有了詳細的DEBUG日志輸出。

注意:在Cloudera Manager5.3之前,可以通過如下方式實作

export HADOOP_CLIENT_OPTS="-Droot.logger=DEBUG,console"
hadoop fs -ls /      

(可左右滑動)

提示:代碼塊部分可以左右滑動檢視噢

為天地立心,為生民立命,為往聖繼絕學,為萬世開太平。

溫馨提示:如果使用電腦檢視圖檔不清晰,可以使用手機打開文章單擊文中的圖檔放大檢視高清原圖。

推薦關注Hadoop實操,第一時間,分享更多Hadoop幹貨,歡迎轉發和分享。

繼續閱讀