Yarn節點unhealthy解決辦法

這幾天用Spark計算任務時，發現yarn上有兩個節點不參與計算，很是tm的離譜。

使用下面的指令檢視Yarn上的nodemanager節點狀态

yarn node -list -all
           

發現兩個節點處于unhealthy狀态。

經過Google查明原因：這種情況一般是因為那個節點上HDFS檔案過多，導緻剩餘磁盤空間不足，一般解決方法是删除HDFS上不常用的檔案。

或者更改yarn-site.xml下檔案，添加或者修改這個參數：

<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>99.99</value>
</property>
           

該參數表示每塊盤符的最高使用比例，超過該值該節點就會被列入不健康清單，并且不再使用該盤符參與計算任務。預設值為90%，将該值增大即可解決問題，可以更改至99.99%。

之後重新開機HDFS還有YARN即可，再次使用

yarn node -list -all
           

可以看到所有節點可以都變為正常狀态，OK。