hadoop叢集環境部署之shell

【這裡記錄一下，環境中遇到的一些有用的解決特定問題的shell】

1、如果叢集中使用到了chukwa搜集資料，又需要導入hive進行分析，因為load之後，chukwa目錄中會留下許多空目錄，白白耗費namenode記憶體

function clear_empty(){
list=`hadoop dfs -du $CHUKWA_DIR/$1 |awk -F " " '$1=={print $2}'`
for item in $list
do
        hadoop dfs -rmr $item
done
}
           

可以定時執行以上腳本，便可清理空目錄，參數可以自己控制