天天看點

OushuDB 管理指南系統擴容均衡HDFS

OushuDB 管理指南系統擴容均衡HDFS
sudo -u hdfs hdfs balancer -threshold 5           

其中5為threshold_value,表示一個DataNode的磁盤使用可以和其他節點相比的偏移量。threshold_value越小,均衡時間越長。

如果你不指定threshold_value,預設值是20%。例如,如果這個叢集的磁盤使用率是40%,threshold_value為20%會使得所有機器的磁盤使用率在 20%和60%之間。如果一個節點的使用率在20%和60%之間,它上面的塊不會再被移動。

建議設定threshold_value為5

均衡時間也會受到網絡帶寬的影響。預設均衡可以使用的帶寬為1MB/s,你可以使用下面的指令調整。建議設為64MB。

sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth 67108864           

清除OushuDB metadata緩存

使用如下指令清除OushuDB metadata緩存,可以加速緩存的更新。

postgres=# select gp_metadata_cache_clear();           

(可選)針對HASH分布的表的處理

設定default_hash_table_bucket_number

default_hash_table_bucket_number為建立hash分布的表時預設使用的bucket數。建議按照下表進行配置。           
OushuDB 管理指南系統擴容均衡HDFS

重分布Hash分布的表

如果你想是的Hash分布的表可以使用到擴容後的計算能力,你可以使用ALTER TABLE或者CREATE TABLE AS來重新分布。

繼續閱讀