天天看點

Hive進階優化

job1: a join b aa job2: c join d cc job3: aa join cc 說明:job1和job2可以并行執行。
它是對map/reduce 運作的任務,一個jvm可以運作多個map 任務。小資料可以使用jvm重用。性能可以提升70%
預設reduce的任務是一個,可以根據自己的業務進行手動調整,不斷測試把它調節到一個合适的值。
說明:MapReduce調優,預設啟用的,最後把它關閉掉,這隻為false。 場景:運作reduce時,有的慢,有的快,applicationMaster在另外一個機器上啟動一個一模一樣的reduce,那個先完成用那個。
說明:依照塊的大小來