MapBalanceReduce介紹

目的：

1、從根本上解決reduce時的資料傾斜問題

2、從根本上解決基于優先級的并發排程問題

Map-Balance-Reduce (簡稱MBR)是在現有Map-Reduce模型基礎之上的改進，以從根本上解決reduce傾斜問題，不用預先分析KEY的分布，程式設計接口在map和reduce之外，增加balance，但是隻有在不均衡的時候balance才會被調用到。

如果某個Split大于設定的值，則再分割，如果某個Split小于指定的值，則和其它的合并（隻需要邏輯上的合并，不需要實體上合并，這樣對性能不會有影響）。

    本文轉自eyjian 51CTO部落格，原文連結：http://blog.51cto.com/mooon/275492，如需轉載請自行聯系原作者