Kafka的配置要點

Consumer

負載低的情況下可以每個線程消費多個partition。但負載高的情況下，Consumer 線程數最好和Partition數量保持一緻。

見：http://www.open-open.com/lib/view/open1434551761926.html - 四. consumer和partition

Partition

1天有 1億行可以分8個分區，如果每天幾十萬行就一個分區

見：http://www.cnblogs.com/oftenlin/p/4045924.html

隊列限制

主要設定參數為 message.max.bytes，queued.max.requests，socket.request.max.bytes

見：Kafka 之 中級 http://my.oschina.net/frankwu/blog/305010