天天看點

cloudera manager服務之kafka

cloudera manager服務之kafka

Kafka是一種高吞吐量的分布式釋出訂閱消息系統,它可以處理消費者規模的網站中的所有動作流資料。

cloudera manager服務之kafka

1.broker: kafka叢集包含一個或多個伺服器,這種伺服器被稱為broker。

   每條釋出到kafka叢集的消息都有一個類别,這個類别被稱為Topic。(實體上不同Topic的消息分開存儲,邏輯上一個Topic的消息雖然儲存于一個或多個broker上但使用者隻需指定消息的Topic即可生産或消費資料而不必關心資料存于何處)

2.kafka跨叢集同步方案--MirrorMaker。【解決Kafka跨叢集同步、建立Kafka叢集鏡像等相關問題】

   http://jingyan.baidu.com/article/8065f87fea4d3a233124989f.html-----建立鏡像的過程

   http://jingyan.baidu.com/article/7f766daf967bec4101e1d0f3.html

cloudera manager服務之kafka

3.kafka broker 配置說明 ---配置檔案位置  /opt/cloudera/parcels/KAFKA-2.0.2-1.2.0.2.p0.5/etc/kafka/conf.dist/server.properties:

   http://blog.csdn.net/itleochen/article/details/18604787?utm_source=tuicool&utm_medium=referral

4.Kafka(一):基礎

   http://blog.csdn.net/yfkiss/article/details/17348693