Python 基于pykafka簡單實作KAFKA消費者

基于pykafka簡單實作KAFKA消費者

  By: 授客 QQ：1033553122

1．測試環境

python 3.4

zookeeper-3.4.13.tar.gz

下載下傳位址1：

http://zookeeper.apache.org/releases.html#download

https://www.apache.org/dyn/closer.cgi/zookeeper/

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

下載下傳位址2：

https://pan.baidu.com/s/1dnBgHvySE9pVRZXJVmezyQ

kafka_2.12-2.1.0.tgz

http://kafka.apache.org/downloads.html

https://pan.baidu.com/s/1VnHkJgy4iQ73j5rLbEL0jw

pykafka-2.8.0.tar.gz

https://pypi.org/project/pykafka/

https://files.pythonhosted.org/packages/55/4b/4828ec5ed766cca0c27de234688122494c5762965e70deeb88b84f5d8d98/pykafka-2.8.0.tar.gz

2．問題描述

使用python-kafka類庫實作kafka消費者時，發現程式有時候會自動停止消費，對一些參數進行配置後無果，換成pykafka類庫實作，搞定

3．代碼簡單實作

#-*- encoding:utf-8 -*-

__author__ = 'shouke'

from pykafka import KafkaClient

client = KafkaClient(hosts="127.0.0.1:9092")

# 擷取主題

print(client.topics)

topic = client.topics['MY_TOPIC1']

# 擷取消費者

consumer  = topic.get_balanced_consumer('MY_GROUP1', auto_commit_enable=True, auto_commit_interval_ms=3000)

for message in consumer:

    if message is not None:

        print(message.offset, message.value)

參考連結:

https://pykafka.readthedocs.io/en/latest/index.html

作者：授客

QQ：1033553122

全國軟體測試QQ交流群：7156436

Git位址：https://gitee.com/ishouke

友情提示：限于時間倉促，文中可能存在錯誤，歡迎指正、評論！

作者五行缺錢，如果覺得文章對您有幫助，請掃描下邊的二維碼打賞作者，金額随意，您的支援将是我繼續創作的源動力，打賞後如有任何疑問，請聯系我!!!

           微信打賞                       

支付寶打賞                  全國軟體測試交流QQ群