(simple 简单 easy 容易 expand 的拓展)
kafka是由apache基金会维护的一个分布式订阅分发系统,kafka它最初的目的是为了解决,统一,高效低延时,高通量(同时能传输的数据量)并且高可用一个消息平台,它是分布式消息队列,分布式日志,数据传输通道的不二之选,但是可惜的时php的拓展实在不是很好用(php-kafka拓展已经长期不维护存在非常多的问题,rdkafkac底层编写不利于使用),希望可以更加方便的来使用kafka这块肥肉于是基于rdkafka封装的一个简单舒适kafka拓展诞生了!
附上:
(see-kafka支持0.9~0.10版本,对0.8版本以及以前的版本协议不支持)
首先需要安装配置好zookeeper+kafka:可以参考作者博客下的kafka模块下的介绍安装,作者博客介绍是对于0.8.2.2的安装方式,但是和0.9和0.10的安装并没有区别,只需要去下载0.9和0.10的包即可
在使用之前需要按照顺序先安装librdkafka,在安装php-rdkafka:
这个时候使用php -m 可以看到拓展列表内存在 rdkafka这项证明拓展已经安装成功
see-kafka完美支持phalapi,只需要把去拓展库中获取kafka拓展即可,当然不是phalapi的也可以使用只需要include文件下的kafka.php即可使用
kafka最基础的两个角色其中一个就是producer(可以参考作者博客介绍)
向kafka中的一个topic写入一条消息,需要写入多条可以多次使用setmassage
对于consumer来说支持4种从offset的获取方式分别为:
kafka_offset_stored #通过group来获取消息的offset(必须设置group)
kafka_offset_end #获取尾部的offset
kafka_offset_beginning #获取头部的offset
手动指定offset开始值
此例子适合获取一段数据就结束的场景,每一次getmassage都会建立连接然后关闭连接,当循环使用getmassage会造成相对严重的效率问题
例子2适合脚本队列任务
see-kafka提供两种配置文件的配置,分别传入key和value,具体配置项已经作用参看如下地址:
<a href="https://github.com/edenhill/librdkafka/blob/master/configuration.md">https://github.com/edenhill/librdkafka/blob/master/configuration.md</a>
在使用consumer的group(kafka_offset_stored)中需要注意以下配置项,否则你在使用一个新的group会从当前开始计算offset(根据场景):
consumer获取之后是需要提交告诉kafka获取成功并且更新offset,但是如果中途报错没有提交offset则下次还是会从头获取,此项配置设置一个自动提交时间,当失败后之前处理的也会吧offset提交到kafka:
在初始化kafka_lite会对集群端口进行验证,如果无任何一个可用的则会抛出一个no can use kafka异常,也可以主动触发ping操作检查集群是否有有可用机器
当获取consumer异常了会抛出一个kafka_exception_base异常,异常有一个code号可参考,exception/err.php文件,推荐使用try-catch进行处理
see-kafka的宗旨是为了更加方便把kafka和php相结合,并且能够方便的进行使用,如果大家感兴趣可以使用看看,有问题可以进行反馈,此拓展作者会长期维护下去!
官方交流群: 438882880