kafka 三种消费语义

消费语义

at most once：最多消费一次，消息可能会丢失-------log日志

at least once：至少消费一次，但是会重复消费 例如手动异步提交offset

exactly once：正好一次，不丢失，不重复

0.10.0.1不支持，官方说0.11已支持
           

例子

1.log日志允许丢失 使用第一种

2.log日志算钱的不允许丢，使用第二种+去重+redis

部分公司去重方法，对每一条日志取一个hash值，存放到redis里面，如果redis里面有了，就不放到下游去处理

3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。

insert into。。。1；

insert into。。。2；

insert into。。。3；