kafka 三種消費語義

消費語義

at most once：最多消費一次，消息可能會丢失-------log日志

at least once：至少消費一次，但是會重複消費 例如手動異步送出offset

exactly once：正好一次，不丢失，不重複

0.10.0.1不支援，官方說0.11已支援
           

例子

1.log日志允許丢失 使用第一種

2.log日志算錢的不允許丢，使用第二種+去重+redis

部分公司去重方法，對每一條日志取一個hash值，存放到redis裡面，如果redis裡面有了，就不放到下遊去處理

3.mysql sql語句入庫 選擇第二種并使用hbase的put保證去重複。

insert into。。。1；

insert into。。。2；

insert into。。。3；