Redis去重方法

目錄

1.基于 set

2.基于 bit

3.基于 HyperLogLog

4. 基于bloomfilter

這篇文章主要介紹了Redis實作唯一計數的3種方法分享,本文講解了基于SET、基于 bit、基于 HyperLogLog三種方法,需要的朋友可以參考下

唯一計數是網站系統中十分常見的一個功能特性，例如網站需要統計每天通路的人數 unique visitor （也就是 UV）。計數問題很常見，但解決起來可能十分複雜：一是需要計數的量可能很大，比如大型的站點每天有數百萬的人通路，資料量相當大；二是通常還希望擴充計數的次元，比如除了需要每天的 UV，還想知道每周或每月的 UV，這樣導緻計算十分複雜。

在關系資料庫存儲的系統裡，實作唯一計數的方法就是 select count(distinct <item_id>)，它十分簡單，但是如果資料量很大，這個語句執行是很慢的。用關系資料庫另外一個問題是插入資料性能也不高。

Redis 解決這類計數問題得心應手，相比關系資料庫速度更快，消耗資源更少，甚至提供了 3 種不同的方法。

Redis 的 set 用于儲存唯一的資料集合，通過它可以快速判斷某一個元素是否存在于集合中，也可以快速計算某一個集合的元素個數，另外和可以合并集合到一個新的集合中。涉及的指令如下：

複制代碼 代碼如下:

基于 set 的方法簡單有效，計數精确，适用面廣，易于了解，它的缺點是消耗資源比較大（當然比起關系資料庫是少很多的），如果元素個數很大（比如上億的計數），消耗記憶體很恐怖。

Redis 的 bit 可以用于實作比 set 記憶體高度壓縮的計數，它通過一個 bit 1 或 0 來存儲某個元素是否存在資訊。例如網站唯一訪客計數，可以把 user_id 作為 bit 的偏移量 offset，設定為 1 表示有通路，使用 1 MB的空間就可以存放 800 多萬使用者的一天通路計數情況。涉及的指令如下：

基于 bit 的方法比起 set 空間消耗小得多，但是它要求元素能否簡單映射為位偏移，适用面窄了不少，另外它消耗的空間取決于最大偏移量，和計數值無關，如果最大偏移量很大，消耗記憶體也相當可觀。

實作超大資料量精确的唯一計數都是比較困難的，但是如果隻是近似的話，計算科學裡有很多高效的算法，其中 HyperLogLog Counting 就是其中非常著名的算法，它可以僅僅使用 12 k左右的記憶體，實作上億的唯一計數，而且誤差控制在百分之一左右。涉及的指令如下：

redis 提供的這三種唯一計數方式各有優劣，可以充分滿足不同情況下的計數要求。

BloomFilter是利用類似位圖或者位集合資料結構來存儲資料，利用位數組來簡潔的表示一個集合，并且能夠快速的判斷一個元素是不是已經存在于這個集合。雖然BloomFilter不是100%準确，但是可以通過調節參數，使用Hash函數的個數，位數組的大小來降低失誤率。這樣調節完全可以把失誤率降低到接近于0。可以滿足大部分場景了。

redis使用布隆過濾器需要安裝插件：centos中安裝redis插件bloom-filter