天天看點

redis應用場景

     毫無疑問,Redis開創了一種新的資料存儲思路,使用Redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用Redis靈活多變的資料結構和資料操作,為不同的大象建構不同的冰箱。希望你喜歡這個比喻。

一、Redis常用資料類型

Redis最為常用的資料類型主要有以下五種:

String

Hash

List

Set

Sorted set

在具體描述這幾種資料類型之前,我們先通過一張圖了解下Redis内部記憶體管理中是如何描述這些不同資料類型的:

redis應用場景

     首先Redis内部使用一個redisObject對象來表示所有的key和value,redisObject最主要的資訊如上圖所示:type代表一個value對象具體是何種資料類型,encoding是不同資料類型在redis内部的存儲方式,比如:type=string代表value存儲的是一個普通字元串,那麼對應的encoding可以是raw或者是int,如果是int則代表實際redis内部是按數值型類存儲和表示這個字元串的,當然前提是這個字元串本身可以用數值表示,比如:"123" "456"這樣的字元串。

    這裡需要特殊說明一下vm字段,隻有打開了Redis的虛拟記憶體功能,此字段才會真正的配置設定記憶體,該功能預設是關閉狀态的。通過上圖我們可以發現Redis使用redisObject來表示所有的key/value資料是比較浪費記憶體的,當然這些記憶體管理成本的付出主要也是為了給Redis不同資料類型提供一個統一的管理接口,實際作者也提供了多種方法幫助我們盡量節省記憶體使用,我們随後會具體讨論。

二、各種資料類型應用和實作方式

下面我們先來逐一的分析下這五種資料類型的使用和内部實作方式:

1、String

String 資料結構是簡單的key-value類型,value其實不僅是String,也可以是數字。

常用指令:get、set、incr、decr、mget等。

應用場景:String是最常用的一種資料類型,普通的key/ value 存儲都可以歸為此類,即可以完全實作目前 Memcached 的功能,并且效率更高。還可以享受Redis的定時持久化,記錄檔及 Replication等功能。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外,Redis還提供了下面一些操作: 

擷取字元串長度

往字元串append内容

設定和擷取字元串的某一段内容

設定及擷取字元串的某一位(bit)

批量設定一系列字元串的内容

使用場景:正常key-value緩存應用。正常計數: 微網誌數, 粉絲數。

實作方式:String在redis内部存儲預設就是一個字元串,被redisObject所引用,當遇到incr,decr等操作時會轉成數值型進行計算,此時redisObject的encoding字段為int。

2、Hash

常用指令:hget,hset,hgetall 等。

應用場景:

我們簡單舉個執行個體來描述下Hash的應用場景,比如我們要存儲一個使用者資訊對象資料,包含以下資訊:

使用者ID為查找的key,存儲的value使用者對象包含姓名,年齡,生日等資訊,如果用普通的key/value結構來存儲,主要有以下2種存儲方式:

redis應用場景

    第一種方式将使用者ID作為查找key,把其他資訊封裝成一個對象以序列化的方式存儲,這種方式的缺點是,增加了序列化/反序列化的開銷,并且在需要修改其中一項資訊時,需要把整個對象取回,并且修改操作需要對并發進行保護,引入CAS等複雜問題。

redis應用場景

    第二種方法是這個使用者資訊對象有多少成員就存成多少個key-value對兒,用使用者ID+對應屬性的名稱作為唯一辨別來取得對應屬性的值,雖然省去了序列化開銷和并發問題,但是使用者ID為重複存儲,如果存在大量這樣的資料,記憶體浪費還是非常可觀的。

那麼Redis提供的Hash很好的解決了這個問題,Redis的Hash實際是内部存儲的Value為一個HashMap,并提供了直接存取這個Map成員的接口,如下圖:

redis應用場景

    也就是說,Key仍然是使用者ID, value是一個Map,這個Map的key是成員的屬性名,value是屬性值,這樣對資料的修改和存取都可以直接通過其内部Map的Key(Redis裡稱内部Map的key為field), 也就是通過 key(使用者ID) + field(屬性标簽) 就可以操作對應屬性資料了,既不需要重複存儲資料,也不會帶來序列化和并發修改控制的問題。很好的解決了問題。

    這裡同時需要注意,Redis提供了接口(hgetall)可以直接取到全部的屬性資料,但是如果内部Map的成員很多,那麼涉及到周遊整個内部Map的操作,由于Redis單線程模型的緣故,這個周遊操作可能會比較耗時,而另其它用戶端的請求完全不響應,這點需要格外注意。

使用場景:存儲部分變更資料,如使用者資訊等。

實作方式:

   上面已經說到Redis Hash對應Value内部實際就是一個HashMap,實際這裡會有2種不同實作,這個Hash的成員比較少時Redis為了節省記憶體會采用類似一維數組的方式來緊湊存儲,而不會采用真正的HashMap結構,對應的value redisObject的encoding為zipmap,當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。

3、List

常用指令:lpush,rpush,lpop,rpop,lrange等。

Redis list的應用場景非常多,也是Redis最重要的資料結構之一,比如twitter的關注清單,粉絲清單等都可以用Redis的list結構來實作。

List 就是連結清單,相信略有資料結構知識的人都應該能了解其結構。使用List結構,我們可以輕松地實作最新消息排行等功能。List的另一個應用就是消息隊列,

可以利用List的PUSH操作,将任務存在List中,然後工作線程再用POP操作将任務取出進行執行。Redis還提供了操作List中某一段的api,你可以直接查詢,删除List中某一段的元素。

Redis list的實作為一個雙向連結清單,即可以支援反向查找和周遊,更友善操作,不過帶來了部分額外的記憶體開銷,Redis内部的很多實作,包括發送緩沖隊列等也都是用的這個資料結構。

Redis的list是每個子元素都是String類型的雙向連結清單,可以通過push和pop操作從清單的頭部或者尾部添加或者删除元素,這樣List即可以作為棧,也可以作為隊列。 

消息隊列系統

使用list可以建構隊列系統,使用sorted set甚至可以建構有優先級的隊列系統。

比如:将Redis用作日志收集器

實際上還是一個隊列,多個端點将日志資訊寫入Redis,然後一個worker統一将所有日志寫到磁盤。

取最新N個資料的操作

記錄前N個最新登陸的使用者Id清單,超出的範圍可以從資料庫中獲得。

比如sina微網誌:

     在Redis中我們的最新微網誌ID使用了常駐緩存,這是一直更新的。但是我們做了限制不能超過5000個ID,是以我們的擷取ID函數會一直詢問Redis。隻有在start/count參數超出了這個範圍的時候,才需要去通路資料庫。

    我們的系統不會像傳統方式那樣“重新整理”緩存,Redis執行個體中的資訊永遠是一緻的。SQL資料庫(或是硬碟上的其他類型資料庫)隻是在使用者需要擷取“很遠”的資料時才會被觸發,而首頁或第一個評論頁是不會麻煩到硬碟上的資料庫了。

4、Set

常用指令:

sadd,spop,smembers,sunion 等。

     Redis set對外提供的功能與list類似是一個清單的功能,特殊之處在于set是可以自動排重的,當你需要存儲一個清單資料,又不希望出現重複資料時,set是一個很好的選擇,并且set提供了判斷某個成員是否在一個set集合内的重要接口,這個也是list所不能提供的。

Set 就是一個集合,集合的概念就是一堆不重複值的組合。利用Redis提供的Set資料結構,可以存儲一些集合性的資料。

案例:

在微網誌應用中,可以将一個使用者所有的關注人存在一個集合中,将其所有粉絲存在一個集合。Redis還為集合提供了求交集、并集、差集等操作,可以非常友善的實作如共同關注、共同喜好、二度好友等功能,對上面的所有集合操作,你還可以使用不同的指令選擇将結果傳回給用戶端還是存集到一個新的集合中。

Set是集合,是String類型的無序集合,set是通過hashtable實作的,概念和數學中個的集合基本類似,可以交集,并集,差集等等,set中的元素是沒有順序的。

實作方式: 

set 的内部實作是一個 value永遠為null的HashMap,實際就是通過計算hash的方式來快速排重的,這也是set能提供判斷一個成員是否在集合内的原因。

交集,并集,差集:(Set)

擷取某段時間所有資料去重值

這個使用Redis的set資料結構最合适了,隻需要不斷地将資料往set中扔就行了,set意為集合,是以會自動排重。

5、Sorted Set

zadd,zrange,zrem,zcard等

使用場景:

     Redis sorted set的使用場景與set類似,差別是set不是自動有序的,而sorted set可以通過使用者額外提供一個優先級(score)的參數來為成員排序,并且是插入有序的,即自動排序。當你需要一個有序的并且不重複的集合清單,那麼可以選擇sorted set資料結構,比如twitter 的public timeline可以以發表時間作為score來存儲,這樣擷取時就是自動按時間排好序的。

    和Set相比,Sorted Set增加了一個權重參數score,使得集合中的元素能夠按score進行有序排列,比如一個存儲全班同學成績的Sorted Set,其集合value可以是同學的學号,而score就可以是其考試得分,這樣在資料插入集合的時候,就已經進行了天然的排序。另外還可以用Sorted Set來做帶權重的隊列,比如普通消息的score為1,重要消息的score為2,然後工作線程可以選擇按score的倒序來擷取工作任務。讓重要的任務優先執行。

    Redis sorted set的内部使用HashMap和跳躍表(SkipList)來保證資料的存儲和有序,HashMap裡放的是成員到score的映射,而跳躍表裡存放的是所有的成員,排序依據是HashMap裡存的score,使用跳躍表的結構可以獲得比較高的查找效率,并且在實作上比較簡單。

三、Redis實際應用場景

1、顯示最新的項目清單

下面這個語句常用來顯示最新項目,随着資料多了,查詢毫無疑問會越來越慢。

      在Web應用中,“列出最新的回複”之類的查詢非常普遍,這通常會帶來可擴充性問題。這令人沮喪,因為項目本來就是按這個順序被建立的,但要輸出這個順序卻不得不進行排序操作。類似的問題就可以用Redis來解決。比如說,我們的一個Web應用想要列出使用者貼出的最新20條評論。在最新的評論邊上我們有一個“顯示全部”的連結,點選後就可以獲得更多的評論。我們假設資料庫中的每條評論都有一個唯一的遞增的ID字段。我們可以使用分頁來制作首頁和評論頁,使用Redis的模闆,每次新評論發表時,我們會将它的ID添加到一個Redis清單:

我們将清單裁剪為指定長度,是以Redis隻需要儲存最新的5000條評論:

每次我們需要擷取最新評論的項目範圍時,我們調用一個函數來完成(使用僞代碼):

       這裡我們做的很簡單。在Redis中我們的最新ID使用了常駐緩存,這是一直更新的。但是我們做了限制不能超過5000個ID,是以我們的擷取ID函數會一直詢問Redis。隻有在start/count參數超出了這個範圍的時候,才需要去通路資料庫。

       我們的系統不會像傳統方式那樣“重新整理”緩存,Redis執行個體中的資訊永遠是一緻的。SQL資料庫(或是硬碟上的其他類型資料庫)隻是在使用者需要擷取“很遠”的資料時才會被觸發,而首頁或第一個評論頁是不會麻煩到硬碟上的資料庫了。

2、排行榜應用,取TOP N操作

     這個需求與上面需求的不同之處在于,取最新N個資料的操作以時間為權重,這個是以某個條件為權重,比如按頂的次數排序,這時候就需要我們的sorted set出馬了,将你要排序的值設定成sorted set的score,将具體的資料設定成相應的value,每次隻需要執行一條ZADD指令即可。

熱門,排行榜應用:

     另一個很普遍的需求是各種資料庫的資料并非存儲在記憶體中,是以在按得分排序以及實時更新這些幾乎每秒鐘都需要更新的功能上資料庫的性能不夠理想。典型的比如那些線上遊戲的排行榜,比如一個Facebook的遊戲,根據得分你通常想要:

- 列出前100名高分選手

- 列出某使用者目前的全球排名

這些操作對于Redis來說小菜一碟,即使你有幾百萬個使用者,每分鐘都會有幾百萬個新的得分。模式是這樣的,每次獲得新得分時,我們用這樣的代碼:

你可能用userID來取代username,這取決于你是怎麼設計的。得到前100名高分使用者很簡單:

 使用者的全球排名也相似,隻需要:

3、删除與過濾

      我們可以使用LREM來删除評論。如果删除操作非常少,另一個選擇是直接跳過評論條目的入口,報告說該評論已經不存在。 有些時候你想要給不同的清單附加上不同的過濾器。如果過濾器的數量受到限制,你可以簡單的為每個不同的過濾器使用不同的Redis清單。畢竟每個清單隻有5000條項目,但Redis卻能夠使用非常少的記憶體來處理幾百萬條項目。

4、按照使用者投票和時間排序

     排行榜的一種常見變體模式就像Reddit或Hacker News用的那樣,新聞按照類似下面的公式根據得分來排序:score = points / time^alpha 是以使用者的投票會相應的把新聞挖出來,但時間會按照一定的指數将新聞埋下去。下面是我們的模式,當然算法由你決定。模式是這樣的,開始時先觀察那些可能是最新的項目,例如首頁上的1000條新聞都是候選者,是以我們先忽視掉其他的,這實作起來很簡單。每次新的新聞貼上來後,我們将ID添加到清單中,使用LPUSH + LTRIM,確定隻取出最新的1000條項目。有一項背景任務擷取這個清單,并且持續的計算這1000條新聞中每條新聞的最終得分。計算結果由ZADD指令按照新的順序填充生成清單,老新聞則被清除。這裡的關鍵思路是排序工作是由背景任務來完成的。

5、處理過期項目

另一種常用的項目排序是按照時間排序。我們使用unix時間作為得分即可。 模式如下:

- 每次有新項目添加到我們的非Redis資料庫時,我們把它加入到排序集合中。這時我們用的是時間屬性,current_time和time_to_live。

- 另一項背景任務使用ZRANGE…SCORES查詢排序集合,取出最新的10個項目。如果發現unix時間已經過期,則在資料庫中删除條目。

6、計數

      Redis是一個很好的計數器,這要感謝INCRBY和其他相似指令。我相信你曾許多次想要給資料庫加上新的計數器,用來擷取統計或顯示新資訊,但是最後卻由于寫入敏感而不得不放棄它們。好了,現在使用Redis就不需要再擔心了。有了原子遞增(atomic increment),你可以放心的加上各種計數,用GETSET重置,或者是讓它們過期。例如這樣操作:

你可以計算出最近使用者在頁面間停頓不超過60秒的頁面浏覽量,當計數達到比如20時,就可以顯示出某些條幅提示,或是其它你想顯示的東西。

7、特定時間内的特定項目

        另一項對于其他資料庫很難,但Redis做起來卻輕而易舉的事就是統計在某段特點時間裡有多少特定使用者通路了某個特定資源。比如我想要知道某些特定的注冊使用者或IP位址,他們到底有多少通路了某篇文章。每次我獲得一次新的頁面浏覽時我隻需要這樣做:

當然你可能想用unix時間替換day1,比如time()-(time()%3600*24)等等。 想知道特定使用者的數量嗎?隻需要使用

需要測試某個特定使用者是否通路了這個頁面?

8、查找某個值所在的區間(區間無重合) :(Sorted Set)

例如有下面兩個範圍,10-20和30-40

A_start 10, A_end 20

B_start 30, B_end 40

我們将這兩個範圍的起始位置存在Redis的Sorted Sets資料結構中,基本範圍起始值作為score,範圍名加start和end為其value值:

這樣資料在插入Sorted Sets後,相當于是将這些起始位置按順序排列好了。現在我需要查找15這個值在哪一個範圍中,隻需要進行如下的zrangbyscore查找:

這個指令的意思是在Sorted Sets中查找大于15的第一個值。(+inf在Redis中表示正無窮大,15前面的括号表示>15而非>=15)查找的結果是A_end,由于所有值是按順序排列的,是以可以判定15是在A_start到A_end區間上,也就是說15是在A這個範圍裡。至此大功告成。

9、交集,并集,差集:(Set)