Redis資料類型及使用場景

Redis資料類型及使用場景

摘要：Redis相比其它的KV資料庫,其一大特點是支援豐富的資料類型.它一共支援5種資料類型,下面逐一介紹這5種資料類型及其使用場景...

string

簡介：Strings資料類型是最常用、簡單的key-value類型，普通的key/ value 存儲都可以歸為此類。value不僅可以是字元串，也可以是數字。因為是二進制安全的，是以你完全可以把一個圖檔檔案的内容作為string來存儲。Redis的string可以完全實作目前memcached的功能，并且效率更高。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外，Redis還額外提供了下面一些操作：

• 擷取字元串長度
• 往字元串append内容
• 設定和擷取字元串的某一段内容
• 設定及擷取字元串的某一位（bit）
• 批量設定一系列字元串的内容

常用指令: set,get,decr,incr,mget 等。

應用場景：

• 應用 Memcached和CKV的所有場景。字元串和數字直接存取。結構化資料需要先序列化，再set到value；相應的，get到value後需要反序列化。
• 可以利用redis的INCR、INCRBY、DECR、DECRBY等指令來實作原子計數的效果。即可以用來實作業務上的統計計數需求。也可用于實作idmaker，即生成全局唯一的id。
• 存放session key，實作一個分布式session系統。Redis的key可以友善地設定過期時間，用于實作session key的自動過期。驗證skey時先根據uid路由到對應的redis，如取不到skey，則表示skey已過期，需要重新登入；如取到skey且校驗通過則更新此skey的過期時間即可。
• Set nx或SetNx，僅當key不存在時才Set。可以用來選舉Master或實作分布式鎖：所有Client不斷嘗試使用SetNx master myName搶注Master，成功的那位不斷使用Expire重新整理它的過期時間。如果Master挂掉了key就會失效，剩下的節點又會發生新一輪搶奪。
• 借助redis2.6開始支援的lua腳本，可以實作更安全的2種分布式鎖：一種适用于各程序競争但總是單個程序擷取鎖并處理的場景。除非原處理程序挂掉因而鎖過期才會被其它程序擷取到鎖。無須主動解鎖。通過get、expire/pexpire、setnx ex| px的lua腳本實作；一種适用于各程序競争擷取鎖并處理的場景。通過set nx ex| px擷取鎖，用完需要通過先get判斷再del釋放鎖，否則在鎖過期之前不能擷取到鎖。
• GetSet， 設定新值，傳回舊值。比如實作一個計數器，可以用GetSet擷取計數并重置為0。
• GetBit/SetBit/BitOp/BitCount， BitMap的玩法，比如統計今天的獨立通路使用者數時，每個注冊使用者都有一個offset，他今天進來的話就把他那個位設為1，用BitCount就可以得出今天的總人數。
• Append/SetRange/GetRange/StrLen，對文本進行擴充、替換、截取和求長度，對特定資料格式非常有用。

實作方式：String在redis内部存儲預設就是一個字元串，被redisObject所引用，當遇到incr,decr等操作時會轉成數值型進行計算，此時redisObject的encoding字段為int。

Hash

簡介：Hash存的是字元串和字元串值之間的映射。Hash将對象的各個屬性存入Map裡，可以隻讀取/更新對象的某些屬性。這樣有些屬性超長就讓它一邊呆着不動，另外不同的子產品可以隻更新自己關心的屬性而不會互相并發導緻覆寫沖突。

常用指令：hget,hset,hgetall 等。

• 存放結構化資料，比如使用者資訊。在Memcached或CKV中，對于使用者資訊比如使用者的昵稱、年齡、性别、積分等，我們需要先序列化後存儲為一個字元串的值，這時候在需要修改其中某一項時，通常需要将所有值取出反序列化後，修改某一項的值，再序列化存儲回去。這樣不僅增大了開銷，也不适用于一些可能并發操作的場合（比如兩個并發的操作都需要修改積分）。而Redis的Hash結構可以使你像在資料庫中Update一個屬性一樣隻修改某一項屬性值。如下圖：

Key是使用者ID, value是一個Map，這個Map的key是成員的屬性名，value是屬性值，這樣對資料的修改和存取都可以直接通過其内部Map的Key(Redis裡稱内部Map的key為field), 也就是通過key(使用者ID) + field(屬性标簽) 就可以操作對應屬性資料了，既不需要重複存儲資料，也不會帶來序列化和并發修改控制的問題。

不過這裡需要注意，Redis提供了接口(hgetall)可以直接取到全部的屬性資料,但是如果内部Map的成員很多，那麼涉及到周遊整個内部Map的操作，由于Redis單線程模型的緣故，這個周遊操作可能會比較耗時，而對其它用戶端的請求完全不響應，這點需要格外注意。

• 可用來建索引。比如User對象，除了id有時還要按name來查詢，可以建一個Key為user:name:id的Hash，在插入User對象時(set user:101{"id":101,"name":"calvin"})， 順便往這個hash插入一條(hset user:name:id calvin 101)，這時calvin作為hash裡的一個key，值為101。按name查詢的時候，用hgetuser:name:id calvin 就能從名為calvin的key裡取出id。假如需要使用多種索引來查找某條資料時可以使用，一個hash key搞定，避免使用多個string key存放索引值。
• HINCRBY同樣可用于實作idmaker。相對string類型的idmaker每一個類型需要一個key，hash類型的用一個key即可。

實作方式：

Redis Hash對應Value内部實際就是一個HashMap，這裡會有2種不同實作，這個Hash的成員比較少時Redis為了節省記憶體會采用類似一維數組的方式來緊湊存儲，而不會采用真正的HashMap結構，對應的value redisObject的encoding為zipmap,當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。

List

簡介：List是一個雙向連結清單，支援雙向的Pop/Push，江湖規矩一般從左端Push，右端Pop——LPush/RPop，而且還有Blocking的版本BLPop/BRPop，用戶端可以阻塞在那直到有消息到來。還有RPopLPush/ BRPopLPush，彈出來傳回給client的同時，把自己又推入另一個list，LLen擷取清單的長度。還有按值進行的操作：LRem(按值删除元素)、LInsert(插在某個值的元素的前後)，複雜度是O(N)，N是List長度，因為List的值不唯一，是以要周遊全部元素，而Set隻要O(log(N))。

按下标進行的操作：下标從0開始，隊列從左到右算，下标為負數時則從右到左。LSet ，按下标設定元素值。LIndex，按下标傳回元素。LRange，不同于POP直接彈走元素，隻是傳回清單内一段下标的元素，是分頁的最愛。LTrim，限制List的大小，比如隻保留最新的20條消息。複雜度也是O(N)，其中LSet的N是List長度，LIndex的N是下标的值，LRange的N是start的值+列出元素的個數，因為是連結清單而不是數組，是以按下标通路其實要周遊連結清單，除非下标正好是隊頭和隊尾。LTrim的N是移除元素的個數。

常用指令：lpush,rpush,lpop,rpop,lrange等。

• 各種清單，比如twitter的關注清單、粉絲清單等，最新消息排行、每篇文章的評論等也可以用Redis的list結構來實作。
• 消息隊列，可以利用Lists的PUSH操作，将任務存在Lists中，然後工作線程再用POP操作将任務取出執行。這裡的消息隊列并沒有ack機制，如果消費者把任務給Pop走了又沒處理完就當機了怎麼辦？解決方法之一是加多一個sorted set，分發的時候同時發到list與sorted set，以分發時間為score，使用者把任務做完了之後要用ZREM消掉sorted set裡的job，并且定時從sorted set中取出逾時沒有完成的任務，重新放回list。另一個做法是為每個worker多加一個的list，彈出任務時改用RPopLPush，将job同時放到worker自己的list中，完成時用LREM消掉。如果叢集管理(如zookeeper)發現worker已經挂掉，就将worker的list内容重新放回主list。
• 利用LRANGE可以很友善的實作list内容分頁的功能。
• 取最新N個資料的操作：LPUSH用來插入一個内容ID，作為關鍵字存儲在清單頭部。LTRIM用來限制清單中的項目數最多為5000。如果使用者需要的檢索的資料量超越這個緩存容量，這時才需要把請求發送到資料庫。

Redis list的實作為一個雙向連結清單，即可以支援反向查找和周遊，更友善操作，不過帶來了部分額外的記憶體開銷，Redis内部的很多實作，包括發送緩沖隊列等也都是用的這個資料結構。

Set

簡介：是一種無序的集合，集合中的元素沒有先後順序，不重複。将重複的元素放入Set會自動去重。

常用指令：

sadd,spop,smembers,sunion等。

• 某些需要去重的清單，并且set提供了判斷某個成員是否在一個set集合内的重要接口，這個也是list所不能提供的。
• 可以存儲一些集合性的資料，比如在微網誌應用中，可以将一個使用者所有的關注人存在一個集合中，将其所有粉絲存在一個集合。Redis還為集合提供了求交集、并集、差集等操作，可以非常友善的實作如共同關注、共同喜好、二度好友等功能，對上面的所有集合操作，你還可以使用不同的指令選擇将結果傳回給用戶端還是存集到一個新的集合中。又比如QQ有一個社交功能叫做“好友标簽”，大家可以給你的好友貼标簽，比如“大美女”、“土豪”、“歐巴”等等，這裡也可以把每一個使用者的标簽都存儲在一個集合之中。
• 想要知道某些特定的注冊使用者或IP位址，他們到底有多少通路了某個頁面，可以這樣實作：SADD page:day1:<page_id> <user_id> 。想知道特定使用者的數量，使用SCARD page:day1:<page_id>。 需要測試某個特定使用者是否通路了這個頁面？SISMEMBER page:day1:<page_id>。

set 的内部實作是一個 value永遠為null的HashMap，實際就是通過計算hash的方式來快速排重的，這也是set能提供判斷一個成員是否在集合内的原因。

Sorted Set

簡介：有序集合，相比set，元素放入集合時還要提供該元素的分數，可根據分數自動排序。

zadd,zrange,zrem,zcard等

使用場景：

• 存放一個有序的并且不重複的集合清單，比如twitter 的public timeline可以以發表時間作為score來存儲，這樣擷取時就是自動按時間排好序的。
• 可以做帶權重的隊列，比如普通消息的score為1，重要消息的score為2，然後工作線程可以選擇按score的倒序來擷取工作任務。讓重要的任務優先執行。
• 排行榜相關：ZADD leaderboard <score> <username> 。 得到前100名高分使用者很簡單：ZREVRANGE leaderboard 0 99。使用者的全球排名也相似，隻需要執行：ZRANK leaderboard <username>。
• 新聞按照使用者投票和時間排序，ZADD時的score = points / time^alpha， 這樣使用者的投票會相應的把新聞挖出來，但時間會按照一定的指數将新聞埋下去。
• 過期項目處理：使用unix時間作為關鍵字，用來保持清單能夠按時間排序。對current_time和time_to_live進行檢索，完成查找過期項目的艱巨任務。另一項背景任務使用ZRANGE...WITHSCORES進行查詢，删除過期的條目。

Redis sorted set的内部使用HashMap和跳躍表(SkipList)來保證資料的存儲和有序，HashMap裡放的是成員到score的映射，而跳躍表裡存放的是所有的成員，排序依據是HashMap裡存的score,使用跳躍表的結構可以獲得比較高的查找效率，并且在實作上比較簡單。

以上隻是列舉的redis的一部分典型應用場景，供大家參考。善用Redis的5大資料類型和豐富的指令，并将它們加以組合，所能完成的就更無法想象。

有需要交流的小夥伴可以點選這裡加本人QQ：luke

最好的貴人

就是拼命努力的自己。