天天看點

memcache與redis的差別

說到redis就會聯想到memcached,反之亦然。了解過兩者的同學有那麼個大緻的印象:

  • redis與memcached相比,比僅支援簡單的key-value資料類型,同時還提供list,set,zset,hash等資料結構的存儲;
  • redis支援資料的備份,即master-slave模式的資料備份;
  • redis支援資料的持久化,可以将記憶體中的資料保持在磁盤中,重新開機的時候可以再次加載進行使用等等,

這似乎看起來redis比memcached更加牛逼一些,那麼事實上是不是這樣的呢?存在即合理,我們來根據幾個不同點來一一比較一下。

網絡IO模型

memcached是多線程,非阻塞IO複用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接配接,接受請求後,将連接配接描述字pipe傳遞給worker線程,進行讀寫IO,網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如:memcached最常用的stats指令,實際memcached所有操作都要對這個全局變量加鎖,進行技術等工作,帶來了性能損耗。

redis使用單線程的IO複用模型,自己封裝了一個簡單的AeEvent事件處理架構,主要實作了epoll, kqueue和select,對于單存隻有IO操作來說,單線程可以将速度優勢發揮到最大,但是redis也提供了一些簡單的計算功能,比如排序、聚合等,對于這些操作,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO排程都是被阻塞的。

資料支援類型

memcached使用key-value形式存儲和通路資料,在記憶體中維護一張巨大的HashTable,使得對資料查詢的時間複雜度降低到O(1),保證了對資料的高性能通路。

正如開篇所說:redis與memcached相比,比僅支援簡單的key-value資料類型,同時還提供list,set,zset,hash等資料結構的存儲;詳細可以翻閱《Redis記憶體使用優化與存儲》

記憶體管理機制

對于像Redis和Memcached這種基于記憶體的資料庫系統來說,記憶體管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的配置設定和釋放記憶體的方法,但是這種方法存在着很大的缺陷:首先,對于開發人員來說不比對的malloc和free容易造成記憶體洩露;其次頻繁調用會造成大量記憶體碎片無法回收重新利用,降低記憶體使用率;最後作為系統調用,其系統開銷遠遠大于一般函數調用。是以,為了提高記憶體的管理效率,高效的記憶體管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的記憶體管理機制,但是實作方法存在很大的差異,下面将會對兩者的記憶體管理機制分别進行介紹。

Memcached預設使用Slab Allocation機制管理記憶體,其主要思想是按照預先規定的大小,将配置設定的記憶體分割成特定長度的塊以存儲相應長度的key-value資料記錄,以完全解決記憶體碎片問題。Slab Allocation機制隻為存儲外部資料而設計,也就是說所有的key-value資料都存儲在Slab Allocation系統裡,而Memcached的其它記憶體請求則通過普通的malloc/free來申請,因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響Slab Allocation的原理相當簡單。 如圖所示,它首先從作業系統申請一大塊記憶體,并将其分割成各種尺寸的塊Chunk,并把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value資料的最小機關。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個位元組,第二組Chunk的大小就為112個位元組,依此類推。

memcache與redis的差別

當Memcached接收到用戶端發送過來的資料時首先會根據收到資料的大小選擇一個最合适的Slab Class,然後通過查詢Memcached儲存着的該Slab Class内空閑Chunk的清單就可以找到一個可用于存儲資料的Chunk。當一條資料庫過期或者丢棄時,該記錄所占用的Chunk就可以回收,重新添加到空閑清單中。從以上過程我們可以看出Memcached的記憶體管理制效率高,而且不會造成記憶體碎片,但是它最大的缺點就是會導緻空間浪費。因為每個Chunk都配置設定了特定長度的記憶體空間,是以變長資料無法充分利用這些空間。如圖 所示,将100個位元組的資料緩存到128個位元組的Chunk中,剩餘的28個位元組就浪費掉了。

memcache與redis的差別

Redis的記憶體管理主要通過源碼中zmalloc.h和zmalloc.c兩個檔案來實作的。Redis為了友善記憶體的管理,在配置設定一塊記憶體之後,會将這塊記憶體的大小存入記憶體塊的頭部。如圖所示,real_ptr是redis調用malloc後傳回的指針。redis将記憶體塊的大小size存入頭部,size所占據的記憶體大小是已知的,為size_t類型的長度,然後傳回ret_ptr。當需要釋放記憶體的時候,ret_ptr被傳給記憶體管理程式。通過ret_ptr,程式可以很容易的算出real_ptr的值,然後将real_ptr傳給free釋放記憶體。

memcache與redis的差別

Redis通過定義一個數組來記錄所有的記憶體配置設定情況,這個數組的長度為ZMALLOC_MAX_ALLOC_STAT。數組的每一個元素代表目前程式所配置設定的記憶體塊的個數,且記憶體塊的大小為該元素的下标。在源碼中,這個數組為zmalloc_allocations。zmalloc_allocations[16]代表已經配置設定的長度為16bytes的記憶體塊的個數。zmalloc.c中有一個靜态變量used_memory用來記錄目前配置設定的記憶體總大小。是以,總的來看,Redis采用的是包裝的mallc/free,相較于Memcached的記憶體管理方法來說,要簡單很多。

在Redis中,并不是所有的資料都一直存儲在記憶體中的。這是和Memcached相比一個最大的差別。當實體記憶體用完時,Redis可以将一些很久沒用到的value交換到磁盤。Redis隻會緩存所有的key的資訊,如果Redis發現記憶體的使用量超過了某一個閥值,将觸發swap的操作,Redis根據“swappability = age*log(size_in_memory)”計算出哪些key對應的value需要swap到磁盤。然後再将這些key對應的value持久化到磁盤中,同時在記憶體中清除。這種特性使得Redis可以保持超過其機器本身記憶體大小的資料。當然,機器本身的記憶體必須要能夠保持所有的key,畢竟這些資料是不會進行swap操作的。同時由于Redis将記憶體中的資料swap到磁盤中的時候,提供服務的主線程和進行swap操作的子線程會共享這部分記憶體,是以如果更新需要swap的資料,Redis将阻塞這個操作,直到子線程完成swap操作後才可以進行修改。當從Redis中讀取資料的時候,如果讀取的key對應的value不在記憶體中,那麼Redis就需要從swap檔案中加載相應資料,然後再傳回給請求方。 這裡就存在一個I/O線程池的問題。在預設的情況下,Redis會出現阻塞,即完成所有的swap檔案加載後才會相應。這種政策在用戶端的數量較小,進行批量操作的時候比較合适。但是如果将Redis應用在一個大型的網站應用程式中,這顯然是無法滿足大并發的情況的。是以Redis運作我們設定I/O線程池的大小,對需要從swap檔案中加載相應資料的讀取請求進行并發操作,減少阻塞的時間。

Memcached使用預配置設定的記憶體池的方式,使用slab和大小不同的chunk來管理記憶體,Item根據大小選擇合适的chunk存儲,記憶體池的方式可以省去申請/釋放記憶體的開銷,并且能減小記憶體碎片産生,但這種方式也會帶來一定程度上的空間浪費,并且在記憶體仍然有很大空間時,新的資料也可能會被剔除,原因可以參考Timyang的文章:http://timyang.net/data/Memcached-lru-evictions/

Redis使用現場申請記憶體的方式來存儲資料,并且很少使用free-list等方式來優化記憶體配置設定,會在一定程度上存在記憶體碎片,Redis跟據存儲指令參數,會把帶過期時間的資料單獨存放在一起,并把它們稱為臨時資料,非臨時資料是永遠不會被剔除的,即便實體記憶體不夠,導緻swap也不會剔除任何非臨時資料(但會嘗試剔除部分臨時資料),這點上Redis更适合作為存儲而不是cache。

資料存儲及持久化

memcached不支援記憶體資料的持久化操作,所有的資料都以in-memory的形式存儲。

redis支援持久化操作。redis提供了兩種不同的持久化方法來講資料存儲到硬碟裡面,一種是快照(snapshotting),它可以将存在于某一時刻的所有資料都寫入硬碟裡面。另一種方法叫隻追加檔案(append-only file, AOF),它會在執行寫指令時,将被執行的寫指令複制到硬碟裡面。

資料一緻性問題

Memcached提供了cas指令,可以保證多個并發通路操作同一份資料的一緻性問題。 Redis沒有提供cas 指令,并不能保證這點,不過Redis提供了事務的功能,可以保證一串 指令的原子性,中間不會被任何操作打斷。

叢集管理不同

Memcached是全記憶體的資料緩沖系統,Redis雖然支援資料的持久化,但是全記憶體畢竟才是其高性能的本質。作為基于記憶體的存儲系統來說,機器實體記憶體的大小就是系統能夠容納的最大資料量。如果需要處理的資料量超過了單台機器的實體記憶體大小,就需要建構分布式叢集來擴充存儲能力。

Memcached本身并不支援分布式,是以隻能在用戶端通過像一緻性哈希這樣的分布式算法來實作Memcached的分布式存儲。下圖給出了Memcached的分布式存儲實作架構。當用戶端向Memcached叢集發送資料之前,首先會通過内置的分布式算法計算出該條資料的目标節點,然後資料會直接發送到該節點上存儲。但用戶端查詢資料時,同樣要計算出查詢資料所在的節點,然後直接向該節點發送查詢請求以擷取資料。

相較于Memcached隻能采用用戶端實作分布式存儲,Redis更偏向于在伺服器端建構分布式存儲。最新版本的Redis已經支援了分布式存儲功能。Redis Cluster是一個實作了分布式且允許單點故障的Redis進階版本,它沒有中心節點,具有線性可伸縮的功能。Redis Cluster的分布式存儲架構,節點與節點之間通過二進制協定進行通信,節點與用戶端之間通過ascii協定進行通信。在資料的放置政策上,Redis Cluster将整個key的數值域分成4096個哈希槽,每個節點上可以存儲一個或多個哈希槽,也就是說目前Redis Cluster支援的最大節點數就是4096。Redis Cluster使用的分布式算法也很簡單:crc16( key ) % HASH_SLOTS_NUMBER。

為了保證單點故障下的資料可用性,Redis Cluster引入了Master節點和Slave節點。在Redis Cluster中,每個Master節點都會有對應的兩個用于備援的Slave節點。這樣在整個叢集中,任意兩個節點的當機都不會導緻資料的不可用。當Master節點退出後,叢集會自動選擇一個Slave節點成為新的Master節點。

轉自:http://blog.jobbole.com/101496/

繼續閱讀