天天看點

Redis、Memcache和MongoDB的差別

memcached的優點:

memcached可以利用多核優勢,單執行個體吞吐量極高,可以達到幾十萬qps(取決于key、value的位元組大小以及伺服器硬體性能,日常環境中qps高峰大約在4-6w左右)。适用于最大程度扛量。

支援直接配置為session handle。

memcached的局限性:

隻支援簡單的key/value資料結構,不像redis可以支援豐富的資料類型。

無法進行持久化,資料不能備份,隻能用于緩存使用,且重新開機後資料全部丢失。

無法進行資料同步,不能将mc中的資料遷移到其他mc執行個體中。

memcached記憶體配置設定采用slab allocation機制管理記憶體,value大小分布差異較大時會造成記憶體使用率降低,并引發低使用率時依然出現踢出等問題。需要使用者注重value設計。

redis的優點:

支援多種資料結構,如 string(字元串)、 list(雙向連結清單)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基數估算)

支援持久化操作,可以進行aof及rdb資料持久化到磁盤,進而進行資料備份或資料恢複等操作,較好的防止資料丢失的手段。

支援通過replication進行資料複制,通過master-slave機制,可以實時進行資料的同步複制,支援多級複制和增量複制,master-slave機制是redis進行ha的重要手段。

單線程請求,所有指令串行執行,并發情況下不需要考慮資料一緻性問題。

支援pub/sub消息訂閱機制,可以用來進行消息訂閱與通知。

支援簡單的事務需求,但業界使用場景很少,并不成熟。

redis的局限性:

redis隻能使用單線程,性能受限于cpu性能,故單執行個體cpu最高才可能達到5-6wqps每秒(取決于資料結構,資料大小以及伺服器硬體性能,日常環境中qps高峰大約在1-2w左右)。

支援簡單的事務需求,但業界使用場景很少,并不成熟,既是優點也是缺點。

redis在string類型上會消耗較多記憶體,可以使用dict(hash表)壓縮存儲以降低記憶體耗用。

mc和redis都是key-value類型,不适合在不同資料集之間建立關系,也不适合進行查詢搜尋。比如redis的keys pattern這種比對操作,對redis的性能是災難。

mongodb 是一種文檔性的資料庫。先解釋一下文檔的資料庫,即可以存放xml、json、bson類型系那個的資料。

這些資料具備自述性(self-describing),呈現分層的樹狀資料結構。redis可以用hash存放簡單關系型資料。

mongodb 存放json格式資料。

适合場景:事件記錄、内容管理或者部落格平台,比如評論系統。

1.mongodb持久化原理

mongodb與mysql不同,mysql的每一次更新操作都會直接寫入硬碟,但是mongo不會,做為記憶體型資料庫,資料操作會先寫入記憶體,然後再會持久化到硬碟中去,那麼mongo是如何持久化的呢

mongodb在啟動時,專門初始化一個線程不斷循環(除非應用crash掉),用于在一定時間周期内來從defer隊列中擷取要持久化的資料并寫入到磁盤的journal(日志)和mongofile(資料)處,當然因為它不是在使用者添加記錄時就寫到磁盤上,是以按mongodb開發者說,它不會造成性能上的損耗,因為看過代碼發現,當進行cud操作時,記錄(record類型)都被放入到defer隊列中以供延時批量(groupcommit)送出寫入,但相信其中時間周期參數是個要認真考量的參數,系統為90毫秒,如果該值更低的話,可能會造成頻繁磁盤操作,過高又會造成系統當機時資料丢失過。

2.什麼是nosql資料庫?nosql和rdbms有什麼差別?在哪些情況下使用和不使用nosql資料庫?

nosql是非關系型資料庫,nosql = not only sql。

關系型資料庫采用的結構化的資料,nosql采用的是鍵值對的方式存儲資料。

在處理非結構化/半結構化的大資料時;在水準方向上進行擴充時;随時應對動态增加的資料項時可以優先考慮使用nosql資料庫。

在考慮資料庫的成熟度;支援;分析和商業智能;管理及專業性等問題時,應優先考慮關系型資料庫。

3.mysql和mongodb之間最基本的差別是什麼?

關系型資料庫與非關系型資料庫的差別,即資料存儲結構的不同。

4.mongodb的特點是什麼?

(1)面向文檔(2)高性能(3)高可用(4)易擴充(5)豐富的查詢語言

5.mongodb支援存儲過程嗎?如果支援的話,怎麼用?

mongodb支援存儲過程,它是javascript寫的,儲存在db.system.js表中。

6.如何了解mongodb中的gridfs機制,mongodb為何使用gridfs來存儲檔案?

gridfs是一種将大型檔案存儲在mongodb中的檔案規範。使用gridfs可以将大檔案分隔成多個小文檔存放,這樣我們能夠有效的儲存大文檔,而且解決了bson對象有限制的問題。

7.為什麼mongodb的資料檔案很大?

mongodb采用的預配置設定空間的方式來防止檔案碎片。

8.當更新一個正在被遷移的塊(chunk)上的文檔時會發生什麼?

更新操作會立即發生在舊的塊(chunk)上,然後更改才會在所有權轉移前複制到新的分片上。

9.mongodb在a:{b,c}上建立索引,查詢a:{b,c}和a:{c,b}都會使用索引嗎?

不會,隻會在a:{b,c}上使用索引。

10.如果一個分片(shard)停止或很慢的時候,發起一個查詢會怎樣?

如果一個分片停止了,除非查詢設定了“partial”選項,否則查詢會傳回一個錯誤。如果一個分片響應很慢,mongodb會等待它的響應。

從以下幾個次元,對redis、memcache、mongodb 做了對比,

1、性能

都比較高,性能對我們來說應該都不是瓶頸

總體來講,tps方面redis和memcache差不多,要大于mongodb

2、操作的便利性

memcache資料結構單一

redis豐富一些,資料操作方面,redis更好一些,較少的網絡io次數

mongodb支援豐富的資料表達,索引,最類似關系型資料庫,支援的查詢語言非常豐富

3、記憶體空間的大小和資料量的大小

redis在2.0版本後增加了自己的vm特性,突破實體記憶體的限制;可以對key value設定過期時間(類似memcache)

memcache可以修改最大可用記憶體,采用lru算法

mongodb适合大資料量的存儲,依賴作業系統vm做記憶體管理,吃記憶體也比較厲害,服務不要和别的服務在一起

4、可用性(單點問題)

對于單點問題,

redis,依賴用戶端來實作分布式讀寫;主從複制時,每次從節點重新連接配接主節點都要依賴整個快照,無增量複制,因性能和效率問題,

是以單點問題比較複雜;不支援自動sharding,需要依賴程式設定一緻hash 機制。

一種替代方案是,不用redis本身的複制機制,采用自己做主動複制(多份存儲),或者改成增量複制的方式(需要自己實作),一緻性問題和性能的權衡

memcache本身沒有資料備援機制,也沒必要;對于故障預防,采用依賴成熟的hash或者環狀的算法,解決單點故障引起的抖動問題。

mongodb支援master-slave,replicaset(内部采用paxos選舉算法,自動故障恢複),auto sharding機制,對用戶端屏蔽了故障轉移和切分機制。

5、可靠性(持久化)

對于資料持久化和資料恢複,

redis支援(快照、aof):依賴快照進行持久化,aof增強了可靠性的同時,對性能有所影響

memcache不支援,通常用在做緩存,提升性能;

mongodb從1.8版本開始采用binlog方式支援持久化的可靠性

6、資料一緻性(事務支援)

memcache 在并發場景下,用cas保證一緻性

redis事務支援比較弱,隻能保證事務中的每個操作連續執行

mongodb不支援事務

7、資料分析

mongodb内置了資料分析的功能(mapreduce),其他不支援

8、應用場景

redis:資料量較小的更性能操作和運算上

memcache:用于在動态系統中減少資料庫負載,提升性能;做緩存,提高性能(适合讀多寫少,對于資料量比較大,可以采用sharding)

mongodb:主要解決海量資料的通路效率問題