天天看點

趣說 | 資料庫和緩存如何保證一緻性?

趣說 | 資料庫和緩存如何保證一緻性?

作者:小林coding

圖解計算機基礎網站:https://xiaolincoding.com/

一天,老闆說「最近公司的使用者越來越多了,但是伺服器的通路速度越來越差的,阿旺幫我優化下,做好了給你畫個餅!」。

趣說 | 資料庫和緩存如何保證一緻性?

程式員阿旺聽到老闆口中的「畫餅」後就非常期待,沒有任何猶豫就接下了老闆給的這個任務。

阿旺登陸到了伺服器,經過一番排查後,确認伺服器的性能瓶頸是在資料庫。

這好辦,給伺服器加上 Redis,讓其作為資料庫的緩存。

這樣,在用戶端請求資料時,如果能在緩存中命中資料,那就查詢緩存,不用在去查詢資料庫,進而減輕資料庫的壓力,提高伺服器的性能。

先更新資料庫,還是先更新緩存?

阿旺有了這個想法後,就準備開始着手優化伺服器,但是擋在在他前面的是這樣的一個問題。

趣說 | 資料庫和緩存如何保證一緻性?

由于引入了緩存,那麼在資料更新時,不僅要更新資料庫,而且要更新緩存,這兩個更新操作存在前後的問題:

  • 先更新資料庫,再更新緩存;
  • 先更新緩存,再更新資料庫;

阿旺沒想到太多,他覺得最新的資料肯定要先更新資料庫,這樣才可以確定資料庫裡的資料是最新的,于是他就采用了「先更新資料庫,再更新緩存」的方案。

阿旺經過幾個夜晚的折騰,終于「優化好了伺服器」,然後就直接上線了,自信心滿滿跑去跟老闆彙報。

老闆不懂技術,自然也沒多慮,就讓後續阿旺觀察下伺服器的情況,如果效果不錯,就跟阿旺談畫餅的事情。

阿旺觀察了好幾天,發現資料庫的壓力大大減少了,通路速度也提高了不少,心想這事肯定成的了。

好景不長,突然老闆收到一個客戶的投訴,客戶說他剛發起了兩次更新年齡的操作,但是顯示的年齡确還是第一次更新時的年齡,而第二次更新年齡并沒有生效。

老闆立馬就找了阿旺,訓斥着阿旺說:「這麼簡單的更新操作,都有 bug?我臉往哪兒放?你的餅還要不要了?」

聽到自己準備到手的餅要沒了的阿旺瞬間就慌了,立馬登陸伺服器排查問題,阿旺查詢緩存和資料庫的資料後發現了問題。

資料庫的資料是客戶第二次更新操作的資料,而緩存确還是第一次更新操作的資料,也就是出現了資料庫和緩存的資料不一緻的問題。

這個問題可大了,阿旺經過一輪的分析,造成緩存和資料庫的資料不一緻的現象,是因為并發問題!

先更新資料庫,再更新緩存

舉個例子,比如「請求 A 」和「請求 B 」兩個請求,同時更新「同一條」資料,則可能出現這樣的順序:

趣說 | 資料庫和緩存如何保證一緻性?

A 請求先将資料庫的資料更新為 1,然後在更新緩存前,請求 B 将資料庫的資料更新為 2,緊接着也把緩存更新為 2,然後 A 請求更新緩存為 1。

此時,資料庫中的資料是 2,而緩存中的資料卻是 1,出現了緩存和資料庫中的資料不一緻的現象。

先更新緩存,再更新資料庫

那換成「先更新緩存,再更新資料庫」這個方案,還會有問題嗎?

依然還是存在并發的問題,分析思路也是一樣。

假設「請求 A 」和「請求 B 」兩個請求,同時更新「同一條」資料,則可能出現這樣的順序:

趣說 | 資料庫和緩存如何保證一緻性?

A 請求先将緩存的資料更新為 1,然後在更新資料庫前,B 請求來了, 将緩存的資料更新為 2,緊接着把資料庫更新為 2,然後 A 請求将資料庫的資料更新為 1。

此時,資料庫中的資料是 1,而緩存中的資料卻是 2,出現了緩存和資料庫中的資料不一緻的現象。

是以,無論是「先更新資料庫,再更新緩存」,還是「先更新緩存,再更新資料庫」,這兩個方案都存在并發問題,當兩個請求并發更新同一條資料的時候,可能會出現緩存和資料庫中的資料不一緻的現象。

先更新資料庫,還是先删除緩存?

阿旺定位出問題後,思考了一番後,決定在更新資料時,不更新緩存,而是删除緩存中的資料。然後,到讀取資料時,發現緩存中沒了資料之後,再從資料庫中讀取資料,更新到緩存中。

阿旺想的這個政策是有名字的,是叫 Cache Aside 政策,中文是叫旁路緩存政策。

該政策又可以細分為「讀政策」和「寫政策」。

趣說 | 資料庫和緩存如何保證一緻性?

寫政策的步驟:

  • 更新資料庫中的資料;
  • 删除緩存中的資料。

讀政策的步驟:

  • 如果讀取的資料命中了緩存,則直接傳回資料;
  • 如果讀取的資料沒有命中緩存,則從資料庫中讀取資料,然後将資料寫入到緩存,并且傳回給使用者。

阿旺在想到「寫政策」的時候,又陷入更深層次的思考,到底該選擇哪種順序呢?

  • 先删除緩存,再更新資料庫;
  • 先更新資料庫,再删除緩存。

阿旺這次經過上次教訓,不再「想當然」的亂選方案,因為老闆這次給的餅很大啊,必須把握住。

于是阿旺用并發的角度來分析,看看這兩種方案哪個可以保證資料庫與緩存的資料一緻性。

先删除緩存,再更新資料庫

阿旺還是以使用者表的場景來分析。

假設某個使用者的年齡是 20,請求 A 要更新使用者年齡為 21,是以它會删除緩存中的内容。這時,另一個請求 B 要讀取這個使用者的年齡,它查詢緩存發現未命中後,會從資料庫中讀取到年齡為 20,并且寫入到緩存中,然後請求 A 繼續更改資料庫,将使用者的年齡更新為 21。

趣說 | 資料庫和緩存如何保證一緻性?

最終,該使用者年齡在緩存中是 20(舊值),在資料庫中是 21(新值),緩存和資料庫的資料不一緻。

可以看到,先删除緩存,再更新資料庫,在「讀 + 寫」并發的時候,還是會出現緩存和資料庫的資料不一緻的問題。

先更新資料庫,再删除緩存

繼續用「讀 + 寫」請求的并發的場景來分析。

假如某個使用者資料在緩存中不存在,請求 A 讀取資料時從資料庫中查詢到年齡為 20,在未寫入緩存中時另一個請求 B 更新資料。它更新資料庫中的年齡為 21,并且清空緩存。這時請求 A 把從資料庫中讀到的年齡為 20 的資料寫入到緩存中。

趣說 | 資料庫和緩存如何保證一緻性?

最終,該使用者年齡在緩存中是 20(舊值),在資料庫中是 21(新值),緩存和資料庫資料不一緻。

從上面的理論上分析,先更新資料庫,再删除緩存也是會出現資料不一緻性的問題,但是在實際中,這個問題出現的機率并不高。

因為緩存的寫入通常要遠遠快于資料庫的寫入,是以在實際中很難出現請求 B 已經更新了資料庫并且删除了緩存,請求 A 才更新完緩存的情況。

而一旦請求 A 早于請求 B 删除緩存之前更新了緩存,那麼接下來的請求就會因為緩存不命中而從資料庫中重新讀取資料,是以不會出現這種不一緻的情況。

是以,「先更新資料庫 + 再删除緩存」的方案,是可以保證資料一緻性的。

而且阿旺為了確定萬無一失,還給緩存資料加上了「過期時間」,就算在這期間存在緩存資料不一緻,有過期時間來兜底,這樣也能達到最終一緻。

阿旺思考到這一步後,覺得自己真的是個小天才,因為他竟然想到了個「天衣無縫」的方案,他二話不說就采用了這個方案,又經過幾天的折騰,終于完成了。

他自信滿滿的向老闆彙報,已經解決了上次客戶的投訴的問題了。老闆覺得阿旺這小夥子不錯,這麼快就解決問題了,然後讓阿旺在觀察幾天。

事情哪有這麼順利呢?結果又沒過多久,老闆又收到客戶的投訴了,說自己明明更新了資料,但是資料要過一段時間才生效,客戶接受不了。

老闆面無表情的找上阿旺,讓阿旺盡快查出問題。

阿旺得知又有 Bug 就更慌了,立馬就登入伺服器去排查問題,檢視日志後得知了原因。

「先更新資料庫, 再删除緩存」其實是兩個操作,前面的所有分析都是建立在這兩個操作都能同時執行成功,而這次客戶投訴的問題就在于,在****删除緩存(第二個操作)的時候失敗了,導緻緩存中的資料是舊值。

好在之前給緩存加上了過期時間,是以才會出現客戶說的過一段時間才更新生效的現象,假設如果沒有這個過期時間的兜底,那後續的請求讀到的就會一直是緩存中的舊資料,這樣問題就更大了。

是以新的問題來了,如何保證「先更新資料庫 ,再删除緩存」這兩個操作能執行成功?

阿旺分析出問題後,慌慌張張的向老闆彙報了問題。

老闆知道事情後,又給了阿旺幾天來解決這個問題,畫餅的事情這次沒有再提了。

阿旺會用什麼方式來解決這個問題呢?

老闆畫的餅事情,能否兌現給阿旺呢?

預知後事,且聽下回阿旺的故事。

趣說 | 資料庫和緩存如何保證一緻性?

小結

阿旺的事情就聊到這,我們繼續說點其他。

「先更新資料庫,再删除緩存」的方案雖然保證了資料庫與緩存的資料一緻性,但是每次更新資料的時候,緩存的資料都會被删除,這樣會對緩存的命中率帶來影響。

是以,如果我們的業務對緩存命中率有很高的要求,我們可以采用「更新資料庫 + 更新緩存」的方案,因為更新緩存并不會出現緩存未命中的情況。

但是這個方案前面我們也分析過,在兩個更新請求并發執行的時候,會出現資料不一緻的問題,因為更新資料庫和更新緩存這兩個操作是獨立的,而我們又沒有對操作做任何并發控制,那麼當兩個線程并發更新它們的話,就會因為寫入順序的不同造成資料的不一緻。

是以我們得增加一些手段來解決這個問題,這裡提供兩種做法:

  • 在更新緩存前先加個分布式鎖,保證同一時間隻運作一個請求更新緩存,就會不會産生并發問題了,當然引入了鎖後,對于寫入的性能就會帶來影響。
  • 在更新完緩存時,給緩存加上較短的過期時間,這樣即時出現緩存不一緻的情況,緩存的資料也會很快過期,對業務還是能接受的。

對了,針對「先删除緩存,再删除資料庫」方案在「讀 + 寫」并發請求而造成緩存不一緻的解決辦法是「延遲雙删」。

延遲雙删實作的僞代碼如下:

#删除緩存
redis.delKey(X)
#更新資料庫
db.update(X)
#睡眠
Thread.sleep(N)
#再删除緩存
redis.delKey(X)
           

加了個睡眠時間,主要是為了確定請求 A 在睡眠的時候,請求 B 能夠在這這一段時間完成「從資料庫讀取資料,再把缺失的緩存寫入緩存」的操作,然後請求 A 睡眠完,再删除緩存。

是以,請求 A 的睡眠時間就需要大于請求 B 「從資料庫讀取資料 + 寫入緩存」的時間。

但是具體睡眠多久其實是個玄學,很難評估出來,是以這個方案也隻是盡可能保證一緻性而已,極端情況下,依然也會出現緩存不一緻的現象。

是以,還是比較建議用「先更新資料庫,再删除緩存」的方案。

前情回顧

上回程式員阿旺為了提升資料通路的性能,引入 Redis 作為 MySQL 緩存層,但是這件事情并不是那麼簡單,因為還要考慮 Redis 和 MySQL 雙寫一緻性的問題。

阿旺經過一番周折,最終選用了「先更新資料庫,再删緩存」的政策,原因是這個政策即使在并發讀寫時,也能最大程度保證資料一緻性。

聰明的阿旺還搞了個兜底的方案,就是給緩存加上了過期時間。

本以為就這樣不會在出現資料一緻性的問題,結果将功能上線後,老闆還是收到使用者的投訴「說自己明明更新了資料,但是資料要過一段時間才生效」,客戶接受不了。

老闆轉告給了阿旺,阿旺得知又有 Bug 就更慌了,立馬就登入伺服器去排查問題,檢視日志後得知了原因。

「先更新資料庫, 再删除緩存」其實是兩個操作,這次客戶投訴的問題就在于,在删除緩存(第二個操作)的時候失敗了,導緻緩存中的資料是舊值,而資料庫是最新值。

好在之前給緩存加上了過期時間,是以才會出現客戶說的過一段時間才更新生效的現象,假設如果沒有這個過期時間的兜底,那後續的請求讀到的就會一直是緩存中的舊資料,這樣問題就更大了。

是以新的問題來了,如何保證「先更新資料庫 ,再删除緩存」這兩個操作能執行成功?

阿旺分析出問題後,慌慌張張的向老闆彙報了問題。

老闆知道事情後,又給了阿旺幾天來解決這個問題,畫餅的事情這次沒有再提了。

  • 阿旺會用什麼方式來解決這個問題呢?
  • 老闆畫的餅事情,能否兌現給阿旺呢?

如何保證兩個操作都能執行成功?

這次使用者的投訴是因為在删除緩存(第二個操作)的時候失敗了,導緻緩存還是舊值,而資料庫是最新值,造成資料庫和緩存資料不一緻的問題,會對敏感業務造成影響。

舉個例子,來說明下。

應用要把資料 X 的值從 1 更新為 2,先成功更新了資料庫,然後在 Redis 緩存中删除 X 的緩存,但是這個操作卻失敗了,這個時候資料庫中 X 的新值為 2,Redis 中的 X 的緩存值為 1,出現了資料庫和緩存資料不一緻的問題。

趣說 | 資料庫和緩存如何保證一緻性?

那麼,後續有通路資料 X 的請求,會先在 Redis 中查詢,因為緩存并沒有 诶删除,是以會緩存命中,但是讀到的卻是舊值 1。

其實不管是先操作資料庫,還是先操作緩存,隻要第二個操作失敗都會出現資料一緻的問題。

問題原因知道了,該怎麼解決呢?有兩種方法:

  • 重試機制。
  • 訂閱 MySQL binlog,再操作緩存。

先來說第一種。

重試機制

我們可以引入消息隊列,将第二個操作(删除緩存)要操作的資料加入到消息隊列,由消費者來操作資料。

  • 如果應用删除緩存失敗,可以從消息隊列中重新讀取資料,然後再次删除緩存,這個就是重試機制。當然,如果重試超過的一定次數,還是沒有成功,我們就需要向業務層發送報錯資訊了。
  • 如果删除緩存成功,就要把資料從消息隊列中移除,避免重複操作,否則就繼續重試。

舉個例子,來說明重試機制的過程。

趣說 | 資料庫和緩存如何保證一緻性?
訂閱 MySQL binlog,再操作緩存

「先更新資料庫,再删緩存」的政策的第一步是更新資料庫,那麼更新資料庫成功,就會産生一條變更日志,記錄在 binlog 裡。

于是我們就可以通過訂閱 binlog 日志,拿到具體要操作的資料,然後再執行緩存删除,阿裡巴巴開源的 Canal 中間件就是基于這個實作的。

Canal 模拟 MySQL 主從複制的互動協定,把自己僞裝成一個 MySQL 的從節點,向 MySQL 主節點發送 dump 請求,MySQL 收到請求後,就會開始推送 Binlog 給 Canal,Canal 解析 Binlog 位元組流之後,轉換為便于讀取的結構化資料,供下遊程式訂閱使用。

下圖是 Canal 的工作原理:

趣說 | 資料庫和緩存如何保證一緻性?

是以,如果要想保證「先更新資料庫,再删緩存」政策第二個操作能執行成功,我們可以使用「消息隊列來重試緩存的删除」,或者「訂閱 MySQL binlog 再操作緩存」,這兩種方法有一個共同的特點,都是采用異步操作緩存。

老闆發餅啦

阿旺由于對消息隊列比較熟悉,是以他決定采用「消息隊列來重試緩存的删除」的方案,來解決這次的使用者問題。

經過幾天幾夜的操作,伺服器搞定啦,立馬向老闆彙報工作。

老闆讓阿旺再觀察些時間,如果沒問題,到中秋節就商量“餅”的事情。

時間過的很快,中秋佳節到了,這期間一直都沒有使用者回報資料不一緻的問題。

老闆見這次阿旺表現很好,沒有再出現任何差錯,伺服器的通路性能也上來了,于是給阿旺發了這個超級大的月餅,你看這個餅又大又圓,就像你的代碼又長又多。

趣說 | 資料庫和緩存如何保證一緻性?

阿旺看到這個月餅,哭笑不得,沒想到這就是老闆畫的餅,是真的很大餅。。。。

以上故事純屬虛拟,如有巧合,以你為準。

微信搜尋公衆号:「小林coding」 ,回複「圖解」即可免費獲得「圖解網絡、圖解系統、圖解MySQL、圖解Redis」PDF 電子書