Redis 作為一個非常成功的資料庫,提供了非常豐富的資料類型和指令,使用這些,我們可以輕易而高效地完成很多緩存操作,可是總有一些比較特殊問題或需求需要解決,這時候可能就需要我們自己定制自己的 Redis 資料結構和指令。
Redis指令問題
“線程安全”問題
我們都知道 Redis 是單線程的,可是它怎麼會有 線程安全 問題呢?
我們正常了解的線程安全問題是指單程序多線程模型内部多個線程操作程序内共享記憶體導緻的資料資源充突。而 Redis 的線程安全問題的産生,并不是來自于 Redis 伺服器内部。
Redis 作為資料伺服器,就相當于多個用戶端的共享記憶體,多個用戶端就相當于同一程序下的多個線程,如果多個用戶端之間沒有良好的資料同步政策,就會産生類似線程安全的問題。
典型場景是:
Redis 記憶體儲了一個使用者的狀态: user5277=idle;
用戶端連接配接 A 讀取了使用者狀态,擷取到使用者的空閑狀态 status = get("user5277");
用戶端連接配接 B 也同樣讀取了使用者狀态;
用戶端連接配接 A 給使用者安排了一個任務,并将 Redis 内使用者狀态置為忙碌 set("user5277", "busy");
用戶端連接配接 B 同樣設定使用者為忙碌狀态。
可是此時使用者卻被同時配置設定了兩個任務。
導緻這個問題的原因就是雖然 Redis 是單線程的,能保證指令的序列化,但由于其執行效率很高,多個用戶端的指令之間不做好請求同步,同樣會造成指令的順序錯亂。
當然這個問題也很好解決,給使用者狀态加鎖就行了,使同一時間内隻能有一個用戶端操作使用者狀态。不過加鎖我們就需要考慮鎖粒度、死鎖等問題了,無疑添加了程式的複雜性,不利于維護。
效率問題
Redis 作為一個極其高效的記憶體資料伺服器,其指令執行速度極快,之前看過阿裡雲 Redis 的一個壓測結果,執行效率可以達到 10W寫QPS, 60W讀QPS,那麼,它的效率問題又來自何處呢?
答案是網絡,做 Web 的都知道,效率優化要從網絡做起,服務端又是優化代碼,又是優化資料庫,不如網絡連接配接的一次優化,而網絡優化最有效的就是減少請求數。我們要知道執行一次記憶體通路的耗時約是 100ns,而不同機房之間來回一次約需要 500000ns,其中的差距可想而知。
Redis在單機内效率超高,但工業化部署總不會把伺服器和 Redis 放在同一台機器上,如果觸碰到效率瓶頸的話,那就是網絡。
典型場景就是我們從 Redis 裡讀出一條資料,再使用這條資料做鍵,讀取另外一條資料。這樣來來回回,便有兩次網絡往返。
導緻這種問題的原因就是 Redis 的普通指令沒有服務端計算的能力,無法在伺服器進行複合指令操作,雖然有 Redis 也提供了 pipeline 的特性,但它需要多個指令的請求和響應之間沒有依賴關系。想簡化多個互相依賴的指令就隻能将資料拉回用戶端,由用戶端處理後再請求 Redis。
綜上,我們要更高效更友善的使用 Redis 就需要自己“定制”一些指令了。
内嵌Lua的執行
萬幸 Redis 内嵌了 Lua 執行環境,支援 Lua 腳本的執行,通過執行 Lua 腳本,我們可以把多個指令複合為一個 Lua 腳本,通過 Lua 腳本來實作上文中提到的 Redis 指令的次序性和 Redis 服務端計算。
Lua
Lua 是一個簡潔、輕量、可擴充的腳本語言,它的特性有:
輕量:源碼包隻有核心庫,編譯後體積很小。
高效:由 ANSI C 寫的,啟動快、運作快。
内嵌:可内嵌到各種程式設計語言或系統中運作,提升靜态語言的靈活性。如 OpenResty 就是将 Lua 嵌入到 nginx 中執行。
而且完全不需要擔心文法問題,Lua 的文法很簡單,分分鐘使用不成問題。
執行步驟
Redis 在 2.6 版本後,啟動時會建立 Lua 環境、載入 Lua 庫、定義 Redis 全局表格、存儲 redis.pcall 等 Redis 指令,以準備 Lua 腳本的執行。
一個典型的 Lua 腳本執行步驟如下:
檢查腳本是否執行過,沒執行過使用腳本的 sha1 校驗和生成一個 Lua 函數;
為函數綁定逾時、錯誤處理勾子;
建立一個僞用戶端,通過這個僞用戶端執行 Lua 中的 Redis 指令;
處理僞用戶端的傳回值,最終傳回給用戶端;

雖然 Lua 腳本使用的是僞用戶端,但 Redis 處理它會跟普通用戶端一樣,也會将執行的 Redis 指令進行 rdb aof 主從複制等操作。
使用
Lua 腳本的使用可以通過 Redis 的 EVAL 和 EVALSHA 指令。
EVAL 适用于單次執行 Lua 腳本,執行腳本前會由腳本内容生成 sha1 校驗和,在函數表内查詢函數是否已定義,如未定義執行成功後 Redis 會在全局表裡緩存這個腳本的校驗和為函數名,後續再次執行此指令就不會再建立新的函數了。
而要使用 EVALSHA 指令,就得先使用 SCRIPT LOAD 指令先将函數加載到 Redis,Redis 會傳回此函數的 sha1 校驗和, 後續就可以直接使用這個校驗和來執行指令了。
以下是使用上述指令的例子:
- 擷取 zset 内 score 最多的 n 個元素 對應 hashset 中的詳細資訊;
local elements = redis.call('ZRANK', KEYS[1], 0, KEY[2]);
local detail = {};
for index,ele in elements do
local info = redis.call('HGETALL', ele);
table.insert(detail, info);
end;
return detail;
基本使用文法就是如此,更多應用就看各個具體場景了。
一些思考
實作之外,還要一些東西要思考:
使用場景
首先來總結一下 Redis 中 Lua 的使用場景:
可以使用 Lua 腳本實作原子性操作,避免不同用戶端通路 Redis 伺服器造成的資料沖突。
在前後多次請求的結果有依賴時,可以使用 Lua 腳本把多個請求整合為一個請求。
注意點
使用 Lua 腳本,我們還需要注意:
要保證安全性,在 Lua 腳本中不要使用全局變量,以免污染 Lua 環境,雖然使用全局變量全報錯,Lua 腳本停止執行,但還是在定義變量時添加 local 關鍵字。
要注意 Lua 腳本的時間複雜度,Redis 的單線程同樣會阻塞在 Lua 腳本的執行中。
使用 Lua 腳本實作原子操作時,要注意如果 Lua 腳本報錯,之前的指令同樣無法復原。
一次發出多個 Redis 請求,但請求前後無依賴時,使用 pipeline,比 Lua 腳本友善。
小結
最近工作有了較大的變動,從業務到技術棧都跟原來完全不同了,所有代碼和業務都脫離了自己掌控的感覺真的很不爽,工作中全是“開局一個搜尋引擎,文法全靠查”,每天還要熬到很晚熟悉新的東西,有點小累,果然換工作就是找罪受啊。
不過走出舒适區後的充實感也在提醒自己正在不停進步,倒也挺有成就感的。