天天看點

圖解Redis和Zookeeper分布式鎖

作者:京東雲開發者

1.基于Redis實作分布式鎖

圖解Redis和Zookeeper分布式鎖

Redis分布式鎖原理如上圖所示,當有多個Set指令發送到Redis時,Redis會串行處理,最終隻有一個Set指令執行成功,進而隻有一個線程加鎖成功

2:SetNx指令加鎖

利用Redis的setNx指令在Redis資料庫中建立一個<Key,Value>記錄,這條指令隻有當Redis中沒有這個Key的時候才執行成功,當已經有這個Key的時候會傳回失敗

圖解Redis和Zookeeper分布式鎖

利用如上的setNx指令便可以簡單的實作加鎖功能,當多個線程去執行這個加鎖指令時,隻有一個線程執行成功,然後執行業務邏輯,其他線程加鎖失敗傳回或者重試

3:死鎖問題

上面的setNx指令實作了基本的加鎖功能,但存在一個緻命的問題是,當程式在執行業務代碼崩潰時,無法再執行到下面的解鎖指令,進而導緻出現死鎖問題

圖解Redis和Zookeeper分布式鎖

為了解決死鎖問題,這裡就需要引入過期時間的概念,過期時間是給目前這個key設定一定的存活時間,當存活時間到期後,Redis就會自動删除這個過期的Key,進而使得程式在崩潰時也能到期自動釋放鎖

圖解Redis和Zookeeper分布式鎖

如上圖所示,使用Redis的expire指令來為鎖設定過期時間,進而實作到期自動解鎖的功能,但這裡仍然還存在一個問題就是加鎖與給鎖設定過期時間這兩個操作指令并不是原子指令

考慮下面這種情況:

當程式在加鎖完成後,在設定過期時間前崩潰,這時仍然會造成鎖無法自動釋放,進而産生死鎖現象

圖解Redis和Zookeeper分布式鎖

4:使用原子指令

針對上面加鎖與設定過期時間不是原子指令的問題,Redis為我們提供了一個原子指令如下:

圖解Redis和Zookeeper分布式鎖

通過SetNx(key,value,timeOut)這個結合加鎖與設定過期時間的原子指令就能完整的實作基于Redis的分布式鎖的加鎖步驟

5:解鎖原理

解鎖原理就是基于Redis的del删除key指令

圖解Redis和Zookeeper分布式鎖

6:錯誤删除鎖問題

上面直接删除key來解鎖方式會存在一個問題,考慮下面這種情況:

(1)線程1執行業務時間過長導緻自己加的鎖過期

(2)這時線程2進來加鎖成功

(3)然後線程1業務邏輯執行完畢開始執行del key指令

(4)這時就會出現錯誤删除線程2加的鎖

(5)錯誤删除線程2的鎖後,線程3又可以加鎖成功,導緻有兩個線程執行業務代碼

圖解Redis和Zookeeper分布式鎖

7:加入鎖辨別

為了解決這種錯誤删除其他線程的鎖的問題,在這裡需要對加鎖指令進行改造,需要在value字段裡加入目前線程的id,在這裡可以使用uuid來實作。線程在删除鎖的時候,用自己的uuid與Redis中鎖的uuid進行比較,如果是自己的鎖就進行删除,不是則不删除

圖解Redis和Zookeeper分布式鎖

如上圖所示,加鎖時在value字段中存入目前線程的id,然後在解鎖時通過比較目前的鎖是否是自己的來判斷是否加鎖成功,這樣就解決了錯誤删除别人的鎖的問題,但這裡同樣存在原子指令問題,比較并删除這個操作并不是原子指令,考慮下面這種情況

(1)線程1擷取uuid并判斷鎖是自己的

(2)準備解鎖時出現GC或者其他原因導緻程式卡頓無法立即執行Del指令,導緻線程1的鎖過期

(3)線程2就會在這個時候加鎖成功

(4)線程1卡頓結束繼續執行解鎖指令,就會錯誤删除線程2的鎖

圖解Redis和Zookeeper分布式鎖

這個問題出現的根本原因還是比較并删除這兩個操作并不是原子指令,隻要兩個指令被打斷就有可能出現并發問題,如果将兩個指令變為原子指令就能解決這個問題

8:引入lua腳本實作原子删除操作

lua腳本是一個非常輕量級的腳本語言,Redis底層天生支援lua腳本的執行,一個lua腳本中可以包含多條Redis指令,Redis會将整個lua腳本當作原子操作來執行,進而實作聚合多條Redis指令的原子操作,其原理如下圖所示:

圖解Redis和Zookeeper分布式鎖

這裡在解鎖時,使用lua腳本将比較并删除操作變為原子操作

//lua腳本如下
luaScript =  " if redis.call('get',key) == value then
                  return redis.call('del',key) 
               else 
                  return 0 
               end;"

           

如上面的lua腳本所示,Redis會将整個lua腳本當作一個單獨的指令執行,進而實作多個指令的原子操作,避免多線程競争問題,最終結合lua腳本實作了一個完整的分布式的加鎖和解鎖過程,僞代碼如下:

uuid = getUUID();
//加鎖
lockResut = redisClient.setNx(key,uuid,timeOut);
if(!lockResult){
    return;
}
try{
   //執行業務邏輯
}finally{
    //解鎖
    redisClient.eval(delLuaScript,keys,values)
}
//解鎖的lua腳本
delLuaScript =  " if redis.call('get',key) == value then
                     return redis.call('del',key) 
                  else 
                     return 0 
                  end;"           

到此,我們最終實作了一個加鎖和解鎖功能較為完整的redis分布式鎖了,當然作為一個鎖來說,還有一些其他的功能需要進一步完善,例如考慮鎖失效問題,可重入問題等

9:自動續期功能

在執行業務代碼時,由于業務執行時間長,最終可能導緻在業務執行過程中,自己的鎖逾時,然後鎖自動釋放了,在這種情況下第二個線程就會加鎖成功,進而導緻資料不一緻的情況發生,如下圖所示:

圖解Redis和Zookeeper分布式鎖

對于上述的這種情況,原因是由于設定的過期時間太短或者業務執行時間太長導緻鎖過期,但是為了避免死鎖問題又必須設定過期時間,那這就需要引入自動續期的功能,即在加鎖成功時,開啟一個定時任務,自動重新整理Redis加鎖key的逾時時間,進而避免上訴情況發生,如下圖所示:

圖解Redis和Zookeeper分布式鎖
uuid = getUUID();
//加鎖
lockResut = redisClient.setNx(key,uuid,timeOut);
if(!lockResult){
    return;
}
//開啟一個定時任務
new Scheduler(key,time,uuid,scheduleTime)
try{
   //執行業務邏輯
}finally{
    //删除鎖
    redisClient.eval(delLuaScript,keys,values)
    //取消定時任務
    cancelScheduler(uuid);
}           

如上訴代碼所示,在加鎖成功後可以啟動一個定時任務來對鎖進行自動續期,定時任務的執行邏輯是:

(1)判斷Redis中的鎖是否是自己的

(2)如果存在的話就使用expire指令重新設定過期時間

這裡由于需要兩個Redis的指令,是以也需要使用lua腳本來實作原子操作,代碼如下所示:

luaScript = "if redis.call('get',key) == value) then
                return redis.call('expire',key,timeOut);
             else
                return 0;
             end;"           

10:可重入鎖

對于一個功能完整的鎖來說,可重入功能是必不可少的特性,所謂的鎖可重入就是同一個線程,第一次加鎖成功後,在第二次加鎖時,無需進行排隊等待,隻需要判斷是否是自己的鎖就行了,可以直接再次擷取鎖來執行業務邏輯,如下圖所示:

圖解Redis和Zookeeper分布式鎖

實作可重入機制的原理就是在加鎖的時候記錄加鎖次數,在釋放鎖的時候減少加鎖次數,這個加鎖的次數記錄可以存在Redis中,如下圖所示:

圖解Redis和Zookeeper分布式鎖

如上圖所示,加入可重入功能後,加鎖的步驟就變為如下步驟:

(1)判斷鎖是否存在

(2)判斷鎖是否是自己的

(3)增加加鎖的次數

由于增加次數以及減少次數是多個操作,這裡需要再次使用lua腳本來實作,同時由于這裡需要在Redis中存入加鎖的次數,是以需要使用到Redis中的Map資料結構Map(key,uuid,lockCount),加鎖lua腳本如下:

//鎖不存在
if (redis.call('exists', key) == 0) then
    redis.call('hset', key, uuid, 1); 
    redis.call('expire', key, time); 
    return 1;
end;
//鎖存在,判斷是否是自己的鎖
if (redis.call('hexists', key, uuid) == 1) then
    redis.call('hincrby', key, uuid, 1); 
    redis.call('expire', key, uuid);
    return 1; 
end; 
//鎖不是自己的,傳回加鎖失敗
return 0;           

加入可重入功能後的解鎖邏輯就變為:

(1)判斷鎖是否是自己的

(2)如果是自己的則減少加鎖次數,否則傳回解鎖失敗

//判斷鎖是否是自己的,不是自己的直接傳回錯誤
if (redis.call('hexists', key,uuid) == 0) then
    return 0;
end;
//鎖是自己的,則對加鎖次數-1
local counter = redis.call('hincrby', key, uuid, -1);
if (counter > 0) then 
    //剩餘加鎖次數大于0,則不能釋放鎖,重新設定過期時間
    redis.call('expire', key, uuid); 
    return 1;
else
//等于0,代表可以釋放鎖了
    redis.call('del', key); 
    return 1; 
end;            

到此,我們在實作基本的加鎖與解鎖的邏輯上,又加入了可重入和自動續期的功能,自此一個完整的Redis分布式鎖的雛形就實作了,僞代碼如下:

uuid = getUUID();
//加鎖
lockResut = redisClient.eval(addLockLuaScript,keys,values);
if(!lockResult){
    return;
}
//開啟一個定時任務
new Scheduler(key,time,uuid,scheduleTime)
try{
   //執行業務邏輯
}finally{
    //删除鎖
    redisClient.eval(delLuaScript,keys,values)
    //取消定時任務
    cancelScheduler(uuid);
}           

11:Zookeeper實作分布式鎖

Zookeeper是一個分布式協調服務,分布式協調主要是來解決分布式系統中多個應用之間的資料一緻性,Zookeeper内部的資料存儲方式類似于檔案目錄形式的存儲結構,它的記憶體結果如下圖所示:

圖解Redis和Zookeeper分布式鎖

12:Zookeeper加鎖原理

在Zookeeper中的指定路徑下建立節點,然後用戶端根據目前路徑下的節點狀态來判斷是否加鎖成功,如下圖一種情況為例,線程1建立節點成功後,線程2再去建立節點就會建立失敗

圖解Redis和Zookeeper分布式鎖

13:Zookeeper節點類型

持久節點:在Zookeeper中建立後會進行持久儲存,直到用戶端主動删除

臨時節點:以用戶端會話Session次元建立節點,一旦用戶端會話斷開,節點就會自動删除

臨時/持久順序節點:在同一個路徑下建立的節點會對每個節點按建立先後順序編号

圖解Redis和Zookeeper分布式鎖
zookeeper.exists("/watchpath",new Watcher() {
    @Override
    public void process(WatchedEvent event) {
	System.out.println("進入監聽器");
	System.out.println("監聽路徑Path:"+event.getPath());
	System.out.println("監聽事件類型EventType:"+event.getType());				
    }			
});	           

14:利用臨時順序節點和監聽機制來實作分布式鎖

實作分布式鎖的方式有多種,我們可以使用臨時節點和順序節點這種方案來實作分布式鎖:

1:使用臨時節點可以在用戶端程式崩潰時自動釋放鎖,避免死鎖問題

2:使用順序節點的好處是,可以利用鎖釋放的事件監聽機制,來實作阻塞監聽式的分布式鎖

下面将基于這兩個特性來實作分布式鎖

15:加鎖原理

1:首先在Zookeeper上建立臨時順序節點Node01、Node02等

2:第二步用戶端拿到加鎖路徑下所有建立的節點

3:判斷自己的序号是否最小,如果最小的話,代表加鎖成功,如果不是最小的話,就對前一個節點建立監聽器

4:如果前一個節點删除,監聽器就會通知用戶端來準備重新擷取鎖

加鎖原理和代碼入下圖所示:

圖解Redis和Zookeeper分布式鎖
//加鎖路徑
String lockPath;
//用來阻塞線程
CountDownLatch cc = new CountDownLatch(1);
//建立鎖節點的路徑
Sting LOCK_ROOT_PATH = "/locks"

//先建立鎖
public void createLock(){
    //lockPath = /locks/lock_01 
    lockPath = zkClient.create(LOCK_ROOT_PATH+"/lock_", CreateMode.EPHEMERAL_SEQUENTIAL);
}

//擷取鎖
public boolean acquireLock(){
    //擷取目前加鎖路徑下所有的節點
    allLocks = zkClient.getChildren("/locks");
    //按節點順序大小排序
    Collections.sort(allLocks);
    //判斷自己是否是第一個節點
    int index = allLocks.indexOf(lockPath.substring(LOCK_ROOT_PATH.length() + 1));
    //如果是第一個節點,則加鎖成功
    if (index == 0) {
        System.out.println(Thread.currentThread().getName() + "獲得鎖成功, lockPath: " + lockPath);
        return true;
    } else {
        //不是序号最小的節點,則監聽前一個節點
        String preLock = allLocks.get(index - 1);
        //建立監聽器
        Stat status = zkClient.exists(LOCK_ROOT_PATH + "/" + preLockPath, watcher);
        // 前一個節點不存在了,則重新擷取鎖
        if (status == null) {
            return acquireLock();
        } else { 
            //阻塞目前程序,直到前一個節點釋放鎖
            System.out.println(" 等待前一個節點鎖釋放,prelocakPath:"+preLockPath);
            //喚醒目前線程,繼續嘗試擷取鎖
            cc.await();
            return acquireLock();
        }
    }
}

private Watcher watcher = new Watcher() {
    @Override
    public void process(WatchedEvent event) {
         //監聽到前一個節點釋放鎖,喚醒目前線程
         cc.countDown();
    }
}           

16:可重入鎖實作

Zookeeper實作可重入分布式鎖的機制是在本地維護一個Map記錄,因為如果在Zookeeper節點維護資料的話,Zookeeper的寫操作是很慢,叢集内部需要進行投票同步資料,是以在本地維護一個Map記錄來記錄目前加鎖的次數和加鎖狀态,在釋放鎖的時候減少加鎖的次數,原理如下圖所示:

圖解Redis和Zookeeper分布式鎖
//利用Map記錄線程持有的鎖
ConcurrentMap<Thread, LockData> lockMap = Maps.newConcurrentMap();
public Boolean lock(){
    Thread currentThread = Thread.currentThread();
    LockData lockData = lockMap.get(currentThread);
    //LockData不為空則說明已經有鎖
    if (lockData != null)    
    {
       //加鎖次數加一
       lockData.lockCount.increment();
       return true;
    }
    //沒有鎖則嘗試擷取鎖
    Boolean lockResult = acquireLock();
    //擷取到鎖
    if (lockResult)
    {
        LockData newLockData = new LockData(currentThread,1);
        lockMap.put(currentThread, newLockData);
        return true;
    }
    //擷取鎖失敗
    return false;
}           

17:解鎖原理

解鎖的步驟如下:

(1)判斷鎖是不是自己的

(2)如果是則減少加鎖次數

(3)如果加鎖次數等于0,則釋放鎖,删除掉建立的臨時節點,下一個監聽這個節點的用戶端會感覺到節點删除事件,進而重新去擷取鎖

圖解Redis和Zookeeper分布式鎖
public Boolean releaseLock(){
    LockData lockData = lockMap.get(currentThread);
    //沒有鎖
    if(lockData == null){
       return false; 
    }
    //有鎖則加鎖次數減一
    lockCount = lockData.lockCount.decrement();
    if(lockCount > 0){
        return true;
    } 
    //加鎖次數為0
    try{
        //删除節點
        zkClient.delete(lockPath);
        //斷開連接配接
        zkClient.close();
    finally{
        //删除加鎖記錄
        lockMap.remove(currentThread);
    }
    return true;
}           

18:Redis和Zookeeper鎖對比

Redis Zookeeper
讀性能 基于記憶體 基于記憶體
加鎖性能 直接寫記憶體加鎖 Master節點建立好後與其他Follower節點進行同步,半數成功後才能傳回寫入成功
資料一緻性 AP架構Redis叢集之間的資料同步是存在一定的延遲的,當主節點當機後,資料如果還沒有同步到從節點上,就會導緻分布式鎖失效,會造成資料的不一緻 CP架構當Leader節點當機後,會進行叢集重新選舉,如果此時隻有一部分節點收到了資料的話,會在叢集内進行資料同步,保證叢集資料的一緻性

19:總結

使用Redis還是Zookeeper來實作分布式鎖,最終還是要基于業務來決定,可以參考以下兩種情況:

(1)如果業務并發量很大,Redis分布式鎖高效的讀寫性能更能支援高并發

(2)如果業務要求鎖的強一緻性,那麼使用Zookeeper可能是更好的選擇

繼續閱讀