天天看點

ConcurrentHashMap的JDK1.7實作

        本篇文章主要介紹一下JDK1.7中的ConcurrentHashMap的一些代碼結構。ConcurrentHashMap顧名思義就是線程安全的HashMap,相對于HashMap來說,可以保證線程安全的問題;對于HashTable來說可以提高存取的效率。

基本結構

ConcurrentHashMap的JDK1.7實作

        從上述類圖可以看出,ConcurrentHashMap除了Map通用的get()、put()等方法外,還有一個重要的屬性Segment數組。每個Segment又是一個ReentrantLock,其内部又有一個HashEntry數組,HashEntry是最終key-value的存儲單元。可以看出,HashEntry是一個連結清單結構。進而可以大緻的得到如下結構圖:

ConcurrentHashMap的JDK1.7實作

初始化

        ConcurrentHashMap構造方法的3個入參分别是:initialCapacity、loadFactor、concurrencyLevel,用于初始化segment數組、segmentShift、segmentMask等資料。構造方法如下:

public ConcurrentHashMap(int initialCapacity, float loadFactor, int concurrencyLevel) {
        // 1、參數校驗
        if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
            throw new IllegalArgumentException();
        if (concurrencyLevel > MAX_SEGMENTS)
            concurrencyLevel = MAX_SEGMENTS;
        // 2、ssize是segments數組的大小,這裡取的是大于concurrencyLevel的2^n的一個值
        int sshift = 0;
        int ssize = 1;
        while (ssize < concurrencyLevel) {
            ++sshift;
            ssize <<= 1;
        }
        // 3、sshift就是上面描述中的n值,預設情況下concurrencyLevel等于16,sshift就等于4。是以預設情況下segmentShift的值就是28,這個值會參與hash運算。
        // segmentMask是hash運算的掩碼,預設情況下等于16-1=15,類似于網絡中的子網路遮罩,segmentMask的二進制最後幾位都是1,最大值是末尾16個1(65535)。
        this.segmentShift = 32 - sshift;
        this.segmentMask = ssize - 1;
        // 4、下面的代碼主要是用來初始化segment,其中cap是segment裡面的HashEntry數組的長度。它取的是大于等于c(Map容量/ssize)的2^N的一個值。
        if (initialCapacity > MAXIMUM_CAPACITY)
            initialCapacity = MAXIMUM_CAPACITY;
        int c = initialCapacity / ssize;
        if (c * ssize < initialCapacity)
            ++c;
        int cap = MIN_SEGMENT_TABLE_CAPACITY;
        while (cap < c)
            cap <<= 1;
        // 5、建立segments和segments[0](這裡面隻初始化了一個segments數組中的第0個元素)
        Segment<K,V> s0 =
            new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
                             (HashEntry<K,V>[])new HashEntry[cap]);
        Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
        UNSAFE.putOrderedObject(ss, SBASE, s0); // ordered write of segments[0]
        this.segments = ss;
    }
           
  • initialCapacity:ConcurrentHashMap的初始化容量,預設值是16(DEFAULT_INITIAL_CAPACITY);
  • loadFactor:負載因子,預設值是0.75f,當ConcurrentHashMap中的HashEntry數量到達 loadFactor * 目前容量 時,就會進行rehash()進行擴容;
  • concurrencyLevel:并發的級别,也就是Segment數組的大小(ConcurrentHashMap是對每個Segment加鎖,是以得名并發級别),預設值是16(DEFAULT_CONCURRENCY_LEVEL)。這裡需要注意的是concurrencyLevel的大小都是2^n,concurrencyLevel會取大于傳入值的鄰近的一個值。如:傳入15,則concurrencyLevel=16(2^4)。

        下面介紹一下構造函數中的初始化流程:

  1. 參數校驗。
  2. 設定ssize的值,ssize是segments數組的大小,這裡取的是大于concurrencyLevel的2^n的一個值。
  3. 設定segmentShift和segmentMask的值,sshift就是上面描述中的n值,預設情況下concurrencyLevel等于16,sshift就等于4。是以預設情況下segmentShift的值就是28,這個值會參與hash運算。segmentMask是hash運算的掩碼,預設情況下等于16-1=15,類似于網絡中的子網路遮罩,segmentMask的二進制最後幾位都是1,最大值是末尾16個1(65535)。
  4. 初始化segment,其中cap是segment裡面的HashEntry數組的長度。它取的是大于等于c(Map容量/ssize)的2^N的一個值。
  5. 建立segments和segments[0](這裡面隻初始化了一個segments數組中的第0個元素)。

定位Segment

        ConcurrentHashMap使用分段鎖Segment來保護不同的資料,下面簡單的描述一下定位的流程。

        第一步是擷取key的hash值,代碼如下:

private int hash(Object k) {
        int h = hashSeed;

        if ((0 != h) && (k instanceof String)) {
            return sun.misc.Hashing.stringHash32((String) k);
        }

        h ^= k.hashCode();

        // 将key的hash值打開到segment分段中去
        // 使用了Wang/Jenkins hash的變體算法
        h += (h <<  15) ^ 0xffffcd7d;
        h ^= (h >>> 10);
        h += (h <<   3);
        h ^= (h >>>  6);
        h += (h <<   2) + (h << 14);
        return h ^ (h >>> 16);
    }
           

        第二步,通過上面的雜湊演算法得到的值,然後進行一下位移操作,取高位數值。

int index = (h >>> segmentShift) & segmentMask;
           

        預設情況下segmentShift為28,segmentMask為15(低位有1111),進而可以得到h的高四位的值。

常用方法

get()

        get操作是先定位到segment,然後再到segment中去擷取對應的value值。代碼如下:

public V get(Object key) {
        Segment<K,V> s; // manually integrate access methods to reduce overhead
        HashEntry<K,V>[] tab;
        int h = hash(key);
        // 根據Segment的索引((h >>> segmentShift) & segmentMask)算出在Segment[]上的偏移量
        long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
        if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
            (tab = s.table) != null) {
            // 若Segment存在,則繼續查找table[]的索引位置;
            // 根據table的索引((tab.length - 1) & h)算出在table[]上的偏移量,循環連結清單找出結果
            for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
                     (tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
                 e != null; e = e.next) {
                K k;
                if ((k = e.key) == key || (e.hash == h && key.equals(k)))
                    return e.value;
            }
        }
        return null;
    }
           

        通過上面代碼可以看出:

  1. 首先,根據Segment的索引((h >>> segmentShift) & segmentMask)算出在Segment[]上的偏移量。然後根據偏移量,調用UNSAFE.getObjectVolatile()判斷其是否存在。
  2. 若Segment存在,則繼續查找table[]的索引位置;根據table的索引((tab.length - 1) & h)算出在table[]上的偏移量,循環連結清單找出結果。

        從上面步驟可以看出,整個過程中讀取并未加鎖。是以在讀取的過程中,如果出現HashEntry的變更,則無法得到真正的結果。這一點是ConcurrentHashMap在弱一緻性上的展現。如果要求強一緻性,就必須要加鎖控制。

put()

        對于put()操作,前面的定位Segment的操作都是和put()相同的。找到Segment以後,然後對整個Segment加鎖,然後再進行後續的操作。下面詳細介紹一下:

public V put(K key, V value) {
        Segment<K,V> s;
        if (value == null)
            throw new NullPointerException();
        // 定位Segment,并判斷其是否存在
        int hash = hash(key);
        int j = (hash >>> segmentShift) & segmentMask;
        if ((s = (Segment<K,V>)UNSAFE.getObject          // nonvolatile; recheck
             (segments, (j << SSHIFT) + SBASE)) == null) //  in ensureSegment
            s = ensureSegment(j);// 如果不存在,則建立;這是因為在構造ConcurrentHashMap的時候,隻建立了segment[0]這個元素
        return s.put(key, hash, value, false);// 送出給Segment去處理
    }
           

        可以看出,首先定位Segment,并判斷其是否存在;如果不存在,則建立(這是因為在構造ConcurrentHashMap的時候,隻建立了segment[0]這個元素);然後再送出給Segment去處理。下面看一下建立Segment的過程:

private Segment<K,V> ensureSegment(int k) {
        final Segment<K,V>[] ss = this.segments;
        // 定位Segment裡面table的位置
        long u = (k << SSHIFT) + SBASE; // raw offset
        Segment<K,V> seg;
        if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u)) == null) {
            Segment<K,V> proto = ss[0]; // 使用segment[0]作為原型建立,這裡面免去了一些計算
            int cap = proto.table.length; // 2^n的一個值
            float lf = proto.loadFactor;  // 預設0.75f
            int threshold = (int)(cap * lf);
            HashEntry<K,V>[] tab = (HashEntry<K,V>[])new HashEntry[cap];
            if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u))
                == null) { // 準備建立前,再去檢查是否已經建立
                // 使用CAS建立,直至成功
                Segment<K,V> s = new Segment<K,V>(lf, threshold, tab);
                while ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u))
                       == null) {
                    if (UNSAFE.compareAndSwapObject(ss, u, null, seg = s))
                        break;
                }
            }
        }
        return seg;
    }
           

        上述首先定位出了table在segment中的位置;然後使用segment[0]作為原型建立元素(這裡面免去了一些計算);然後使用CAS建立,直至成功。

        下面看一下具體的put方法,由Segment實作:

final V put(K key, int hash, V value, boolean onlyIfAbsent) {
            // 嘗試加鎖,首先嘗試tryLock(),多次失敗以後使用lock();同時會查找HashEntry,如果沒有找到,建立并傳回一個
            HashEntry<K,V> node = tryLock() ? null : scanAndLockForPut(key, hash, value);
            V oldValue;
            try {
                HashEntry<K,V>[] tab = table;
                int index = (tab.length - 1) & hash;
                HashEntry<K,V> first = entryAt(tab, index);
                // 循環定位連結清單中的HashEntry位置,然後執行變更
                for (HashEntry<K,V> e = first;;) {
                    if (e != null) {// 查找key,若找到直接修改value值
                        K k;
                        if ((k = e.key) == key ||
                            (e.hash == hash && key.equals(k))) {
                            oldValue = e.value;
                            if (!onlyIfAbsent) {
                                e.value = value;
                                ++modCount;
                            }
                            break;
                        }
                        e = e.next;
                    }
                    else {// 到達連結清單尾部
                        if (node != null)// node如果不等于null,說明之前已經預熱完成,可以直接插入
                            node.setNext(first);
                        else
                            node = new HashEntry<K,V>(hash, key, value, first);
                        int c = count + 1;
                        // 檢查是否到達threshold,到達後則進行rehash()
                        if (c > threshold && tab.length < MAXIMUM_CAPACITY)
                            rehash(node);
                        else
                            setEntryAt(tab, index, node);
                        ++modCount;
                        count = c;
                        oldValue = null;
                        break;
                    }
                }
            } finally {
                unlock();
            }
            return oldValue;
        }
           

        從上面Segment的put操作可以看出:

  1. 首先,segment嘗試tryLock(),多次失敗以後使用lock(),同時會查找HashEntry,如果沒有找到,建立并傳回一個(預熱操作)。
  2. 然後,循環定位連結清單中的HashEntry位置。如果查找到key,若找到直接修改value值,并退出。如果找不到則在連結清單頭部新增一個HashEntry節點。
  3. 在新增節點的之後,會檢查是否會達到threshold,如果到達則進行rehash()擴容。

        關于rehash()操作,後面單獨介紹。下面介紹一下scanAndLockForPut()的實作。

private HashEntry<K,V> scanAndLockForPut(K key, int hash, V value) {
            HashEntry<K,V> first = entryForHash(this, hash);
            HashEntry<K,V> e = first;
            HashEntry<K,V> node = null;
            int retries = -1; // 定位node時為負值
            while (!tryLock()) {// 這裡首先嘗試使用tryLock(),達到最大重試次數MAX_SCAN_RETRIES後,轉為lock()的阻塞操作
                HashEntry<K,V> f; // to recheck first below
                if (retries < 0) {// 定位node的位置,若找不到則建立一個HashEntry
                    if (e == null) {
                        if (node == null) // speculatively create node
                            node = new HashEntry<K,V>(hash, key, value, null);
                        retries = 0;
                    }
                    else if (key.equals(e.key))
                        retries = 0;
                    else
                        e = e.next;
                }
                else if (++retries > MAX_SCAN_RETRIES) {// 達到MAX_SCAN_RETRIES時,進行阻塞加鎖
                    lock();
                    break;
                }
                else if ((retries & 1) == 0 &&
                         (f = entryForHash(this, hash)) != first) {
                    e = first = f; // 如果加鎖過程中,node有新增,則重新周遊連結清單,(這裡可以解釋對于連結清單的插入位置總是head的問題了)
                    retries = -1;
                }
            }
            return node;
        }
           

        從上述代碼可以看出,執行步驟大概如下:

  1. 這裡首先嘗試使用tryLock(),達到最大重試次數MAX_SCAN_RETRIES後,轉為lock()的阻塞操作;
  2. 定位node位置的時候,如果找不到則建立一個HashEntry;
  3. 如果加鎖過程中,node有新增,則重新周遊連結清單,(這裡可以解釋對于連結清單的插入位置總是head的問題了)。

rehash操作

        rehash也就是擴容操作,擴容之後的容量是之前的兩倍,是以擴容之後的newCapacity也是2^n的一個值。

private void rehash(HashEntry<K,V> node) {
            /*
             * 将table中每個節點重新配置設定到新的table中去。因為使用的是 *2的方式擴容,
             * 每個元素在table中的索引要麼為i(不變),要麼是i+oldCapacity。
             * 如:擴容前容量是16,目前HashEntry在table[]中的索引為3,則新的索引可能為3或者19。
             * 在節點拷貝的過程中,有一些節點的next節點是不用調整的,就直接利用了。
             * 據統計,在預設的threshold值時, 擴容隻需要1/6的節點需要拷貝。
             * 那些被替換掉的節點,在沒有任何線程引用的時候,将會被GC回收。
             * Entry accesses use plain array indexing because they are followed by volatile table write.
             */
            HashEntry<K,V>[] oldTable = table;
            int oldCapacity = oldTable.length;
            int newCapacity = oldCapacity << 1; // 容量*2操作
            threshold = (int)(newCapacity * loadFactor);
            HashEntry<K,V>[] newTable =
                (HashEntry<K,V>[]) new HashEntry[newCapacity];
            int sizeMask = newCapacity - 1;
            // 周遊擴容前節點
            for (int i = 0; i < oldCapacity ; i++) {
                HashEntry<K,V> e = oldTable[i];
                if (e != null) {
                    HashEntry<K,V> next = e.next;
                    int idx = e.hash & sizeMask;
                    if (next == null)   //  若連結清單為單節點
                        newTable[idx] = e;
                    else { // 重複利用一些擴容後,next不變的節點,這些節點在原先連結清單的尾部
                        HashEntry<K,V> lastRun = e;
                        int lastIdx = idx;
                        for (HashEntry<K,V> last = next;
                             last != null;
                             last = last.next) {
                            int k = last.hash & sizeMask;
                            if (k != lastIdx) {
                                lastIdx = k;
                                lastRun = last;
                            }
                        }
                        newTable[lastIdx] = lastRun;
                        // 對于next變化的節點重新計算hash(連結清單前面部分節點),然後重新插入
                        for (HashEntry<K,V> p = e; p != lastRun; p = p.next) {
                            V v = p.value;
                            int h = p.hash;
                            int k = h & sizeMask;
                            HashEntry<K,V> n = newTable[k];
                            newTable[k] = new HashEntry<K,V>(h, p.key, v, n);
                        }
                    }
                }
            }
            int nodeIndex = node.hash & sizeMask; // 将需要put的新node插入
            node.setNext(newTable[nodeIndex]);
            newTable[nodeIndex] = node;
            table = newTable;
        }
           

        從上面的代碼流程可以看出,其擴容步驟大緻如下:

  1. 首先計算出newCapacity的容量;
  2. 然後循環table[],重新配置設定每條連結清單上面的元素。因為使用的是 *2的方式擴容,每個元素在table中的索引要麼為i(不變),要麼是i+oldCapacity。如:擴容前容量是16,目前HashEntry在table[]中的索引為3,則新的索引可能為3或者19。
  3. 拷貝過程中,如果為單連結清單則直接指派;在節點拷貝的過程中,有一些節點的next節點是不用調整的(連結清單後端部分片段),就直接利用了;對于前端部分的片段,則重新hash,然後插入到對應的連結清單中。
  4. 最後再将需要put進來的node,在擴容後的結構中插入。

size()

        ConcurrentHashMap的size()操作需要統計所有的Segment中的HashEntry數量,最大為Integer.MAX_VALUE。因為在統計個過程中,有可能出現多線程修改的問題。即便如此,ConcurrentHashMap首先會用無鎖嘗試3次,如果統計失敗,再加鎖統計。代碼如下:

public int size() {
        // 首先嘗試3次無鎖的統計,如果失敗,再進入加鎖統計
        final Segment<K,V>[] segments = this.segments;
        int size;
        boolean overflow; // 當大小超過 32 bits 時為true
        long sum;         // sum of modCounts
        long last = 0L;   // previous sum
        int retries = -1; // first iteration isn't retry
        try {
            for (;;) {
                if (retries++ == RETRIES_BEFORE_LOCK) {// 加鎖統計
                    for (int j = 0; j < segments.length; ++j)
                        ensureSegment(j).lock(); // force creation
                }
                sum = 0L;
                size = 0;
                overflow = false;
                // 嘗試3次無鎖統計,這裡面通過統計前後的modCount值的和 變化,這個值在每個Segment中,每一次變更操作都會遞增,類似于Segment的版本号
                for (int j = 0; j < segments.length; ++j) {
                    Segment<K,V> seg = segmentAt(segments, j);
                    if (seg != null) {
                        sum += seg.modCount;
                        int c = seg.count;
                        if (c < 0 || (size += c) < 0)
                            overflow = true;
                    }
                }
                if (sum == last)
                    break;
                last = sum;
            }
        } finally {
            if (retries > RETRIES_BEFORE_LOCK) {
                for (int j = 0; j < segments.length; ++j)
                    segmentAt(segments, j).unlock();
            }
        }
        return overflow ? Integer.MAX_VALUE : size;
    }
           

containsValue()

        containsValue()方法的思想和size()的基本相同,下面貼出代碼,相信檢視備注即可。

public boolean containsValue(Object value) {
        // Same idea as size()
        if (value == null)
            throw new NullPointerException();
        final Segment<K,V>[] segments = this.segments;
        boolean found = false;
        long last = 0;
        int retries = -1;
        try {
            outer: for (;;) {
                if (retries++ == RETRIES_BEFORE_LOCK) {// 加鎖統計
                    for (int j = 0; j < segments.length; ++j)
                        ensureSegment(j).lock(); // force creation
                }
                long hashSum = 0L;
                int sum = 0;
                // 嘗試3次無鎖統計,這裡面通過統計前後的modCount值的和 變化,這個值在每個Segment中,每一次變更操作都會遞增,類似于Segment的版本号
                for (int j = 0; j < segments.length; ++j) {
                    HashEntry<K,V>[] tab;
                    Segment<K,V> seg = segmentAt(segments, j);
                    if (seg != null && (tab = seg.table) != null) {
                        for (int i = 0 ; i < tab.length; i++) {
                            HashEntry<K,V> e;
                            for (e = entryAt(tab, i); e != null; e = e.next) {
                                V v = e.value;
                                if (v != null && value.equals(v)) {
                                    found = true;
                                    break outer;
                                }
                            }
                        }
                        sum += seg.modCount;
                    }
                }
                if (retries > 0 && sum == last)
                    break;
                last = sum;
            }
        } finally {
            if (retries > RETRIES_BEFORE_LOCK) {
                for (int j = 0; j < segments.length; ++j)
                    segmentAt(segments, j).unlock();
            }
        }
        return found;
    }
           

參考:http://www.infoq.com/cn/articles/ConcurrentHashMap

繼續閱讀