天天看點

HashMap實作原理及源碼分析

哈希表(hash table)也叫散清單,是一種非常重要的資料結構,應用場景及其豐富,許多緩存技術(比如memcached)的核心其實就是在記憶體中維護一張大的哈希表,而HashMap的實作原理也常常出現在各類的面試題中,重要性可見一斑。本文會對java集合架構中的對應實作HashMap的實作原理進行講解,然後會對JDK7的HashMap源碼進行分析。

面試中hashmap                  https://blog.csdn.net/mbshqqb/article/details/79799009 

hashmap的擴容                   https://blog.csdn.net/u013494765/article/details/77837338

hashmap詳解                       https://blog.csdn.net/login_sonata/article/details/76598675

hashmap多線程死循環問題 https://blog.csdn.net/xuefeng0707/article/details/40797085

目錄

  一、什麼是哈希表

  二、HashMap實作原理

  三、為何HashMap的數組長度一定是2的次幂?

  四、重寫equals方法需同時重寫hashCode方法

  五、總結

一、什麼是哈希表

  在讨論哈希表之前,我們先大概了解下其他資料結構在新增,查找等基礎操作執行性能

  數組:采用一段連續的存儲單元來存儲資料。對于指定下标的查找,時間複雜度為O(1);通過給定值進行查找,需要周遊數組,逐一比對給定關鍵字和數組元素,時間複雜度為O(n),當然,對于有序數組,則可采用二分查找,插值查找,斐波那契查找等方式,可将查找複雜度提高為O(logn);對于一般的插入删除操作,涉及到數組元素的移動,其平均複雜度也為O(n)

  線性連結清單:對于連結清單的新增,删除等操作(在找到指定操作位置後),僅需處理結點間的引用即可,時間複雜度為O(1),而查找操作需要周遊連結清單逐一進行比對,複雜度為O(n)

  二叉樹:對一棵相對平衡的有序二叉樹,對其進行插入,查找,删除等操作,平均複雜度均為O(logn)。

  哈希表:相比上述幾種資料結構,在哈希表中進行添加,删除,查找等操作,性能十分之高,不考慮哈希沖突的情況下,僅需一次定位即可完成,時間複雜度為O(1),接下來我們就來看看哈希表是如何實作達到驚豔的常數階O(1)的。

  我們知道,資料結構的實體存儲結構隻有兩種:順序存儲結構和鍊式存儲結構(像棧,隊列,樹,圖等是從邏輯結構去抽象的,映射到記憶體中,也這兩種實體組織形式),而在上面我們提到過,在數組中根據下标查找某個元素,一次定位就可以達到,哈希表利用了這種特性,哈希表的主幹就是數組。

  比如我們要新增或查找某個元素,我們通過把目前元素的關鍵字 通過某個函數映射到數組中的某個位置,通過數組下标一次定位就可完成操作。

        存儲位置 = f(關鍵字)

  其中,這個函數f一般稱為哈希函數,這個函數的設計好壞會直接影響到哈希表的優劣。舉個例子,比如我們要在哈希表中執行插入操作:

  

HashMap實作原理及源碼分析

  查找操作同理,先通過哈希函數計算出實際存儲位址,然後從數組中對應位址取出即可。

  哈希沖突

  然而萬事無完美,如果兩個不同的元素,通過哈希函數得出的實際存儲位址相同怎麼辦?也就是說,當我們對某個元素進行哈希運算,得到一個存儲位址,然後要進行插入的時候,發現已經被其他元素占用了,其實這就是所謂的哈希沖突,也叫哈希碰撞。前面我們提到過,哈希函數的設計至關重要,好的哈希函數會盡可能地保證 計算簡單和散列位址分布均勻,但是,我們需要清楚的是,數組是一塊連續的固定長度的記憶體空間,再好的哈希函數也不能保證得到的存儲位址絕對不發生沖突。那麼哈希沖突如何解決呢?哈希沖突的解決方案有多種:開放定址法(發生沖突,繼續尋找下一塊未被占用的存儲位址),再散列函數法,鍊位址法,而HashMap即是采用了鍊位址法,也就是數組+連結清單的方式,

二、HashMap實作原理

 HashMap的主幹是一個Entry數組。Entry是HashMap的基本組成單元,每一個Entry包含一個key-value鍵值對。

//HashMap的主幹數組,可以看到就是一個Entry數組,初始值為空數組{},主幹數組的長度一定是2的次幂,至于為什麼這麼做,後面會有詳細分析。
transient Entry<K,V>[] table = (Entry<K,V>[]) EMPTY_TABLE;      

 Entry是HashMap中的一個靜态内部類。代碼如下

static class Entry<K,V> implements Map.Entry<K,V> {
        final K key;
        V value;
        Entry<K,V> next;//存儲指向下一個Entry的引用,單連結清單結構
        int hash;//對key的hashcode值進行hash運算後得到的值,存儲在Entry,避免重複計算

        /**
         * Creates new entry.
         */
        Entry(int h, K k, V v, Entry<K,V> n) {
            value = v;
            next = n;
            key = k;
            hash = h;
        }       

 是以,HashMap的整體結構如下

HashMap實作原理及源碼分析

  簡單來說,HashMap由數組+連結清單組成的,數組是HashMap的主體,連結清單則是主要為了解決哈希沖突而存在的,如果定位到的數組位置不含連結清單(目前entry的next指向null),那麼對于查找,添加等操作很快,僅需一次尋址即可;如果定位到的數組包含連結清單,對于添加操作,其時間複雜度依然為O(1),因為最新的Entry會插傳入連結表頭部,僅需簡單改變引用鍊即可,而對于查找操作來講,此時就需要周遊連結清單,然後通過key對象的equals方法逐一比對查找。是以,性能考慮,HashMap中的連結清單出現越少,性能才會越好。

其他幾個重要字段

//實際存儲的key-value鍵值對的個數
transient int size;
//門檻值,當table == {}時,該值為初始容量(初始容量預設為16);當table被填充了,也就是為table配置設定記憶體空間後,threshold一般為 capacity*loadFactory。HashMap在進行擴容時需要參考threshold,後面會詳細談到
int threshold;
//負載因子,代表了table的填充度有多少,預設是0.75
final float loadFactor;
//用于快速失敗,由于HashMap非線程安全,在對HashMap進行疊代時,如果期間其他線程的參與導緻HashMap的結構發生變化了(比如put,remove等操作),需要抛出異常ConcurrentModificationException
transient int modCount;      

HashMap有4個構造器,其他構造器如果使用者沒有傳入initialCapacity 和loadFactor這兩個參數,會使用預設值

initialCapacity預設為16,loadFactory預設為0.75

我們看下其中一個

public HashMap(int initialCapacity, float loadFactor) {
     //此處對傳入的初始容量進行校驗,最大不能超過MAXIMUM_CAPACITY = 1<<30(2      

30

)
        if (initialCapacity < 0)
            throw new IllegalArgumentException("Illegal initial capacity: " +
                                               initialCapacity);
        if (initialCapacity > MAXIMUM_CAPACITY)
            initialCapacity = MAXIMUM_CAPACITY;
        if (loadFactor <= 0 || Float.isNaN(loadFactor))
            throw new IllegalArgumentException("Illegal load factor: " +
                                               loadFactor);

        this.loadFactor = loadFactor;
        threshold = initialCapacity;
     
        init();//init方法在HashMap中沒有實際實作,不過在其子類如 linkedHashMap中就會有對應實作
    }      

  從上面這段代碼我們可以看出,在正常構造器中,沒有為數組table配置設定記憶體空間(有一個入參為指定Map的構造器例外),而是在執行put操作的時候才真正建構table數組

  OK,接下來我們來看看put操作的實作吧

public V put(K key, V value) {
        //如果table數組為空數組{},進行數組填充(為table配置設定實際記憶體空間),入參為threshold,此時threshold為initialCapacity 預設是1<<4(2      

4

=16)
        if (table == EMPTY_TABLE) {
            inflateTable(threshold);
        }
       //如果key為null,存儲位置為table[0]或table[0]的沖突鍊上
        if (key == null)
            return putForNullKey(value);
        int hash = hash(key);//對key的hashcode進一步計算,確定散列均勻
        int i = indexFor(hash, table.length);//擷取在table中的實際位置
        for (Entry<K,V> e = table[i]; e != null; e = e.next) {
        //如果該對應資料已存在,執行覆寫操作。用新value替換舊value,并傳回舊value
            Object k;
            if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
                V oldValue = e.value;
                e.value = value;
                e.recordAccess(this);
                return oldValue;
            }
        }
        modCount++;//保證并發通路時,若HashMap内部結構發生變化,快速響應失敗
        addEntry(hash, key, value, i);//新增一個entry
        return null;
    }         

 先來看看inflateTable這個方法

private void inflateTable(int toSize) {
        int capacity = roundUpToPowerOf2(toSize);//capacity一定是2的次幂
        threshold = (int) Math.min(capacity * loadFactor, MAXIMUM_CAPACITY + 1);//此處為threshold指派,取capacity*loadFactor和MAXIMUM_CAPACITY+1的最小值,capaticy一定不會超過MAXIMUM_CAPACITY,除非loadFactor大于1
        table = new Entry[capacity];
        initHashSeedAsNeeded(capacity);
    }      

  inflateTable這個方法用于為主幹數組table在記憶體中配置設定存儲空間,通過roundUpToPowerOf2(toSize)可以確定capacity為大于或等于toSize的最接近toSize的二次幂,比如toSize=13,則capacity=16;to_size=16,capacity=16;to_size=17,capacity=32.

private static int roundUpToPowerOf2(int number) {
        // assert number >= 0 : "number must be non-negative";
        return number >= MAXIMUM_CAPACITY
                ? MAXIMUM_CAPACITY
                : (number > 1) ? Integer.highestOneBit((number - 1) << 1) : 1;
    }      

roundUpToPowerOf2中的這段處理使得數組長度一定為2的次幂,Integer.highestOneBit是用來擷取最左邊的bit(其他bit位為0)所代表的數值.

hash函數

//這是一個神奇的函數,用了很多的異或,移位等運算,對key的hashcode進一步進行計算以及二進制位的調整等來保證最終擷取的存儲位置盡量分布均勻
final int hash(Object k) {
        int h = hashSeed;
        if (0 != h && k instanceof String) {
            return sun.misc.Hashing.stringHash32((String) k);
        }

        h ^= k.hashCode();

        h ^= (h >>> 20) ^ (h >>> 12);
        return h ^ (h >>> 7) ^ (h >>> 4);
    }      

以上hash函數計算出的值,通過indexFor進一步處理來擷取實際的存儲位置

  /**
     * 傳回數組下标
     */
    static int indexFor(int h, int length) {
        return h & (length-1);
    }      

h&(length-1)保證擷取的index一定在數組範圍内,舉個例子,預設容量16,length-1=15,h=18,轉換成二進制計算為

1  0  0  1  0
    &   0  1  1  1  1
    __________________
        0  0  0  1  0    = 2      

  最終計算出的index=2。有些版本的對于此處的計算會使用 取模運算,也能保證index一定在數組範圍内,不過位運算對計算機來說,性能更高一些(HashMap中有大量位運算)

是以最終存儲位置的确定流程是這樣的:

HashMap實作原理及源碼分析

再來看看addEntry的實作:

void addEntry(int hash, K key, V value, int bucketIndex) {
        if ((size >= threshold) && (null != table[bucketIndex])) {
            resize(2 * table.length);//當size超過臨界門檻值threshold,并且即将發生哈希沖突時進行擴容
            hash = (null != key) ? hash(key) : 0;
            bucketIndex = indexFor(hash, table.length);
        }

        createEntry(hash, key, value, bucketIndex);
    }      

  通過以上代碼能夠得知,當發生哈希沖突并且size大于門檻值的時候,需要進行數組擴容,擴容時,需要建立一個長度為之前數組2倍的新的數組,然後将目前的Entry數組中的元素全部傳輸過去,擴容後的新數組長度為之前的2倍,是以擴容相對來說是個耗資源的操作。

三、為何HashMap的數組長度一定是2的次幂?

我們來繼續看上面提到的resize方法

void resize(int newCapacity) {
        Entry[] oldTable = table;
        int oldCapacity = oldTable.length;
        if (oldCapacity == MAXIMUM_CAPACITY) {
            threshold = Integer.MAX_VALUE;
            return;
        }

        Entry[] newTable = new Entry[newCapacity];
        transfer(newTable, initHashSeedAsNeeded(newCapacity));
        table = newTable;
        threshold = (int)Math.min(newCapacity * loadFactor, MAXIMUM_CAPACITY + 1);
    }      

如果數組進行擴容,數組長度發生變化,而存儲位置 index = h&(length-1),index也可能會發生變化,需要重新計算index,我們先來看看transfer這個方法

void transfer(Entry[] newTable, boolean rehash) {
        int newCapacity = newTable.length;
     //for循環中的代碼,逐個周遊連結清單,重新計算索引位置,将老數組資料複制到新數組中去(數組不存儲實際資料,是以僅僅是拷貝引用而已)
        for (Entry<K,V> e : table) {
            while(null != e) {
                Entry<K,V> next = e.next;
                if (rehash) {
                    e.hash = null == e.key ? 0 : hash(e.key);
                }
                int i = indexFor(e.hash, newCapacity);
          //将目前entry的next鍊指向新的索引位置,newTable[i]有可能為空,有可能也是個entry鍊,如果是entry鍊,直接在連結清單頭部插入。
                e.next = newTable[i];
                newTable[i] = e;
                e = next;
            }
        }
    }      

  這個方法将老數組中的資料逐個連結清單地周遊,扔到新的擴容後的數組中,我們的數組索引位置的計算是通過 對key值的hashcode進行hash擾亂運算後,再通過和 length-1進行位運算得到最終數組索引位置。

  hashMap的數組長度一定保持2的次幂,比如16的二進制表示為 10000,那麼length-1就是15,二進制為01111,同理擴容後的數組長度為32,二進制表示為100000,length-1為31,二進制表示為011111。從下圖可以我們也能看到這樣會保證低位全為1,而擴容後隻有一位差異,也就是多出了最左位的1,這樣在通過 h&(length-1)的時候,隻要h對應的最左邊的那一個差異位為0,就能保證得到的新的數組索引和老數組索引一緻(大大減少了之前已經散列良好的老數組的資料位置重新調換),個人了解。

HashMap實作原理及源碼分析

 還有,數組長度保持2的次幂,length-1的低位都為1,會使得獲得的數組索引index更加均勻,比如:

HashMap實作原理及源碼分析

  我們看到,上面的&運算,高位是不會對結果産生影響的(hash函數采用各種位運算可能也是為了使得低位更加散列),我們隻關注低位bit,如果低位全部為1,那麼對于h低位部分來說,任何一位的變化都會對結果産生影響,也就是說,要得到index=21這個存儲位置,h的低位隻有這一種組合。這也是數組長度設計為必須為2的次幂的原因。

HashMap實作原理及源碼分析

  如果不是2的次幂,也就是低位不是全為1此時,要使得index=21,h的低位部分不再具有唯一性了,哈希沖突的幾率會變的更大,同時,index對應的這個bit位無論如何不會等于1了,而對應的那些數組位置也就被白白浪費了。

get方法

public V get(Object key) {
     //如果key為null,則直接去table[0]處去檢索即可。
        if (key == null)
            return getForNullKey();
        Entry<K,V> entry = getEntry(key);
        return null == entry ? null : entry.getValue();
 }      

get方法通過key值傳回對應value,如果key為null,直接去table[0]處檢索。我們再看一下getEntry這個方法

final Entry<K,V> getEntry(Object key) {
            
        if (size == 0) {
            return null;
        }
        //通過key的hashcode值計算hash值
        int hash = (key == null) ? 0 : hash(key);
        //indexFor (hash&length-1) 擷取最終數組索引,然後周遊連結清單,通過equals方法比對找出對應記錄
        for (Entry<K,V> e = table[indexFor(hash, table.length)];
             e != null;
             e = e.next) {
            Object k;
            if (e.hash == hash && 
                ((k = e.key) == key || (key != null && key.equals(k))))
                return e;
        }
        return null;
    }          

  可以看出,get方法的實作相對簡單,key(hashcode)-->hash-->indexFor-->最終索引位置,找到對應位置table[i],再檢視是否有連結清單,周遊連結清單,通過key的equals方法比對查找對應的記錄。要注意的是,有人覺得上面在定位到數組位置之後然後周遊連結清單的時候,e.hash == hash這個判斷沒必要,僅通過equals判斷就可以。其實不然,試想一下,如果傳入的key對象重寫了equals方法卻沒有重寫hashCode,而恰巧此對象定位到這個數組位置,如果僅僅用equals判斷可能是相等的,但其hashCode和目前對象不一緻,這種情況,根據Object的hashCode的約定,不能傳回目前對象,而應該傳回null,後面的例子會做出進一步解釋。

四、重寫equals方法需同時重寫hashCode方法

  關于HashMap的源碼分析就介紹到這兒了,最後我們再聊聊老生常談的一個問題,各種資料上都會提到,“重寫equals時也要同時覆寫hashcode”,我們舉個小例子來看看,如果重寫了equals而不重寫hashcode會發生什麼樣的問題

/**
 * Created by chengxiao on 2016/11/15.
 */
public class MyTest {
    private static class Person{
        int idCard;
        String name;

        public Person(int idCard, String name) {
            this.idCard = idCard;
            this.name = name;
        }
        @Override
        public boolean equals(Object o) {
            if (this == o) {
                return true;
            }
            if (o == null || getClass() != o.getClass()){
                return false;
            }
            Person person = (Person) o;
            //兩個對象是否等值,通過idCard來确定
            return this.idCard == person.idCard;
        }

    }
    public static void main(String []args){
        HashMap<Person,String> map = new HashMap<Person, String>();
        Person person = new Person(1234,"喬峰");
        //put到hashmap中去
        map.put(person,"天龍八部");
        //get取出,從邏輯上講應該能輸出“天龍八部”
        System.out.println("結果:"+map.get(new Person(1234,"蕭峰")));
    }
}      

實際輸出結果:

結果:null      

  如果我們已經對HashMap的原理有了一定了解,這個結果就不難了解了。盡管我們在進行get和put操作的時候,使用的key從邏輯上講是等值的(通過equals比較是相等的),但由于沒有重寫hashCode方法,是以put操作時,key(hashcode1)-->hash-->indexFor-->最終索引位置 ,而通過key取出value的時候 key(hashcode1)-->hash-->indexFor-->最終索引位置,由于hashcode1不等于hashcode2,導緻沒有定位到一個數組位置而傳回邏輯上錯誤的值null(也有可能碰巧定位到一個數組位置,但是也會判斷其entry的hash值是否相等,上面get方法中有提到。)

  是以,在重寫equals的方法的時候,必須注意重寫hashCode方法,同時還要保證通過equals判斷相等的兩個對象,調用hashCode方法要傳回同樣的整數值。而如果equals判斷不相等的兩個對象,其hashCode可以相同(隻不過會發生哈希沖突,應盡量避免)。

6. RESIZE的實作

當put時,如果發現目前的bucket占用程度已經超過了Load Factor所希望的比例,那麼就會發生resize。在resize的過程,簡單的說就是把bucket擴充為2倍,之後重新計算index,把節點再放到新的bucket中。resize的注釋是這樣描述的:

Initializes or doubles table size. If null, allocates in accord with initial capacity target held in field threshold. Otherwise, because we are using power-of-two expansion, the elements from each bin must either stay at same index, or move with a power of two offset in the new table.

大緻意思就是說,當超過限制的時候會resize,然而又因為我們使用的是2次幂的擴充(指長度擴為原來2倍),是以,元素的位置要麼是在原位置,要麼是在原位置再移動2次幂的位置。

怎麼了解呢?例如我們從16擴充為32時,具體的變化如下所示:

HashMap實作原理及源碼分析

是以元素在重新計算hash之後,因為n變為2倍,那麼n-1的mask範圍在高位多1bit(紅色),是以新的index就會發生這樣的變化:

HashMap實作原理及源碼分析

是以,我們在擴充HashMap的時候,不需要重新計算hash,隻需要看看原來的hash值新增的那個bit是1還是0就好了,是0的話索引沒變,是1的話索引變成“原索引+oldCap”。可以看看下圖為16擴充為32的resize示意圖:

HashMap實作原理及源碼分析

這個設計确實非常的巧妙,既省去了重新計算hash值的時間,而且同時,由于新增的1bit是0還是1可以認為是随機的,是以resize的過程,均勻的把之前的沖突的節點分散到新的bucket了。

下面是代碼的具體實作:

1 final Node<K,V>[] resize() {
 2   Node<K,V>[] oldTab = table;
 3   int oldCap = (oldTab == null) ? 0 : oldTab.length;
 4   int oldThr = threshold;
 5   int newCap, newThr = 0;
 6   if (oldCap > 0) {
 7   // 超過最大值就不再擴充了,就隻好随你碰撞去吧
 8   if (oldCap >= MAXIMUM_CAPACITY) {
 9     threshold = Integer.MAX_VALUE;
10     return oldTab;
11   }
12   // 沒超過最大值,就擴充為原來的2倍
13   else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
14     oldCap >= DEFAULT_INITIAL_CAPACITY)
15     newThr = oldThr << 1; // double threshold
16   }
17   else if (oldThr > 0) // initial capacity was placed in threshold
18     newCap = oldThr;
19   else { // zero initial threshold signifies using defaults
20     newCap = DEFAULT_INITIAL_CAPACITY;
21     newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
22   }
23   // 計算新的resize上限
24   if (newThr == 0) {
25  
26     float ft = (float)newCap * loadFactor;
27     newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
28     (int)ft : Integer.MAX_VALUE);
29   }
30   threshold = newThr;
31 
    @SuppressWarnings({"rawtypes","unchecked"})
32   Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
33   table = newTab;
34   if (oldTab != null) {
35     // 把每個bucket都移動到新的buckets中
36     for (int j = 0; j < oldCap; ++j) {
37       Node<K,V> e;
38       if ((e = oldTab[j]) != null) {
39         oldTab[j] = null;
40         if (e.next == null)
41           newTab[e.hash & (newCap - 1)] = e;
42         else if (e instanceof TreeNode)
43           ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
44         else { // preserve order
45           Node<K,V> loHead = null, loTail = null;
46           Node<K,V> hiHead = null, hiTail = null;
47           Node<K,V> next;
48           do {
49             next = e.next;
50             // 原索引
51             if ((e.hash & oldCap) == 0) {
52               if (loTail == null)
53                 loHead = e;
54               else
55                 loTail.next = e;
56               loTail = e;
57             }
58             // 原索引+oldCap
59             else {
60               if (hiTail == null)
61                 hiHead = e;
62               else
63                 hiTail.next = e;
64               hiTail = e;
65             }
66           } while ((e = next) != null);
67 
  
            // 原索引放到bucket裡
68           if (loTail != null) {
69             loTail.next = null;
70             newTab[j] = loHead;
71           }
72           // 原索引+oldCap放到bucket裡
73           if (hiTail != null) {
74             hiTail.next = null;
75             newTab[j + oldCap] = hiHead;
76           }
77         }
78       }
79     }
80   }
81   return newTab;
82 }