天天看點

HashMap源碼分析及原理

Java為資料結構中的映射定義了一個接口java.util.Map,此接口主要有四個常用的實作類,分别是HashMap、Hashtable、LinkedHashMap和TreeMap,類繼承關系如下圖所示:

HashMap源碼分析及原理

下面針對各個實作類的特點做一些說明:

(1) HashMap:它根據鍵的hashCode值存儲資料,大多數情況下可以直接定位到它的值,因而具有很快的通路速度,但周遊順序卻是不确定的。 HashMap最多隻允許一條記錄的鍵為null,允許多條記錄的值為null。HashMap非線程安全,即任一時刻可以有多個線程同時寫HashMap,可能會導緻資料的不一緻。如果需要滿足線程安全,可以用 Collections的synchronizedMap方法使HashMap具有線程安全的能力,或者使用ConcurrentHashMap。

(2) Hashtable:Hashtable是遺留類,很多映射的常用功能與HashMap類似,不同的是它承自Dictionary類,并且是線程安全的,任一時間隻有一個線程能寫Hashtable,并發性不如ConcurrentHashMap,因為ConcurrentHashMap引入了分段鎖。Hashtable不建議在新代碼中使用,不需要線程安全的場合可以用HashMap替換,需要線程安全的場合可以用ConcurrentHashMap替換。

(3) LinkedHashMap:LinkedHashMap是HashMap的一個子類,儲存了記錄的插入順序,在用Iterator周遊LinkedHashMap時,先得到的記錄肯定是先插入的,也可以在構造時帶參數,按照通路次序排序。

(4) TreeMap:TreeMap實作SortedMap接口,能夠把它儲存的記錄根據鍵排序,預設是按鍵值的升序排序,也可以指定排序的比較器,當用Iterator周遊TreeMap時,得到的記錄是排過序的。如果使用排序的映射,建議使用TreeMap。在使用TreeMap時,key必須實作Comparable接口或者在構造TreeMap傳入自定義的Comparator,否則會在運作時抛出java.lang.ClassCastException類型的異常。

對于上述四種Map類型的類,要求映射中的key是不可變對象。不可變對象是該對象在建立後它的哈希值不會被改變。如果對象的哈希值發生變化,Map對象很可能就定位不到映射的位置了。

通過上面的比較,我們知道了HashMap是Java的Map家族中一個普通成員,鑒于它可以滿足大多數場景的使用條件,是以是使用頻度最高的一個。下文我們主要結合源碼,從存儲結構、常用方法分析、擴容以及安全性等方面深入講解HashMap的工作原理。

内部實作

搞清楚HashMap,首先需要知道HashMap是什麼,即它的存儲結構-字段;其次弄明白它能幹什麼,即它的功能實作-方法。下面我們針對這兩個方面詳細展開講解。

存儲結構-字段

從結構實作來講,HashMap是數組+連結清單+紅黑樹(JDK1.8增加了紅黑樹部分)實作的,如下如所示。

HashMap源碼分析及原理

這裡需要講明白兩個問題:資料底層具體存儲的是什麼?這樣的存儲方式有什麼優點呢?

(1) 從源碼可知,HashMap類中有一個非常重要的字段,就是 Node[] table,即哈希桶數組,明顯它是一個Node的數組。我們來看Node[JDK1.8]是何物。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

static class Node implements Map.Entry {

final int hash; //用來定位數組索引位置

final K key;

V value;

Node<K,V> next; //連結清單的下一個node

Node(int hash, K key, V value, Node next) { ... }

public final K getKey(){ ... }

public final V getValue() { ... }

public final String toString() { ... }

public final int hashCode() { ... }

public final V setValue(V newValue) { ... }

public final boolean equals(Object o) { ... }

}

Node是HashMap的一個内部類,實作了Map.Entry接口,本質是就是一個映射(鍵值對)。上圖中的每個黑色圓點就是一個Node對象。

(2) HashMap就是使用哈希表來存儲的。哈希表為解決沖突,可以采用開放位址法和鍊位址法等來解決問題,Java中HashMap采用了鍊位址法。鍊位址法,簡單來說,就是數組加連結清單的結合。在每個數組元素上都一個連結清單結構,當資料被Hash後,得到數組下标,把資料放在對應下标元素的連結清單上。例如程式執行下面代碼:

1 map.put("航淳技術","小航");

系統将調用”美團”這個key的hashCode()方法得到其hashCode 值(該方法适用于每個Java對象),然後再通過Hash算法的後兩步運算(高位運算和取模運算,下文有介紹)來定位該鍵值對的存儲位置,有時兩個key會定位到相同的位置,表示發生了Hash碰撞。當然Hash算法計算結果越分散均勻,Hash碰撞的機率就越小,map的存取效率就會越高。

如果哈希桶數組很大,即使較差的Hash算法也會比較分散,如果哈希桶數組數組很小,即使好的Hash算法也會出現較多碰撞,是以就需要在空間成本和時間成本之間權衡,其實就是在根據實際情況确定哈希桶數組的大小,并在此基礎上設計好的hash算法減少Hash碰撞。那麼通過什麼方式來控制map使得Hash碰撞的機率又小,哈希桶數組(Node[] table)占用空間又少呢?答案就是好的Hash算法和擴容機制。

在了解Hash和擴容流程之前,我們得先了解下HashMap的幾個字段。從HashMap的預設構造函數源碼可知,構造函數就是對下面幾個字段進行初始化,源碼如下:

1

2

3

4

int threshold; // 所能容納的key-value對極限

final float loadFactor; // 負載因子

int modCount;

int size;

首先,Node[] table的初始化長度length(預設值是16),Load factor為負載因子(預設值是0.75),threshold是HashMap所能容納的最大資料量的Node(鍵值對)個數。threshold = length * Load factor。也就是說,在數組定義好長度之後,負載因子越大,所能容納的鍵值對個數越多。

結合負載因子的定義公式可知,threshold就是在此Load factor和length(數組長度)對應下允許的最大元素數目,超過這個數目就重新resize(擴容),擴容後的HashMap容量是之前容量的兩倍。預設的負載因子0.75是對空間和時間效率的一個平衡選擇,建議大家不要修改,除非在時間和空間比較特殊的情況下,如果記憶體空間很多而又對時間效率要求很高,可以降低負載因子Load factor的值;相反,如果記憶體空間緊張而對時間效率要求不高,可以增加負載因子loadFactor的值,這個值可以大于1。

size這個字段其實很好了解,就是HashMap中實際存在的鍵值對數量。注意和table的長度length、容納最大鍵值對數量threshold的差別。而modCount字段主要用來記錄HashMap内部結構發生變化的次數,主要用于疊代的快速失敗。強調一點,内部結構發生變化指的是結構發生變化,例如put新鍵值對,但是某個key對應的value值被覆寫不屬于結構變化。

在HashMap中,哈希桶數組table的長度length大小必須為2的n次方(一定是合數),這是一種非正常的設計,正常的設計是把桶的大小設計為素數。相對來說素數導緻沖突的機率要小于合數,Hashtable初始化桶大小為11,就是桶大小設計為素數的應用(Hashtable擴容後不能保證還是素數)。HashMap采用這種非正常設計,主要是為了在取模和擴容時做優化,同時為了減少沖突,HashMap定位哈希桶索引位置時,也加入了高位參與運算的過程。

這裡存在一個問題,即使負載因子和Hash算法設計的再合理,也免不了會出現拉鍊過長的情況,一旦出現拉鍊過長,則會嚴重影響HashMap的性能。于是,在JDK1.8版本中,對資料結構做了進一步的優化,引入了紅黑樹。而當連結清單長度太長(預設超過8)時,連結清單就轉換為紅黑樹,利用紅黑樹快速增删改查的特點提高HashMap的性能,其中會用到紅黑樹的插入、删除、查找等算法。本文不再對紅黑樹展開讨論,想了解更多紅黑樹資料結構的工作原理後面會有文章再補充。

功能實作-方法

HashMap的内部功能實作很多,本文主要從根據key擷取哈希桶數組索引位置、put方法的詳細執行、擴容過程三個具有代表性的點深入展開講解。

1. 确定哈希桶數組索引位置

不管增加、删除、查找鍵值對,定位到哈希桶數組的位置都是很關鍵的第一步。前面說過HashMap的資料結構是數組和連結清單的結合,是以我們當然希望這個HashMap裡面的元素位置盡量分布均勻些,盡量使得每個位置上的元素數量隻有一個,那麼當我們用hash算法求得這個位置的時候,馬上就可以知道對應位置的元素就是我們要的,不用周遊連結清單,大大優化了查詢的效率。HashMap定位數組索引位置,直接決定了hash方法的離散性能。先看看源碼的實作(方法一+方法二):

1

2

3

4

5

6

7

8

9

10

11

方法一:

static final int hash(Object key) { //jdk1.8 & jdk1.7

int h;

// h = key.hashCode() 為第一步 取hashCode值

// h ^ (h >>> 16) 為第二步 高位參與運算

return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);

}

方法二:

static int indexFor(int h, int length) { //jdk1.7的源碼,jdk1.8沒有這個方法,但是實作原理一樣的

return h & (length-1); //第三步 取模運算

}

這裡的Hash算法本質上就是三步:取key的hashCode值、高位運算、取模運算。

對于任意給定的對象,隻要它的hashCode()傳回值相同,那麼程式調用方法一所計算得到的Hash碼值總是相同的。我們首先想到的就是把hash值對數組長度取模運算,這樣一來,元素的分布相對來說是比較均勻的。但是,模運算的消耗還是比較大的,在HashMap中是這樣做的:調用方法二來計算該對象應該儲存在table數組的哪個索引處。

這個方法非常巧妙,它通過h & (table.length -1)來得到該對象的儲存位,而HashMap底層數組的長度總是2的n次方,這是HashMap在速度上的優化。當length總是2的n次方時,h& (length-1)運算等價于對length取模,也就是h%length,但是&比%具有更高的效率。

在JDK1.8的實作中,優化了高位運算的算法,通過hashCode()的高16位異或低16位實作的:(h = k.hashCode()) ^ (h >>> 16),主要是從速度、功效、品質來考慮的,這麼做可以在數組table的length比較小的時候,也能保證考慮到高低Bit都參與到Hash的計算中,同時不會有太大的開銷。

下面舉例說明下,n為table的長度。

HashMap源碼分析及原理

2. 分析HashMap的put方法

HashMap的put方法執行過程可以通過下圖來了解,自己有興趣可以去對比源碼更清楚地研究學習。

HashMap源碼分析及原理

①.判斷鍵值對數組table[i]是否為空或為null,否則執行resize()進行擴容;

②.根據鍵值key計算hash值得到插入的數組索引i,如果table[i]==null,直接建立節點添加,轉向⑥,如果table[i]不為空,轉向③;

③.判斷table[i]的首個元素是否和key一樣,如果相同直接覆寫value,否則轉向④,這裡的相同指的是hashCode以及equals;

④.判斷table[i] 是否為treeNode,即table[i] 是否是紅黑樹,如果是紅黑樹,則直接在樹中插入鍵值對,否則轉向⑤;

⑤.周遊table[i],判斷連結清單長度是否大于8,大于8的話把連結清單轉換為紅黑樹,在紅黑樹中執行插入操作,否則進行連結清單的插入操作;周遊過程中若發現key已經存在直接覆寫value即可;

⑥.插入成功後,判斷實際存在的鍵值對數量size是否超多了最大容量threshold,如果超過,進行擴容。

JDK1.8HashMap的put方法源碼如下:

1 public V put(K key, V value) {

2 // 對key的hashCode()做hash

3 return putVal(hash(key), key, value, false, true);

4 }

5

6 final V putVal(int hash, K key, V value, boolean onlyIfAbsent,

7 boolean evict) {

8 Node<K,V>[] tab; Node p; int n, i;

9 // 步驟①:tab為空則建立

10 if ((tab = table) == null || (n = tab.length) == 0)

11 n = (tab = resize()).length;

12 // 步驟②:計算index,并對null做處理

13 if ((p = tab[i = (n - 1) & hash]) == null)

14 tab[i] = newNode(hash, key, value, null);

15 else {

16 Node e; K k;

17 // 步驟③:節點key存在,直接覆寫value

18 if (p.hash == hash &&

19 ((k = p.key) == key || (key != null && key.equals(k))))

20 e = p;

21 // 步驟④:判斷該鍊為紅黑樹

22 else if (p instanceof TreeNode)

23 e = ((TreeNode)p).putTreeVal(this, tab, hash, key, value);

24 // 步驟⑤:該鍊為連結清單

25 else {

26 for (int binCount = 0; ; ++binCount) {

27 if ((e = p.next) == null) {

28 p.next = newNode(hash, key,value,null);

//連結清單長度大于8轉換為紅黑樹進行處理

29 if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st

30 treeifyBin(tab, hash);

31 break;

32 }

// key已經存在直接覆寫value

33 if (e.hash == hash &&

34 ((k = e.key) == key || (key != null && key.equals(k)))) break;

36 p = e;

37 }

38 }

39

40 if (e != null) { // existing mapping for key

41 V oldValue = e.value;

42 if (!onlyIfAbsent || oldValue == null)

43 e.value = value;

44 afterNodeAccess(e);

45 return oldValue;

46 }

47 }

48 ++modCount;

49 // 步驟⑥:超過最大容量 就擴容

50 if (++size > threshold)

51 resize();

52 afterNodeInsertion(evict);

53 return null;

54 }

3. 擴容機制

擴容(resize)就是重新計算容量,向HashMap對象裡不停的添加元素,而HashMap對象内部的數組無法裝載更多的元素時,對象就需要擴大數組的長度,以便能裝入更多的元素。當然Java裡的數組是無法自動擴容的,方法是使用一個新的數組代替已有的容量小的數組,就像我們用一個小桶裝水,如果想裝更多的水,就得換大水桶。

我們分析下resize的源碼,鑒于JDK1.8融入了紅黑樹,較複雜,為了便于了解我們仍然使用JDK1.7的代碼,好了解一些,本質上差別不大,具體差別後文再說。

1 void resize(int newCapacity) { //傳入新的容量

2 Entry[] oldTable = table; //引用擴容前的Entry數組

3 int oldCapacity = oldTable.length;

4 if (oldCapacity == MAXIMUM_CAPACITY) { //擴容前的數組大小如果已經達到最大(2^30)了

5 threshold = Integer.MAX_VALUE; //修改門檻值為int的最大值(2^31-1),這樣以後就不會擴容了

6 return;

7 }

8

9 Entry[] newTable = new Entry[newCapacity]; //初始化一個新的Entry數組

10 transfer(newTable); //!!将資料轉移到新的Entry數組裡

11 table = newTable; //HashMap的table屬性引用新的Entry數組

12 threshold = (int)(newCapacity * loadFactor);//修改門檻值

13 }

這裡就是使用一個容量更大的數組來代替已有的容量小的數組,transfer()方法将原有Entry數組的元素拷貝到新的Entry數組裡。

1 void transfer(Entry[] newTable) {

2 Entry[] src = table; //src引用了舊的Entry數組

3 int newCapacity = newTable.length;

4 for (int j = 0; j < src.length; j++) { //周遊舊的Entry數組

5 Entry e = src[j]; //取得舊Entry數組的每個元素

6 if (e != null) {

7 src[j] = null;//釋放舊Entry數組的對象引用(for循環後,舊的Entry數組不再引用任何對象)

8 do {

9 Entry next = e.next;

10 int i = indexFor(e.hash, newCapacity); //!!重新計算每個元素在數組中的位置

11 e.next = newTable[i]; //标記[1]

12 newTable[i] = e; //将元素放在數組上

13 e = next; //通路下一個Entry鍊上的元素

14 } while (e != null);

15 }

16 }

17 }

newTable[i]的引用賦給了e.next,也就是使用了單連結清單的頭插入方式,同一位置上新元素總會被放在連結清單的頭部位置;這樣先放在一個索引上的元素終會被放到Entry鍊的尾部(如果發生了hash沖突的話),這一點和Jdk1.8有差別,下文詳解。在舊數組中同一條Entry鍊上的元素,通過重新計算索引位置後,有可能被放到了新數組的不同位置上。

下面舉個例子說明下擴容過程。假設了我們的hash算法就是簡單的用key mod 一下表的大小(也就是數組的長度)。其中的哈希桶數組table的size=2, 是以key = 3、7、5,put順序依次為 5、7、3。在mod 2以後都沖突在table[1]這裡了。這裡假設負載因子 loadFactor=1,即當鍵值對的實際大小size 大于 table的實際大小時進行擴容。接下來的三個步驟是哈希桶數組 resize成4,然後所有的Node重新rehash的過程。

HashMap源碼分析及原理

下面我們講解下JDK1.8做了哪些優化。經過觀測可以發現,我們使用的是2次幂的擴充(指長度擴為原來2倍),是以,元素的位置要麼是在原位置,要麼是在原位置再移動2次幂的位置。看下圖可以明白這句話的意思,n為table的長度,圖(a)表示擴容前的key1和key2兩種key确定索引位置的示例,圖(b)表示擴容後key1和key2兩種key确定索引位置的示例,其中hash1是key1對應的哈希與高位運算結果。

HashMap源碼分析及原理

元素在重新計算hash之後,因為n變為2倍,那麼n-1的mask範圍在高位多1bit(紅色),是以新的index就會發生這樣的變化:

HashMap源碼分析及原理

是以,我們在擴充HashMap的時候,不需要像JDK1.7的實作那樣重新計算hash,隻需要看看原來的hash值新增的那個bit是1還是0就好了,是0的話索引沒變,是1的話索引變成“原索引+oldCap”,可以看看下圖為16擴充為32的resize示意圖:

HashMap源碼分析及原理

這個設計确實非常的巧妙,既省去了重新計算hash值的時間,而且同時,由于新增的1bit是0還是1可以認為是随機的,是以resize的過程,均勻的把之前的沖突的節點分散到新的bucket了。這一塊就是JDK1.8新增的優化點。有一點注意差別,JDK1.7中rehash的時候,舊連結清單遷移新連結清單的時候,如果在新表的數組索引位置相同,則連結清單元素會倒置,但是從上圖可以看出,JDK1.8不會倒置。有興趣的同學可以研究下JDK1.8的resize源碼,寫的很贊,如下:

1 final Node[] resize() {

2 Node[] oldTab = table;

3 int oldCap = (oldTab == null) ? 0 : oldTab.length;

4 int oldThr = threshold;

5 int newCap, newThr = 0;

6 if (oldCap > 0) {

7 // 超過最大值就不再擴充了,就隻好随你碰撞去吧

8 if (oldCap >= MAXIMUM_CAPACITY) {

9 threshold = Integer.MAX_VALUE;

10 return oldTab;

11 }

12 // 沒超過最大值,就擴充為原來的2倍

13 else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&

14 oldCap >= DEFAULT_INITIAL_CAPACITY)

15 newThr = oldThr << 1; // double threshold

16 }

17 else if (oldThr > 0) // initial capacity was placed in threshold

18 newCap = oldThr;

19 else { // zero initial threshold signifies using defaults

20 newCap = DEFAULT_INITIAL_CAPACITY;

21 newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);

22 }

23 // 計算新的resize上限

24 if (newThr == 0) {

25

26 float ft = (float)newCap * loadFactor;

27 newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?

28 (int)ft : Integer.MAX_VALUE);

29 }

30 threshold = newThr;

31 @SuppressWarnings({"rawtypes","unchecked"})

32 Node[] newTab = (Node<K,V>[])new Node[newCap];

33 table = newTab;

34 if (oldTab != null) {

35 // 把每個bucket都移動到新的buckets中

36 for (int j = 0; j < oldCap; ++j) {

37 Node e;

38 if ((e = oldTab[j]) != null) {

39 oldTab[j] = null;

40 if (e.next == null)

41 newTab[e.hash & (newCap - 1)] = e;

42 else if (e instanceof TreeNode)

43 ((TreeNode)e).split(this, newTab, j, oldCap);

44 else { // 連結清單優化重hash的代碼塊

45 NodeV> loHead = null, loTail = null;

46 NodeV> hiHead = null, hiTail = null;

47 NodeV> next;

48 do {

49 next = e.next;

50 // 原索引

51 if ((e.hash & oldCap) == 0) {

52 if (loTail == null)

53 loHead = e;

54 else

55 loTail.next = e;

56 loTail = e;

57 }

58 // 原索引+oldCap

59 else {

60 if (hiTail == null)

61 hiHead = e;

62 else

63 hiTail.next = e;

64 hiTail = e;

65 }

66 } while ((e = next) != null);

67 // 原索引放到bucket裡

68 if (loTail != null) {

69 loTail.next = null;

70 newTab[j] = loHead;

71 }

72 // 原索引+oldCap放到bucket裡

73 if (hiTail != null) {

74 hiTail.next = null;

75 newTab[j + oldCap] = hiHead;

76 }

77 }

78 }

79 }

80 }

81 return newTab;

82 }

線程安全性

在多線程使用場景中,應該盡量避免使用線程不安全的HashMap,而使用線程安全的ConcurrentHashMap。那麼為什麼說HashMap是線程不安全的,下面舉例子說明在并發的多線程使用場景中使用HashMap可能造成死循環。代碼例子如下(便于了解,仍然使用JDK1.7的環境):

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

public class HashMapInfiniteLoop {

private static HashMapString> map = new HashMap(2,0.75f);

public static void main(String[] args) {

map.put(5, "C");

new Thread("Thread1") {

public void run() {

map.put(7, "B");

System.out.println(map);

};

}.start();

new Thread("Thread2") {

public void run() {

map.put(3, "A);

System.out.println(map);

};

}.start();

}

}

其中,map初始化為一個長度為2的數組,loadFactor=0.75,threshold=2*0.75=1,也就是說當put第二個key的時候,map就需要進行resize。

通過設定斷點讓線程1和線程2同時debug到transfer方法(3.3小節代碼塊)的首行。注意此時兩個線程已經成功添加資料。放開thread1的斷點至transfer方法的“Entry next = e.next;” 這一行;然後放開線程2的的斷點,讓線程2進行resize。結果如下圖。

HashMap源碼分析及原理

注意,Thread1的 e 指向了key(3),而next指向了key(7),其線上程二rehash後,指向了線程二重組後的連結清單。

線程一被排程回來執行,先是執行 newTalbe[i] = e, 然後是e = next,導緻了e指向了key(7),而下一次循環的next = e.next導緻了next指向了key(3)。

HashMap源碼分析及原理
HashMap源碼分析及原理

e.next = newTable[i] 導緻 key(3).next 指向了 key(7)。注意:此時的key(7).next 已經指向了key(3), 環形連結清單就這樣出現了。

HashMap源碼分析及原理

于是,當我們用線程一調用map.get(11)時,悲劇就出現了——Infinite Loop。

小結

(1) 擴容是一個特别耗性能的操作,是以當程式員在使用HashMap的時候,估算map的大小,初始化的時候給一個大緻的數值,避免map進行頻繁的擴容。

(2) 負載因子是可以修改的,也可以大于1,但是建議不要輕易修改,除非情況非常特殊。

(3) HashMap是線程不安全的,不要在并發的環境中同時操作HashMap,建議使用ConcurrentHashMap。

(4) JDK1.8引入紅黑樹大程度優化了HashMap的性能。

繼續閱讀