哈希
Hash,一般翻譯做“散列”,也有直接音譯為“哈希”的,就是把任意長度的輸入,通過雜湊演算法,變換成固定長度的輸出,該輸出就是散列值。這種轉換是一種壓縮映射,也就是,散列值的空間通常遠小于輸入的空間,不同的輸入可能會散列成相同的輸出,是以不可能從散列值來唯一的确定輸入值。簡單的說就是一種将任意長度的消息壓縮到某一固定長度的消息摘要的函數。
所有散列函數都有如下一個基本特性:根據同一散列函數計算出的散列值如果不同,那麼輸入值肯定也不同。但是,根據同一散列函數計算出的散列值如果相同,輸入值不一定相同。
兩個不同的輸入值,根據同一散列函數計算出的散列值相同的現象叫做碰撞。
常見的Hash函數有以下幾個:
直接定址法:直接以關鍵字k或者k加上某個常數(k+c)作為哈希位址。
數字分析法:提取關鍵字中取值比較均勻的數字作為哈希位址。
除留餘數法:用關鍵字k除以某個不大于哈希表長度m的數p,将所得餘數作為哈希表位址。
分段疊加法:按照哈希表位址位數将關鍵字分成位數相等的幾部分,其中最後一部分可以比較短。然後将這幾部分相加,舍棄最高進位後的結果就是該關鍵字的哈希位址。
平方取中法:如果關鍵字各個部分分布都不均勻的話,可以先求出它的平方值,然後按照需求取中間的幾位作為哈希位址。
僞随機數法:采用一個僞随機數當作哈希函數。
上面介紹過碰撞。衡量一個哈希函數的好壞的重要名額就是發生碰撞的機率以及發生碰撞的解決方案。任何哈希函數基本都無法徹底避免碰撞,常見的解決碰撞的方法有以下幾種:
- 開放定址法:
- 開放定址法就是一旦發生了沖突,就去尋找下一個空的散列位址,隻要散清單足夠大,空的散列位址總能找到,并将記錄存入。
- 鍊位址法
- 将哈希表的每個單元作為連結清單的頭結點,所有哈希位址為i的元素構成一個同義詞連結清單。即發生沖突時就把該關鍵字鍊在以該單元為頭結點的連結清單的尾部。
- 再哈希法
- 當哈希位址發生沖突用其他的函數計算另一個哈希函數位址,直到沖突不再産生為止。
- 建立公共溢出區
- 将哈希表分為基本表和溢出表兩部分,發生沖突的元素都放入溢出表中。
HashMap 的資料結構
在Java中,儲存資料有兩種比較簡單的資料結構:數組和連結清單。數組的特點是:尋址容易,插入和删除困難;而連結清單的特點是:尋址困難,插入和删除容易。上面我們提到過,常用的哈希函數的沖突解決辦法中有一種方法叫做鍊位址法,其實就是将數組和連結清單組合在一起,發揮了兩者的優勢,我們可以将其了解為連結清單的數組。

我們可以從上圖看到,左邊很明顯是個數組,數組的每個成員是一個連結清單。該資料結構所容納的所有元素均包含一個指針,用于元素間的連結。我們根據元素的自身特征把元素配置設定到不同的連結清單中去,反過來我們也正是通過這些特征找到正确的連結清單,再從連結清單中找出正确的元素。其中,根據元素特征計算元素數組下标的方法就是雜湊演算法,即本文的主角hash()函數(當然,還包括indexOf()函數)。
hash方法
我們拿JDK 1.7的HashMap為例,其中定義了一個final int hash(Object k) 方法,其主要被以下方法引用。
首先,在同一個版本的Jdk中,HashMap、HashTable以及ConcurrentHashMap裡面的hash方法的實作是不同的。再不同的版本的JDK中(Java7 和 Java8)中也是有差別的。我會盡量全部介紹到。相信,看文這篇文章,你會徹底了解hash方法。
上面的方法主要都是增加和删除方法,這不難了解,當我們要對一個連結清單數組中的某個元素進行增删的時候,首先要知道他應該儲存在這個連結清單數組中的哪個位置,即他在這個數組中的下标。而hash()方法的功能就是根據Key來定位其在HashMap中的位置。HashTable、ConcurrentHashMap同理。
源碼解析
在上代碼之前,我們先來做個簡單分析。我們知道,hash方法的功能是根據Key來定位這個K-V在連結清單數組中的位置的。也就是hash方法的輸入應該是個Object類型的Key,輸出應該是個int類型的數組下标。如果讓你設計這個方法,你會怎麼做?
其實簡單,我們隻要調用Object對象的hashCode()方法,該方法會傳回一個整數,然後用這個數對HashMap或者HashTable的容量進行取模就行了。沒錯,其實基本原理就是這個,隻不過,在具體實作上,由兩個方法int hash(Object k)和int indexFor(int h, int length)來實作。但是考慮到效率等問題,HashMap的實作會稍微複雜一點。
hash :該方法主要是将Object轉換成一個整型。
indexFor :該方法主要是将hash生成的整型轉換成連結清單數組中的下标。
HashMap In Java 7
final int hash(Object k) {
int h = hashSeed;
if (0 != h && k instanceof String) {
return sun.misc.Hashing.stringHash32((String) k);
}
h ^= k.hashCode();
h ^= (h >>> 20) ^ (h >>> 12);
return h ^ (h >>> 7) ^ (h >>> 4);
}
static int indexFor(int h, int length) {
return h & (length-1);
}
前面我說過,indexFor方法其實主要是将hash生成的整型轉換成連結清單數組中的下标。那麼return h & (length-1);是什麼意思呢?其實,他就是取模。Java之所有使用位運算(&)來代替取模運算(%),最主要的考慮就是效率。**位運算(&)效率要比代替取模運算(%)高很多,主要原因是位運算直接對記憶體資料進行操作,不需要轉成十進制,是以處理速度非常快。
**
那麼,為什麼可以使用位運算(&)來實作取模運算(%)呢?這實作的原理如下:
X % 2^n = X & (2^n - 1)
2^n表示2的n次方,也就是說,一個數對2^n取模 == 一個數和(2^n - 1)做按位與運算 。
假設n為3,則2^3 = 8,表示成2進制就是1000。2^3 -1 = 7 ,即0111。
此時X & (2^3 - 1) 就相當于取X的2進制的最後三位數
從2進制角度來看,X / 8相當于 X >> 3,即把X右移3位,此時得到了X / 8的商,而被移掉的部分(後三位),則是X % 8,也就是餘數。
上面的解釋不知道你有沒有看懂,沒看懂的話其實也沒關系,你隻需要記住這個技巧就可以了。或者你可以找幾個例子試一下。
6 % 8 = 6 ,6 & 7 = 6
10 & 8 = 2 ,10 & 7 = 2
是以,return h & (length-1);隻要保證length的長度是2^n的話,就可以實作取模運算了。而HashMap中的length也确實是2的倍數,初始值是16,之後每次擴充為原來的2倍。
分析完indexFor方法後,我們接下來準備分析hash方法的具體原理和實作。在深入分析之前,至此,先做個總結。
HashMap的資料是存儲在連結清單數組裡面的。在對HashMap進行插入/删除等操作時,都需要根據K-V對的鍵值定位到他應該儲存在數組的哪個下标中。而這個通過鍵值求取下标的操作就叫做哈希。HashMap的數組是有長度的,Java中規定這個長度隻能是2的倍數,初始值為16。簡單的做法是先求取出鍵值的hashcode,然後在将hashcode得到的int值對數組長度進行取模。為了考慮性能,Java總采用按位與操作實作取模操作。
接下來我們會發現,無論是用取模運算還是位運算都無法直接解決沖突較大的問題。比如:CA11 0000和0001 0000在對0000 1111進行按位與運算後的值是相等的。
兩個不同的鍵值,在對數組長度進行按位與運算後得到的結果相同,這不就發生了沖突嗎。那麼如何解決這種沖突呢,來看下Java是如何做的。
其中的主要代碼部分如下:
h ^= k.hashCode();
h ^= (h >>> 20) ^ (h >>> 12);
return h ^ (h >>> 7) ^ (h >>> 4);
這段代碼是為了對key的hashCode進行擾動計算,防止不同hashCode的高位不同但低位相同導緻的hash沖突。簡單點說,就是為了把高位的特征和低位的特征組合起來,降低哈希沖突的機率,也就是說,盡量做到任何一位的變化都能對最終得到的結果産生影響。
舉個例子來說,我們現在想向一個HashMap中put一個K-V對,Key的值為“hollischuang”,經過簡單的擷取hashcode後,得到的值為“1011000110101110011111010011011”,如果目前HashTable的大小為16,即在不進行擾動計算的情況下,他最終得到的index結果值為11。由于15的二進制擴充到32位為“00000000000000000000000000001111”,是以,一個數字在和他進行按位與操作的時候,前28位無論是什麼,計算結果都一樣(因為0和任何數做與,結果都為0)。如下圖所示。
可以看到,後面的兩個hashcode經過位運算之後得到的值也是11 ,雖然我們不知道哪個key的hashcode是上面例子中的那兩個,但是肯定存在這樣的key,這就産生了沖突。
那麼,接下來,我看看一下經過擾動的算法最終的計算結果會如何。
從上面圖中可以看到,之前會産生沖突的兩個hashcode,經過擾動計算之後,最終得到的index的值不一樣了,這就很好的避免了沖突。
其實,使用位運算代替取模運算,除了性能之外,還有一個好處就是可以很好的解決負數的問題。因為我們知道,hashcode的結果是int類型,而int的取值範圍是-2^31 ~ 2^31 - 1,即[ -2147483648, 2147483647];這裡面是包含負數的,我們知道,對于一個負數取模還是有些麻煩的。如果使用二進制的位運算的話就可以很好的避免這個問題。首先,不管hashcode的值是正數還是負數。length-1這個值一定是個正數。那麼,他的二進制的第一位一定是0(有符号數用最高位作為符号位,“0”代表“+”,“1”代表“-”),這樣裡兩個數做按位與運算之後,第一位一定是個0,也就是,得到的結果一定是個正數。
HashTable In Java 7
上面是Java 7中HashMap的hash方法以及indexOf方法的實作,那麼接下來我們要看下,線程安全的HashTable是如何實作的,和HashMap有何不同,并試着分析下不同的原因。以下是Java 7中HashTable的hash方法的實作。
jprivate int hash(Object k) {
// hashSeed will be zero if alternative hashing is disabled.
return hashSeed ^ k.hashCode();
}
我們可以發現,很簡單,相當于隻是對k做了個簡單的hash,取了一下其hashCode。而HashTable中也沒有indexOf方法,取而代之的是這段代碼:int index = (hash & 0x7FFFFFFF) % tab.length;。也就是說,HashMap和HashTable對于計算數組下标這件事,采用了兩種方法。HashMap采用的是位運算,而HashTable采用的是直接取模。
為啥要把hash值和0x7FFFFFFF做一次按位與操作呢,主要是為了保證得到的index的第一位為0,也就是為了得到一個正數。因為有符号數第一位0代表正數,1代表負數。
我們前面說過,HashMap之是以不用取模的原因是為了提高效率。有人認為,因為HashTable是個線程安全的類,本來就慢,是以Java并沒有考慮效率問題,就直接使用取模算法了呢?但是其實并不完全是,Java這樣設計還是有一定的考慮在的,雖然這樣效率确實是會比HashMap慢一些。
其實,HashTable采用簡單的取模是有一定的考慮在的。這就要涉及到HashTable的構造函數和擴容函數了。由于篇幅有限,這裡就不貼代碼了,直接給出結論:
HashTable預設的初始大小為11,之後每次擴充為原來的2n+1。
也就是說,HashTable的連結清單數組的預設大小是一個素數、奇數。之後的每次擴充結果也都是奇數。
由于HashTable會盡量使用素數、奇數作為容量的大小。當哈希表的大小為素數時,簡單的取模哈希的結果會更加均勻。(這個是可以證明出來的,由于不是本文重點,暫不詳細介紹,可參考:
http://zhaox.github.io/algorithm/2015/06/29/hash )
至此,我們看完了Java 7中HashMap和HashTable中對于hash的實作,我們來做個簡單的總結。
- HashMap預設的初始化大小為16,之後每次擴充為原來的2倍。
當哈希表的大小為素數時,簡單的取模哈希的結果會更加均勻,是以單從這一點上看,HashTable的哈希表大小選擇,似乎更高明些。因為hash結果越分散效果越好。
在取模計算時,如果模數是2的幂,那麼我們可以直接使用位運算來得到結果,效率要大大高于做除法。是以從hash計算的效率上,又是HashMap更勝一籌。
但是,HashMap為了提高效率使用位運算代替哈希,這又引入了哈希分布不均勻的問題,是以HashMap為解決這問題,又對hash算法做了一些改進,進行了擾動計算。
ConcurrentHashMap In Java 7
private int hash(Object k) {
int h = hashSeed;
if ((0 != h) && (k instanceof String)) {
return sun.misc.Hashing.stringHash32((String) k);
}
h ^= k.hashCode();
// Spread bits to regularize both segment and index locations,
// using variant of single-word Wang/Jenkins hash.
h += (h << 15) ^ 0xffffcd7d;
h ^= (h >>> 10);
h += (h << 3);
h ^= (h >>> 6);
h += (h << 2) + (h << 14);
return h ^ (h >>> 16);
}
int j = (hash >>> segmentShift) & segmentMask;
上面這段關于ConcurrentHashMap的hash實作其實和HashMap如出一轍。都是通過位運算代替取模,然後再對hashcode進行擾動。差別在于,ConcurrentHashMap 使用了一種變種的Wang/Jenkins 雜湊演算法,其主要目的也是為了把高位和低位組合在一起,避免發生沖突。至于為啥不和HashMap采用同樣的算法進行擾動,我猜這隻是程式員自由意志的選擇吧。至少我目前沒有辦法證明哪個更優。
HashMap In Java 8
在Java 8 之前,HashMap和其他基于map的類都是通過鍊位址法解決沖突,它們使用單向連結清單來存儲相同索引值的元素。在最壞的情況下,這種方式會将HashMap的get方法的性能從O(1)降低到O(n)。為了解決在頻繁沖突時hashmap性能降低的問題,Java 8中使用平衡樹來替代連結清單存儲沖突的元素。這意味着我們可以将最壞情況下的性能從O(n)提高到O(logn)。關于HashMap在Java 8中的優化,我後面會有文章繼續深入介紹。
如果惡意程式知道我們用的是Hash算法,則在純連結清單情況下,它能夠發送大量請求導緻哈希碰撞,然後不停通路這些key導緻HashMap忙于進行線性查找,最終陷入癱瘓,即形成了拒絕服務攻擊(DoS)。
關于Java 8中的hash函數,原理和Java 7中基本類似。Java 8中這一步做了優化,隻做一次16位右位移異或混合,而不是四次,但原理是不變的。
jstatic final int hash(Object key) {
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
在JDK1.8的實作中,優化了高位運算的算法,通過hashCode()的高16位異或低16位實作的:(h = k.hashCode()) ^ (h >>> 16),主要是從速度、功效、品質來考慮的。以上方法得到的int的hash值,然後再通過h & (table.length -1)來得到該對象在資料中儲存的位置。
HashTable In Java 8
在Java 8的HashTable中,已經不在有hash方法了。但是哈希的操作還是在的,比如在put方法中就有如下實作:
int hash = key.hashCode();
int index = (hash & 0x7FFFFFFF) % tab.length;
這其實和Java 7中的實作幾乎無差别,就不做過多的介紹了。
ConcurrentHashMap In Java 8
Java 8 裡面的求hash的方法從hash改為了spread。實作方式如下:
static final int spread(int h) {
return (h ^ (h >>> 16)) & HASH_BITS;
}
Java 8的ConcurrentHashMap同樣是通過Key的哈希值與數組長度取模确定該Key在數組中的索引。同樣為了避免不太好的Key的hashCode設計,它通過如下方法計算得到Key的最終哈希值。不同的是,Java 8的ConcurrentHashMap作者認為引入紅黑樹後,即使哈希沖突比較嚴重,尋址效率也足夠高,是以作者并未在哈希值的計算上做過多設計,隻是将Key的hashCode值與其高16位作異或并保證最高位為0(進而保證最終結果為正整數)。
總結
至此,我們已經分析完了HashMap、HashTable以及ConcurrentHashMap分别在Jdk 1.7 和 Jdk 1.8中的實作。我們可以發現,為了保證哈希的結果可以分散、為了提高哈希的效率,JDK在一個小小的hash方法上就有很多考慮,做了很多事情。當然,我希望我們不僅可以深入了解背後的原理,還要學會這種對代碼精益求精的态度。
Jdk的源代碼,每一行都很有意思,都值得花時間去鑽研、推敲。
哈希表(HashTable)的構造方法和沖突解決 HashMap的資料結構 HashMap和HashTable到底哪不同? 知乎問題中@二大王 和 @Anra的答案