深入了解JAVA HASHMAP的死循環(huán)
前言
在淘寶內(nèi)網(wǎng)里看到同事發(fā)了貼說了一個CPU被100%的線上故障,并且這個事發(fā)生了很多次,原因是在Java語言在并發(fā)情況下使用HashMap造成Race Condition,從而導(dǎo)致死循環(huán)。這個事情我4、5年前也經(jīng)歷過,本來覺得沒什么好寫的,因為Java的HashMap是非線程安全的,所以在并發(fā)下必然出現(xiàn)問題。但是,我發(fā)現(xiàn)近幾年,很多人都經(jīng)歷過這個事(在網(wǎng)上查“HashMap Infinite Loop”可以看到很多人都在說這個事)所以,覺得這個是個普遍問題,需要寫篇疫苗文章說一下這個事,并且給大家看看一個完美的“Race Condition”是怎么形成的。
問題的癥狀
從前我們的Java代碼因為一些原因使用了HashMap這個東西,但是當(dāng)時的程序是單線程的,一切都沒有問題。后來,我們的程序性能有問題,所以需要變成多線程的,于是,變成多線程后到了線上,發(fā)現(xiàn)程序經(jīng)常占了100%的CPU,查看堆棧,你會發(fā)現(xiàn)程序都Hang在了HashMap.get()這個方法上了,重啟程序后問題消失。但是過段時間又會來。而且,這個問題在測試環(huán)境里可能很難重現(xiàn)。
我們簡單的看一下我們自己的代碼,我們就知道HashMap被多個線程操作。而Java的文檔說HashMap是非線程安全的,應(yīng)該用ConcurrentHashMap。
但是在這里我們可以來研究一下原因。
Hash表數(shù)據(jù)結(jié)構(gòu)
我需要簡單地說一下HashMap這個經(jīng)典的數(shù)據(jù)結(jié)構(gòu)。
HashMap通常會用一個指針數(shù)組(假設(shè)為table[])來做分散所有的key,當(dāng)一個key被加入時,會通過Hash算法通過key算出這個數(shù)組的下標(biāo)i,然后就把這個<key, value>插到table[i]中,如果有兩個不同的key被算在了同一個i,那么就叫沖突,又叫碰撞,這樣會在table[i]上形成一個鏈表。
我們知道,如果table[]的尺寸很小,比如只有2個,如果要放進10個keys的話,那么碰撞非常頻繁,于是一個O(1)的查找算法,就變成了鏈表遍歷,性能變成了O(n),這是Hash表的缺陷。
所以,Hash表的尺寸和容量非常的重要。一般來說,Hash表這個容器當(dāng)有數(shù)據(jù)要插入時,都會檢查容量有沒有超過設(shè)定的thredhold,如果超過,需要增大Hash表的尺寸,但是這樣一來,整個Hash表里的無素都需要被重算一遍。這叫rehash,這個成本相當(dāng)?shù)拇蟆?/p>
相信大家對這個基礎(chǔ)知識已經(jīng)很熟悉了。
HashMap的rehash源代碼
下面,我們來看一下Java的HashMap的源代碼。
Put一個Key,Value對到Hash表中:
public V put(K key, V value) { ...... //算Hash值 int hash = hash(key.hashCode()); int i = indexFor(hash, table.length); //如果該key已被插入,則替換掉舊的value (鏈接操作) for (Entry<K,V> e = table[i]; e != null; e = e.next) { Object k; if (e.hash == hash && ((k = e.key) == key || key.equals(k))) { V oldValue = e.value; e.value = value; e.recordAccess(this); return oldValue; } } modCount++; //該key不存在,需要增加一個結(jié)點 addEntry(hash, key, value, i); return null; }
檢查容量是否超標(biāo)
void addEntry(int hash, K key, V value, int bucketIndex) { Entry<K,V> e = table[bucketIndex]; table[bucketIndex] = new Entry<K,V>(hash, key, value, e); //查看當(dāng)前的size是否超過了我們設(shè)定的閾值threshold,如果超過,需要resize if (size++ >= threshold) resize(2 * table.length); }
新建一個更大尺寸的hash表,然后把數(shù)據(jù)從老的Hash表中遷移到新的Hash表中。
void resize(int newCapacity) { Entry[] oldTable = table; int oldCapacity = oldTable.length; ...... //創(chuàng)建一個新的Hash Table Entry[] newTable = new Entry[newCapacity]; //將Old Hash Table上的數(shù)據(jù)遷移到New Hash Table上 transfer(newTable); table = newTable; threshold = (int)(newCapacity * loadFactor); }
遷移的源代碼,注意高亮處:
void transfer(Entry[] newTable) { Entry[] src = table; int newCapacity = newTable.length; //下面這段代碼的意思是: // 從OldTable里摘一個元素出來,然后放到NewTable中 for (int j = 0; j < src.length; j++) { Entry<K,V> e = src[j]; if (e != null) { src[j] = null; do { Entry<K,V> next = e.next; int i = indexFor(e.hash, newCapacity); e.next = newTable[i]; newTable[i] = e; e = next; } while (e != null); } } }
好了,這個代碼算是比較正常的。而且沒有什么問題。
正常的ReHash的過程
- 我假設(shè)了我們的hash算法就是簡單的用key mod 一下表的大?。ㄒ簿褪菙?shù)組的長度)。
- 最上面的是old hash 表,其中的Hash表的size=2, 所以key = 3, 7, 5,在mod 2以后都沖突在table[1]這里了。
- 接下來的三個步驟是Hash表 resize成4,然后所有的<key,value> 重新rehash的過程
并發(fā)下的Rehash
1)假設(shè)我們有兩個線程。
我們再回頭看一下我們的 transfer代碼中的這個細節(jié):
do { Entry<K,V> next = e.next; // <--假設(shè)線程一執(zhí)行到這里就被調(diào)度掛起了 int i = indexFor(e.hash, newCapacity); e.next = newTable[i]; newTable[i] = e; e = next; } while (e != null);
而我們的線程二執(zhí)行完成了。
注意,因為Thread1的 e 指向了key(3),而next指向了key(7),其在線程二rehash后,指向了線程二重組后的鏈表。我們可以看到鏈表的順序被反轉(zhuǎn)后。
2)線程一被調(diào)度回來執(zhí)行。
先是執(zhí)行 newTalbe[i] = e;
然后是e = next,導(dǎo)致了e指向了key(7),
而下一次循環(huán)的next = e.next導(dǎo)致了next指向了key(3)
3)一切安好。
線程一接著工作。把key(7)摘下來,放到newTable[i]的第一個,然后把e和next往下移。
JAVA HASHMAP的死循環(huán)
4)環(huán)形鏈接出現(xiàn)。
e.next = newTable[i] 導(dǎo)致 key(3).next 指向了 key(7)
注意:此時的key(7).next 已經(jīng)指向了key(3), 環(huán)形鏈表就這樣出現(xiàn)了。
于是,當(dāng)我們的線程一調(diào)用到,HashTable.get(11)時,悲劇就出現(xiàn)了——Infinite Loop。
其它
有人把這個問題報給了Sun,不過Sun不認為這個是一個問題。因為HashMap本來就不支持并發(fā)。要并發(fā)就用ConcurrentHashmap
我在這里把這個事情記錄下來,只是為了讓大家了解并體會一下并發(fā)環(huán)境下的危險。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
利用JSONObject.toJSONString()包含或排除指定的屬性
這篇文章主要介紹了利用JSONObject.toJSONString()包含或排除指定的屬性,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-03-03SpringBoot+SpringSecurity實現(xiàn)基于真實數(shù)據(jù)的授權(quán)認證
Spring Security是一個功能強大且高度可定制的身份驗證和訪問控制框架,Spring Security主要做兩個事情,認證、授權(quán)。這篇文章主要介紹了SpringBoot+SpringSecurity實現(xiàn)基于真實數(shù)據(jù)的授權(quán)認證,需要的朋友可以參考下2021-05-05詳解MyBatis如何在大數(shù)據(jù)量下使用流式查詢進行數(shù)據(jù)同步
通常的數(shù)據(jù)同步中,如果數(shù)據(jù)量比較少的話可以直接全量同步,但是如果數(shù)據(jù)量很大的話,全量同步需要大量的內(nèi)存,所以本文為大家介紹了MyBatis使用流式查詢實現(xiàn)數(shù)據(jù)同步的方法,希望對大家有所幫助2023-05-05spring boot微服務(wù)自定義starter原理詳解
這篇文章主要介紹了spring boot微服務(wù)自定義starter原理詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-12-12Spring Boot基于數(shù)據(jù)庫如何實現(xiàn)簡單的分布式鎖
這篇文章主要給大家介紹了關(guān)于Spring Boot基于數(shù)據(jù)庫如何實現(xiàn)簡單的分布式鎖的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家學(xué)習(xí)或者使用Spring Boot具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07