我要投稿
  • 您當前的位置:中國教育資源網 -> 技術教程 -> 服務器網絡 -> 服務器教程 -> LinuxBSD教程 -> 教程內容
  • [ 收藏本頁教程 ]
  • 技術疫苗:Java HashMap的死循環

    教程作者:本站    教程來源:本站整理   教程欄目:LinuxBSD教程    收藏本頁

     在淘寶內網里看到同事發了貼說了一個CPU被100%的線上故障,并且這個事發生了很多次,原因是在Java語言在并發情況下使用HashMap造成 Race Condition,從而導致死循環。這個事情我4、5年前也經歷過,本來覺得沒什么好寫的,因為Java的HashMap是非線程安全的,所以在并發下必然出現問題。但是,我發現近幾年,很多人都經歷過這個事(在網上查“HashMap Infinite Loop”可以看到很多人都在說這個事)所以,覺得這個是個普遍問題,需要寫篇疫苗文章說一下這個事,并且給大家看看一個完美的“Race Condition”是怎么形成的。

      問題的癥狀

      從前我們的Java代碼因為一些原因使用了HashMap這個東西,但是當時的程序是單線程的,一切都沒有問題。后來,我們的程序性能有問題,所以需要變成多線程的,于是,變成多線程后到了線上,發現程序經常占了100%的CPU,查看堆棧,你會發現程序都Hang在了HashMap.get()這個方法上了,重啟程序后問題消失。但是過段時間又會來。而且,這個問題在測試環境里可能很難重現。

      我們簡單的看一下我們自己的代碼,我們就知道HashMap被多個線程操作。而Java的文檔說HashMap是非線程安全的,應該用ConcurrentHashMap。

      但是在這里我們可以來研究一下原因。

      Hash表數據結構

      我需要簡單地說一下HashMap這個經典的數據結構。

      HashMap通常會用一個指針數組(假設為table[])來做分散所有的key,當一個key被加入時,會通過Hash算法通過key算出這個數組的下標i,然后就把這個<key, value>插到table[i]中,如果有兩個不同的key被算在了同一個i,那么就叫沖突,又叫碰撞,這樣會在table[i]上形成一個鏈表。

      我們知道,如果table[]的尺寸很小,比如只有2個,如果要放進10個keys的話,那么碰撞非常頻繁,于是一個O(1)的查找算法,就變成了鏈表遍歷,性能變成了O(n),這是Hash表的缺陷(可參看《Hash Collision DoS 問題》)。

      所以,Hash表的尺寸和容量非常的重要。一般來說,Hash表這個容器當有數據要插入時,都會檢查容量有沒有超過設定的thredhold,如果超過,需要增大Hash表的尺寸,但是這樣一來,整個Hash表里的無素都需要被重算一遍。這叫rehash,這個成本相當的大。

      相信大家對這個基礎知識已經很熟悉了。

      HashMap的rehash源代碼

      下面,我們來看一下Java的HashMap的源代碼。

      Put一個Key,Value對到Hash表中:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    public V put(K key, V value)
    {
        ......
        //算Hash值
        int hash = hash(key.hashCode());
        int i = indexFor(hash, table.length);
        //如果該key已被插入,則替換掉舊的value (鏈接操作)
        for (Entry<K,V> e = table[i]; e != null; e = e.next) {
            Object k;
            if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
                V oldValue = e.value;
                e.value = value;
                e.recordAccess(this);
                return oldValue;
            }
        }
        modCount++;
        //該key不存在,需要增加一個結點
        addEntry(hash, key, value, i);
        return null;
    }

      檢查容量是否超標

    1
    2
    3
    4
    5
    6
    7
    8
    void addEntry(int hash, K key, V value, int bucketIndex)
    {
        Entry<K,V> e = table[bucketIndex];
        table[bucketIndex] = new Entry<K,V>(hash, key, value, e);
        //查看當前的size是否超過了我們設定的閾值threshold,如果超過,需要resize
        if (size++ >= threshold)
            resize(2 * table.length);
    }

      新建一個更大尺寸的hash表,然后把數據從老的Hash表中遷移到新的Hash表中。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    void resize(int newCapacity)
    {
        Entry[] oldTable = table;
        int oldCapacity = oldTable.length;
        ......
        //創建一個新的Hash Table
        Entry[] newTable = new Entry[newCapacity];
        //將Old Hash Table上的數據遷移到New Hash Table上
        transfer(newTable);
        table = newTable;
        threshold = (int)(newCapacity * loadFactor);
    }

      遷移的源代碼,注意高亮處:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    void transfer(Entry[] newTable)
    {
        Entry[] src = table;
        int newCapacity = newTable.length;
        //下面這段代碼的意思是:
        //  從OldTable里摘一個元素出來,然后放到NewTable中
        for (int j = 0; j < src.length; j++) {
            Entry<K,V> e = src[j];
            if (e != null) {
                src[j] = null;
                do {
                    Entry<K,V> next = e.next;
                    int i = indexFor(e.hash, newCapacity);
                    e.next = newTable[i];
                    newTable[i] = e;
                    e = next;
                while (e != null);
            }
        }
    }

      好了,這個代碼算是比較正常的。而且沒有什么問題。

     正常的ReHash的過程

      畫了個圖做了個演示。

    • 我假設了我們的hash算法就是簡單的用key mod 一下表的大小(也就是數組的長度)。
    • 最上面的是old hash 表,其中的Hash表的size=2, 所以key = 3, 7, 5,在mod 2以后都沖突在table[1]這里了。
    • 接下來的三個步驟是Hash表 resize成4,然后所有的<key,value> 重新rehash的過程

      并發下的Rehash

      1)假設我們有兩個線程。我用紅色和淺藍色標注了一下。

      我們再回頭看一下我們的 transfer代碼中的這個細節:

    1
    2
    3
    4
    5
    6
    7
    do {
        Entry<K,V> next = e.next; // <--假設線程一執行到這里就被調度掛起了
        int i = indexFor(e.hash, newCapacity);
        e.next = newTable[i];
        newTable[i] = e;
        e = next;
    while (e != null);

      而我們的線程二執行完成了。于是我們有下面的這個樣子。

      注意,因為Thread1的 e 指向了key(3),而next指向了key(7),其在線程二rehash后,指向了線程二重組后的鏈表。我們可以看到鏈表的順序被反轉后。

      2)線程一被調度回來執行。

    • 先是執行 newTalbe[i] = e;
    • 然后是e = next,導致了e指向了key(7),
    • 而下一次循環的next = e.next導致了next指向了key(3)

      3)一切安好。

      線程一接著工作。把key(7)摘下來,放到newTable[i]的第一個,然后把e和next往下移。

     4)環形鏈接出現。

      e.next = newTable[i] 導致  key(3).next 指向了 key(7)

      注意:此時的key(7).next 已經指向了key(3), 環形鏈表就這樣出現了。

      于是,當我們的線程一調用到,HashTable.get(11)時,悲劇就出現了——Infinite Loop。

      其它

      有人把這個問題報給了Sun,不過Sun不認為這個是一個問題。因為HashMap本來就不支持并發。要并發就用ConcurrentHashmap

    http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6423457

      我在這里把這個事情記錄下來,只是為了讓大家了解并體會一下并發環境下的危險。

    我要投稿   -   廣告合作   -   關于本站   -   友情連接   -   網站地圖   -   聯系我們   -   版權聲明   -   設為首頁   -   加入收藏   -   網站留言
    Copyright © 2009 - 20012 www.obscurenation.com All Rights Reserved.中國教育資源網 版權所有  
     
    彩16app 常熟市 | 六枝特区 | 林州市 | 泸溪县 | 唐河县 | 许昌县 | 阜城县 | 顺平县 | 门头沟区 | 花垣县 | 明水县 | 华蓥市 | 崇文区 | 江口县 | 容城县 | 丹东市 | 钦州市 | 大庆市 | 台山市 | 息烽县 | 山东省 | 寿光市 | 淮南市 | 东山县 | 齐齐哈尔市 | 临江市 | 延吉市 | 玉山县 | 隆回县 | 高邑县 | 黑河市 | 石屏县 | 家居 | 涿州市 | 秦安县 | 柏乡县 | 兴安盟 | 三门县 | 兴安县 | 攀枝花市 | 铜山县 | 漳浦县 | 红桥区 | 张家口市 | 宝应县 | 迁安市 | 饶平县 | 唐海县 | 山东省 | 疏附县 | 浦江县 | 凤翔县 | 镇江市 | 莱州市 | 咸丰县 | 花垣县 | 沈丘县 | 绥滨县 | 武强县 | 和林格尔县 | 和田县 | 咸丰县 | 隆尧县 | 长沙市 | 镇赉县 | 凤庆县 | 潼关县 | 建宁县 | 垫江县 | 娄烦县 | 和顺县 | 离岛区 | 盐池县 | 石景山区 | 若羌县 | 邮箱 | 嘉禾县 | 米脂县 | 井研县 | 衢州市 | 房产 | 凤阳县 | 文安县 | 忻城县 | 内丘县 | 眉山市 | 长寿区 | 玛曲县 | 平谷区 | 兴城市 | 恭城 | 通渭县 | 郁南县 | 汉寿县 | 普兰店市 | 监利县 | 承德市 | 宁陕县 | 绥中县 | 宁远县 | 来宾市 | 固阳县 | 永春县 | 大冶市 | 恩平市 | 沈丘县 | 南安市 | 安达市 | 常熟市 | 福州市 | 香港 | 嘉定区 | 股票 | 宁国市 | 泽州县 | 平凉市 | 宣城市 | 宜宾市 | 永仁县 | 观塘区 | 鄂托克旗 | 黑龙江省 | 鸡东县 | 东至县 | 横峰县 | 建德市 | 漠河县 | 永宁县 | 德兴市 | 沧州市 | 龙陵县 | 孟州市 | 麟游县 | 孝义市 | 上栗县 | 璧山县 | 渝中区 | 高碑店市 | 大安市 | 定安县 | 南丹县 | 通山县 | 福州市 | 闸北区 | 富裕县 | 平安县 | 泰安市 | 曲周县 | 贺州市 | 平湖市 | 阳新县 | 越西县 | 三都 | 西盟 | 克拉玛依市 | 威海市 | 青岛市 | 曲水县 | 曲水县 | 三台县 | 峨眉山市 | 三门峡市 | 海门市 | 高平市 | 珠海市 | 屏南县 | 晋城 | 九台市 | 连云港市 | 株洲县 | 普兰店市 | 永川市 | 墨竹工卡县 | 通化县 | 安陆市 | 三门峡市 | 西峡县 | 招远市 | 舒城县 | 娄烦县 | 通江县 | 南丰县 | 云林县 | 赣榆县 | 丹巴县 | 镇宁 | 山阴县 | 玉林市 | 陇川县 | 台北市 | 阳曲县 | 法库县 | 侯马市 | 辉南县 | 积石山 | 彭州市 | 安阳市 | 承德市 | 桂平市 | 乌拉特前旗 | 大名县 | 凭祥市 | 杭州市 | 邛崃市 | 岐山县 | 依安县 | 商河县 | 甘洛县 | 易门县 | 耿马 | 察隅县 | 岚皋县 | 边坝县 | 茂名市 | 无锡市 | 新和县 | 景德镇市 | 福安市 | 白沙 | 库伦旗 | 蒙山县 | 介休市 | 岳阳县 | 凤庆县 | 景泰县 | 台安县 | 怀宁县 | 宁明县 | 龙陵县 | 江陵县 | 永泰县 | 隆尧县 | 静宁县 | 灌阳县 | 邳州市 | 雅江县 | 枞阳县 | 碌曲县 | 花垣县 | 沙河市 | 睢宁县 | 天峨县 | 洛南县 | 顺平县 | 金湖县 | 镇江市 | 蚌埠市 | 延寿县 | 泰兴市 | 清涧县 | 卓尼县 |