`
annegu
  • 浏览: 98765 次
  • 性别: Icon_minigender_2
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论
阅读更多
/**
    *@author annegu
    *@date 2009-12-02
    */

Hashmap是一种非常常用的、应用广泛的数据类型,最近研究到相关的内容,就正好复习一下。网上关于hashmap的文章很多,但到底是自己学习的总结,就发出来跟大家一起分享,一起讨论。

1、hashmap的数据结构
要知道hashmap是什么,首先要搞清楚它的数据结构,在java编程语言中,最基本的结构就是两种,一个是数组,另外一个是模拟指针(引用),所有的数据结构都可以用这两个基本结构来构造的,hashmap也不例外。Hashmap实际上是一个数组和链表的结合体(在数据结构中,一般称之为“链表散列“),请看下图(横排表示数组,纵排表示数组元素【实际上是一个链表】)。




从图中我们可以看到一个hashmap就是一个数组结构,当新建一个hashmap的时候,就会初始化一个数组。我们来看看java代码:

/**
     * The table, resized as necessary. Length MUST Always be a power of two.
     *  FIXME 这里需要注意这句话,至于原因后面会讲到
     */
    transient Entry[] table;

static class Entry<K,V> implements Map.Entry<K,V> {
        final K key;
        V value;
        final int hash;
        Entry<K,V> next;
..........
}


        上面的Entry就是数组中的元素,它持有一个指向下一个元素的引用,这就构成了链表。
         当我们往hashmap中put元素的时候,先根据key的hash值得到这个元素在数组中的位置(即下标),然后就可以把这个元素放到对应的位置中了。如果这个元素所在的位子上已经存放有其他元素了,那么在同一个位子上的元素将以链表的形式存放,新加入的放在链头,最先加入的放在链尾。从hashmap中get元素时,首先计算key的hashcode,找到数组中对应位置的某一元素,然后通过key的equals方法在对应位置的链表中找到需要的元素。从这里我们可以想象得到,如果每个位置上的链表只有一个元素,那么hashmap的get效率将是最高的,但是理想总是美好的,现实总是有困难需要我们去克服,哈哈~

2、hash算法
我们可以看到在hashmap中要找到某个元素,需要根据key的hash值来求得对应数组中的位置。如何计算这个位置就是hash算法。前面说过hashmap的数据结构是数组和链表的结合,所以我们当然希望这个hashmap里面的元素位置尽量的分布均匀些,尽量使得每个位置上的元素数量只有一个,那么当我们用hash算法求得这个位置的时候,马上就可以知道对应位置的元素就是我们要的,而不用再去遍历链表。

所以我们首先想到的就是把hashcode对数组长度取模运算,这样一来,元素的分布相对来说是比较均匀的。但是,“模”运算的消耗还是比较大的,能不能找一种更快速,消耗更小的方式那?java中时这样做的,


 static int indexFor(int h, int length) {
        return h & (length-1);
    }


首先算得key得hashcode值,然后跟数组的长度-1做一次“与”运算(&)。看上去很简单,其实比较有玄机。比如数组的长度是2的4次方,那么hashcode就会和2的4次方-1做“与”运算。很多人都有这个疑问,为什么hashmap的数组初始化大小都是2的次方大小时,hashmap的效率最高,我以2的4次方举例,来解释一下为什么数组大小为2的幂时hashmap访问的性能最高。

         看下图,左边两组是数组长度为16(2的4次方),右边两组是数组长度为15。两组的hashcode均为8和9,但是很明显,当它们和1110“与”的时候,产生了相同的结果,也就是说它们会定位到数组中的同一个位置上去,这就产生了碰撞,8和9会被放到同一个链表上,那么查询的时候就需要遍历这个链表,得到8或者9,这样就降低了查询的效率。同时,我们也可以发现,当数组长度为15的时候,hashcode的值会与14(1110)进行“与”,那么最后一位永远是0,而0001,0011,0101,1001,1011,0111,1101这几个位置永远都不能存放元素了,空间浪费相当大,更糟的是这种情况中,数组可以使用的位置比数组长度小了很多,这意味着进一步增加了碰撞的几率,减慢了查询的效率!





          所以说,当数组长度为2的n次幂的时候,不同的key算得得index相同的几率较小,那么数据在数组上分布就比较均匀,也就是说碰撞的几率小,相对的,查询的时候就不用遍历某个位置上的链表,这样查询效率也就较高了。
          说到这里,我们再回头看一下hashmap中默认的数组大小是多少,查看源代码可以得知是16,为什么是16,而不是15,也不是20呢,看到上面annegu的解释之后我们就清楚了吧,显然是因为16是2的整数次幂的原因,在小数据量的情况下16比15和20更能减少key之间的碰撞,而加快查询的效率。

所以,在存储大容量数据的时候,最好预先指定hashmap的size为2的整数次幂次方。就算不指定的话,也会以大于且最接近指定值大小的2次幂来初始化的,代码如下(HashMap的构造方法中):

// Find a power of 2 >= initialCapacity
        int capacity = 1;
        while (capacity < initialCapacity) 
            capacity <<= 1;




3、hashmap的resize

       当hashmap中的元素越来越多的时候,碰撞的几率也就越来越高(因为数组的长度是固定的),所以为了提高查询的效率,就要对hashmap的数组进行扩容,数组扩容这个操作也会出现在ArrayList中,所以这是一个通用的操作,很多人对它的性能表示过怀疑,不过想想我们的“均摊”原理,就释然了,而在hashmap数组扩容之后,最消耗性能的点就出现了:原数组中的数据必须重新计算其在新数组中的位置,并放进去,这就是resize。

         那么hashmap什么时候进行扩容呢?当hashmap中的元素个数超过数组大小*loadFactor时,就会进行数组扩容,loadFactor的默认值为0.75,也就是说,默认情况下,数组大小为16,那么当hashmap中元素个数超过16*0.75=12的时候,就把数组的大小扩展为2*16=32,即扩大一倍,然后重新计算每个元素在数组中的位置,而这是一个非常消耗性能的操作,所以如果我们已经预知hashmap中元素的个数,那么预设元素的个数能够有效的提高hashmap的性能。比如说,我们有1000个元素new HashMap(1000), 但是理论上来讲new HashMap(1024)更合适,不过上面annegu已经说过,即使是1000,hashmap也自动会将其设置为1024。 但是new HashMap(1024)还不是更合适的,因为0.75*1000 < 1000, 也就是说为了让0.75 * size > 1000, 我们必须这样new HashMap(2048)才最合适,既考虑了&的问题,也避免了resize的问题。


4、key的hashcode与equals方法改写
在第一部分hashmap的数据结构中,annegu就写了get方法的过程:首先计算key的hashcode,找到数组中对应位置的某一元素,然后通过key的equals方法在对应位置的链表中找到需要的元素。所以,hashcode与equals方法对于找到对应元素是两个关键方法。

Hashmap的key可以是任何类型的对象,例如User这种对象,为了保证两个具有相同属性的user的hashcode相同,我们就需要改写hashcode方法,比方把hashcode值的计算与User对象的id关联起来,那么只要user对象拥有相同id,那么他们的hashcode也能保持一致了,这样就可以找到在hashmap数组中的位置了。如果这个位置上有多个元素,还需要用key的equals方法在对应位置的链表中找到需要的元素,所以只改写了hashcode方法是不够的,equals方法也是需要改写滴~当然啦,按正常思维逻辑,equals方法一般都会根据实际的业务内容来定义,例如根据user对象的id来判断两个user是否相等。
在改写equals方法的时候,需要满足以下三点:
(1) 自反性:就是说a.equals(a)必须为true。
(2) 对称性:就是说a.equals(b)=true的话,b.equals(a)也必须为true。
(3) 传递性:就是说a.equals(b)=true,并且b.equals(c)=true的话,a.equals(c)也必须为true。
通过改写key对象的equals和hashcode方法,我们可以将任意的业务对象作为map的key(前提是你确实有这样的需要)。


总结:
        本文主要描述了HashMap的结构,和hashmap中hash函数的实现,以及该实现的特性,同时描述了hashmap中resize带来性能消耗的根本原因,以及将普通的域模型对象作为key的基本要求。尤其是hash函数的实现,可以说是整个HashMap的精髓所在,只有真正理解了这个hash函数,才可以说对HashMap有了一定的理解。



这是hashmap第一篇,主要讲了一下hashmap的数据结构和计算hash的算法。接下去annegu还会写第二篇,主要讲讲LinkedHashMap和LRUHashMap。先做个预告,呵呵~
  • 大小: 78.6 KB
  • 大小: 62.9 KB
分享到:
评论
50 楼 youngerbaby 2009-12-03  
好文章,收藏!
49 楼 zhwayne 2009-12-03  
总的来说就是HashMap采用数组链式结构,使用key的hashCode()方法得到hash code,调用indexFor()获取index,再根据key的equals()方法找到value。
48 楼 liuhello 2009-12-03  
回帖 回答了n遍的选择题 终于可以拉

以前在学校的时候看了下源代码  没有深入的理解只是结合课本  觉得可以怎么实现  读了楼主的帖子后发现细节的东西更加的重要
47 楼 8821249 2009-12-03  
lz写的很详细,
让我想起了以前面试的时候被问到过关于hashmap内部实现的问题,当时差点蒙了,回来后特意花了点功夫看了几个集合类的源码呢!
46 楼 fengzhiyu_sh 2009-12-03  
写的不错,也比较深入,期待下文!
45 楼 annegu 2009-12-03  
myreligion 写道
引用

         那么hashmap什么时候进行扩容呢?当hashmap中的元素个数超过数组大小*loadFactor时,就会进行数组扩容,loadFactor的默认值为0.75,也就是说,默认情况下,数组大小为16,那么当hashmap中元素个数超过16*0.75=12的时候,就把数组的大小扩展为 2*16=32,即扩大一倍,然后重新计算每个元素在数组中的位置,而这是一个非常消耗性能的操作,所以如果我们已经预知hashmap中元素的个数,那么预设元素的个数能够有效的提高hashmap的性能,比如说我们有1000个元素要放到hashmap中,那么将hashmap的size设置为 1024是一个比较好的选择,不过上面annegu已经说过,即使是1000,hashmap也自动会将其设置为1024。


按照loadFactor=0.75,那么1024*0.75=768 < 1000,所以如果要存储1000个元素,应该设置初始大小为2048吧?否则,hashmap会自动resize。


谢谢你,呵呵,很细心!我已经修改了,如下:

比如说,我们有1000个元素new HashMap(1000), 但是理论上来讲new HashMap(1024)更合适,不过上面annegu已经说过,即使是1000,hashmap也自动会将其设置为1024。
但是new HashMap(1024)还不是更合适的,因为0.75*1000 < 1000, 也就是说为了让0.75 * size > 1000, 我们必须这样new HashMap(2048)才最合适,既考虑了&的问题,也避免了resize的问题。


44 楼 诸葛亮 2009-12-03  
我靠,MM?
43 楼 myreligion 2009-12-03  
引用

         那么hashmap什么时候进行扩容呢?当hashmap中的元素个数超过数组大小*loadFactor时,就会进行数组扩容,loadFactor的默认值为0.75,也就是说,默认情况下,数组大小为16,那么当hashmap中元素个数超过16*0.75=12的时候,就把数组的大小扩展为 2*16=32,即扩大一倍,然后重新计算每个元素在数组中的位置,而这是一个非常消耗性能的操作,所以如果我们已经预知hashmap中元素的个数,那么预设元素的个数能够有效的提高hashmap的性能,比如说我们有1000个元素要放到hashmap中,那么将hashmap的size设置为 1024是一个比较好的选择,不过上面annegu已经说过,即使是1000,hashmap也自动会将其设置为1024。


按照loadFactor=0.75,那么1024*0.75=768 < 1000,所以如果要存储1000个元素,应该设置初始大小为2048吧?否则,hashmap会自动resize。
42 楼 kevice 2009-12-03  
讲得很透彻
41 楼 langyu 2009-12-03  
cwx714 写道
看完收获很大!请问annegu是男是女?

女睐
40 楼 cwx714 2009-12-03  
看完收获很大!请问annegu是男是女?
39 楼 langyu 2009-12-03  
haojia0716 写道
我正准备发言,发现这个人说的和我想说的一模一样.


langyu 写道
hashcode & (length - 1)中length为2的幂次方,这样&表达式右边二进制全为1,目的有二:1、无论hashcode为何值都可以得到0 ~ length-1的数组索引。2、由于&右边全是1,所以可以更好地设计hash函数以减少碰撞次数,由hash()方法决定,而不管其它。



没错,就是这两点原因.


别吓我,难道我们思想共通~~

以前第一次看HashMap代码时,对这部分就这个理解的
38 楼 曾经de迷茫 2009-12-03  
luobo25 写道
当length=2^n时,hashcode & (length-1) == hashcode % length,难怪这么巧 ,楼主的研究有价值

以前看HashMap时真没想过为什么构造时选2^n做为初始容量,豁然开朗啊
37 楼 geniuslph 2009-12-03  
讲得很好,很仔细
36 楼 zhang_xzhi_xjtu 2009-12-03  
只要同意求模的hash作为算法没有空值缺陷就好了,其他不用讨论了。

鸡蛋问题还是很有意思的

一般如下:

甲:先有鸡
乙:那这个鸡怎么来的,还不是蛋孵出来的
甲:那先有蛋
乙:那这个蛋怎么来的,还不是鸡生出来的


我的想法如下

这个命题应该是讨论的是概念的问题,而不是具体的一只鸡或者一个蛋。
而乙则不停的把概念和实例混在一起。

这里的重点应该是鸡和蛋的作为概念定义问题。
我自己尝试定义一下:

鸡蛋的定义 是鸡下的蛋或者可以孵出鸡的蛋。
鸡的定义
1 是模模糊糊,我只能用常识来理解,从小别人把这个叫鸡,然后习惯了。
2 鸡蛋孵出的东西,或者可以下鸡蛋的东西。


有可能这是个互相引用来定义的概念。

根据剃刀法则,我想认识鸡的概念简单一点,于是鸡蛋是由鸡的概念来定义的,当然不排除有人觉得鸡蛋的概念简单先接受了,才用鸡蛋的概念来定义鸡。

这里提下字典,字典的释义充满了循环引用,但是人们还是可以理解。估计剃刀法则还是起到一定作用的。

35 楼 langyu 2009-12-03  
hashcode & (length - 1)中length为2的幂次方,这样&表达式右边二进制全为1,目的有二:1、无论hashcode为何值都可以得到0 ~ length-1的数组索引。2、由于&右边全是1,所以可以更好地设计hash函数以减少碰撞次数,由hash()方法决定,而不管其它。
34 楼 火星来客 2009-12-03  
火星来客 写道

因为java选择2的幂作为size,所以用&进行了code级别的优化。

继续吧
讨论因果问题。先有鸡还是先有蛋。

你认为因为用2的幂作为size,所以用&操作。

我认为因为用&操作,所以用2的幂作为size.
而使用&操作就是为了避免%

这个问题每个人的想法不一样,也不强求别人非得同意自己的看法
33 楼 zhang_xzhi_xjtu 2009-12-03  
annegu 写道
楼主我现身啦~

zhang_xzhi_xjtu 写道

java的hash实现用的是除法求模的方式,是设计一个hash算法最简单的方式之一。
而return h & (length-1);只不过是当length为2的幂的时候的一种求模的代码级的优化而已。为了速度。


这句话是对的,用“与”操作确实是为了速度。

zhang_xzhi_xjtu 写道

如果hashmap的size是15或者其他值时,这行代码会变为return h%size;如此而已。


这是错的!hashmap的代码里面根本没有“%”。hashmap的table[]的大小也不会是15这种不是2的次方的,table的大小一定是2次幂。看下面:

// Find a power of 2 >= initialCapacity
        int capacity = 1;
        while (capacity < initialCapacity) 
            capacity <<= 1;
        table = new Entry[capacity];


注意如果。
我是为了说明这个算法没有天生的空值缺陷。
32 楼 oyprunner 2009-12-03  
我爱JavaEye!
31 楼 oyprunner 2009-12-03  
dennis_zane  大大牛!

相关推荐

    深入理解hashmap

    深入理解hashmap、hash算法、理解加载因子、扩容以及get、put方法

    HashMap讲解注释版本.java

    对HashMap 源码逐行进行注释,带你深入理解HashMap原理,使面试不在困难,

    HashMap新增数据原理.docx

    深入理解HASHMAP底层原理,通过对源码进行解析分析HASHMAP执行过程,一篇文章帮助你深刻理解HASHMAP

    Java面试题-并发.docx

    这份文档详细讨论了Java中HashMap的各个方面,包括其内部机制、...总的来说,这份文档对HashMap的各个方面进行了全面而详细的阐述,既适合作为面试准备的参考资料,也适用于希望深入了解HashMap内部机制的Java开发者。

    Java面试题-哈希.docx

    这份文件详细探讨了Java中HashMap的各个方面,包括其内部机制、...总的来说,这份文件对HashMap的各个方面进行了全面而详细的阐述,既适合作为面试准备的参考资料,也适用于希望深入了解HashMap内部机制的Java开发者。

    深入了解JAVA HASHMAP的死循环

    HASHMAP基于哈希表的 Map 接口的实现。此实现提供所有可选的映射操作,并允许使用 null 值和 null 键。(除了非同步和允许使用 null 之外,HashMap 类与 Hashtable 大致相同。)下面小编来带大家详细了解下吧

    java 中HashMap实现原理深入理解

    主要介绍了java 中HashMap实现原理深入理解的相关资料,需要的朋友可以参考下

    HashMap原理的深入理解

    主要介绍了对HashMap原理的理解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

    深入理解Java之HashMap源码剖析

    主要介绍了深入理解Java之HashMap源码剖析,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

    Java中HashMap和TreeMap的区别深入理解

    首先介绍一下什么是Map。在数组中我们是通过数组下标来对其内容索引的,而在Map中我们通过对象来对对象进行索引,用来索引的对象叫做key,其对应的对象叫做value

    java源代码原理视频.txt

    java源代码原理,深入理解HashMap原理、高可用redis集群架构、zookeeper分布式、海量数据缓存、springAOP底层源码分析等

    深入解读大厂java面试必考基本功-HashMap集合配套文档代码资料

    在本套课程中,将会非常深入、非常详细、非常全面的解读HashMap以及源码底层设计的思想。从底层的数据结构到底层源码分析以及怎样使用提高HashMap集合的效率问题等进行分析。如果掌握本套课程,那么再看其他javase的...

    深入理解Java之HashMap —— 03

    1. HashMap的操作流程 1.1 HashMap的构造函数 首先我们来看一下HashMap的构造函数: /** * Constructs an empty {@code HashMap} with the specified initial * capacity and load factor. * * @param ...

    深入理解Java中的HashMap的实现机制

    主要介绍了深入理解Java中的HashMap的实现机制,同时也有助于理解Java中对于哈希函数的相关处理方式,需要的朋友可以参考下

    java中HashMap的原理分析

    HashMap在Java开发中有着非常重要的角色地位,每一个Java程序员都应该了解HashMap。详细地阐述HashMap中的几个概念,并深入探讨HashMap的内部结构和实现细节,讨论HashMap的性能问题

    《深入理解 Rust 并发编程》

    这是一本作者精心制作的免费电子书。 是一本全面深入探讨 Rust 语言并发特性的指南。它从基础概念出发,逐步深入到高级话题,涵盖了线程、线程池...并发集合:如何安全地在多线程环境中使用集合类型,如 Vec、HashMap

    【大厂面试题总结】JavaSE面试题总结详细教程

    深入理解Java的反射机制 深入理解Java异常体系 谈谈NIO的理解 谈一谈对JUC的理解 ArrayList的底层原理 HashMap的底层原理 iava单例模式详解 JAVA的内存结构 java队列 Java基础思考之数据传递 JAVA内存泄漏详解 java...

    【大厂面试题总结】JavaSE面试题合集及其答案,基本包括javaSE所有知识点和详细解释

    深入理解Java的反射机制 深入理解Java异常体系 谈谈NIO的理解 谈一谈对JUC的理解 ArrayList的底层原理 HashMap的底层原理 iava单例模式详解 JAVA的内存结构 java队列 Java基础思考之数据传递 JAVA内存泄漏详解 java...

    MyHashMap06.java

    从无到有手写HashMap,深入理解JDK底层HashMap的实现原理,自定义自己的数据结构。

Global site tag (gtag.js) - Google Analytics