- 浏览: 771972 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
Fanatic357:
同问,请问这个 曲线 是用什么工具 监测得到的?
RocketMQ性能压测分析 -
sunshine_love:
8核 16G, 单master TPS 4w+,2m-2s- ...
RocketMQ性能压测分析 -
assertmyself:
很好,,获益良多!
jstack和线程dump分析 -
zhaoxiaoxiao:
非常赞,帮助理解了问题。今天也是遇到了这样的问题
hessian序列化bug -
wjg_java:
打不开 宕机了
博客停止更新
java.util.HashMap是很常见的类,前段时间公司系统由于对HashMap使用不当,导致cpu百分之百,在并发环境下使用HashMap而没有做同步,可能会引起死循环,关于这一点,sun的官方网站上已有阐述,这并非是bug。
HashMap的数据结构
HashMap主要是用数组来存储数据的,我们都知道它会对key进行哈希运算,哈系运算会有重复的哈希值,对于哈希值的冲突,HashMap采用链表来解决的。在HashMap里有这样的一句属性声明:
transient Entry[] table;
Entry就是HashMap存储的数据,它拥有的属性如下
final K key;
V value;
final int hash;
Entry<K,V> next;
看到next了吗?next就是为了哈希冲突而存在的。比如通过哈希运算,一个新元素应该在数组的第10个位置,但是第10个位置已经有Entry,那么好吧,将新加的元素也放到第10个位置,将第10个位置的原有Entry赋值给当前新加的Entry的next属性。数组存储的链表,链表是为了解决哈希冲突的,这一点要注意。
几个关键的属性
存储数据的数组
transient Entry[] table;
这个上面已经讲到了
默认容量
static final int DEFAULT_INITIAL_CAPACITY = 16;
最大容量
static final int MAXIMUM_CAPACITY = 1 << 30;
默认加载因子,加载因子是一个比例,当HashMap的数据大小>=容量*加载因子时,HashMap会将容量扩容
static final float DEFAULT_LOAD_FACTOR = 0.75f;
当实际数据大小超过threshold时,HashMap会将容量扩容,threshold=容量*加载因子
int threshold;
加载因子
final float loadFactor;
HashMap的初始过程
构造函数1
public HashMap(int initialCapacity, float loadFactor) {
if (initialCapacity < 0)
throw new IllegalArgumentException("Illegal initial capacity: " +
initialCapacity);
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
if (loadFactor <= 0 || Float.isNaN(loadFactor))
throw new IllegalArgumentException("Illegal load factor: " +
loadFactor);
// Find a power of 2 >= initialCapacity
int capacity = 1;
while (capacity < initialCapacity)
capacity <<= 1;
this.loadFactor = loadFactor;
threshold = (int)(capacity * loadFactor);
table = new Entry[capacity];
init();
}
重点注意这里
while (capacity < initialCapacity)
capacity
<<= 1;
capacity才是初始容量,而不是initialCapacity,这个要特别注意,如果执行new HashMap(9,0.75);那么HashMap的初始容量是16,而不是9,想想为什么吧。
构造函数2
public HashMap(int initialCapacity) {
this(initialCapacity, DEFAULT_LOAD_FACTOR);
}
构造函数3,全部都是默认值
public HashMap() {
this.loadFactor = DEFAULT_LOAD_FACTOR;
threshold = (int)(DEFAULT_INITIAL_CAPACITY * DEFAULT_LOAD_FACTOR);
table = new Entry[DEFAULT_INITIAL_CAPACITY];
init();
}
构造函数4
public HashMap(Map<? extends K, ? extends V> m) {
this(Math.max((int) (m.size() / DEFAULT_LOAD_FACTOR) + 1,
DEFAULT_INITIAL_CAPACITY), DEFAULT_LOAD_FACTOR);
putAllForCreate(m);
}
如何哈希
HashMap并不是直接将对象的hashcode作为哈希值的,而是要把key的hashcode作一些运算以得到最终的哈希值,并且得到的哈希值也不是在数组中的位置哦,无论是get还是put还是别的方法,计算哈希值都是这一句:
int hash = hash(key.hashCode());
hash函数如下:
static int hash(int h) {
return useNewHash ? newHash(h) : oldHash(h);
}
useNewHash声明如下:
private static final boolean useNewHash;
static { useNewHash = false; }
这说明useNewHash其实一直为false且不可改变的,hash函数里对useNewHash的判断真是多余的。
private static int oldHash(int h) {
h += ~(h << 9);
h ^= (h >>> 14);
h += (h << 4);
h ^= (h >>> 10);
return h;
}
private static int newHash(int h) {
// This function ensures that hashCodes that differ only by
// constant multiples at each bit position have a bounded
// number of collisions (approximately 8 at default load factor).
h ^= (h >>> 20) ^ (h >>> 12);
return h ^ (h >>> 7) ^ (h >>> 4);
}
其实HashMap的哈希函数会一直都是oldHash。
如果确定数据的位置
看下面两行
int hash = hash(k.hashCode());
int i = indexFor(hash, table.length);
第一行,上面讲过了,是得到哈希值,第二行,则是根据哈希指计算元素在数组中的位置了,位置的计算是将哈希值和数组长度按位与运算。
static int indexFor(int h, int length) {
return h & (length-1);
}
put方法到底作了什么?
public V put(K key, V value) {
if (key == null)
return putForNullKey(value);
int hash = hash(key.hashCode());
int i = indexFor(hash, table.length);
for (Entry<K,V> e = table[i]; e != null; e = e.next) {
Object k;
if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
V oldValue = e.value;
e.value = value;
e.recordAccess(this);
return oldValue;
}
}
modCount++;
addEntry(hash, key, value, i);
return null;
}
如果key为NULL,则是单独处理的,看看putForNullKey方法:
private V putForNullKey(V value) {
int hash = hash(NULL_KEY.hashCode());
int i = indexFor(hash, table.length);
for (Entry<K,V> e = table[i]; e != null; e = e.next) {
if (e.key == NULL_KEY) {
V oldValue = e.value;
e.value = value;
e.recordAccess(this);
return oldValue;
}
}
modCount++;
addEntry(hash, (K) NULL_KEY, value, i);
return null;
}
NULL_KEY的声明:static final Object NULL_KEY = new Object();
这一段代码是处理哈希冲突的,就是说,在数组某个位置的对象可能并不是唯一的,它是一个链表结构,根据哈希值找到链表后,还要对链表遍历,找出key相等的对象,替换它,并且返回旧的值。
for (Entry<K,V> e = table[i]; e != null; e = e.next) {
if (e.key == NULL_KEY) {
V oldValue = e.value;
e.value = value;
e.recordAccess(this);
return oldValue;
}
}
如果遍历完了该位置的链表都没有找到有key相等的,那么将当前对象增加到链表里面去
modCount++;
addEntry(hash, (K) NULL_KEY, value, i);
return null;
且看看addEntry方法
void addEntry(int hash, K key, V value, int bucketIndex) {
Entry<K,V> e = table[bucketIndex];
table[bucketIndex] = new Entry<K,V>(hash, key, value, e);
if (size++ >= threshold)
resize(2 * table.length);
}
table[bucketIndex] = new Entry<K,V>(hash, key, value, e);新建一个Entry对象,并放在当前位置的Entry链表的头部,看看下面的 Entry构造函数就知道了,注意红色部分。
Entry(int h, K k, V v, Entry<K,V> n) {
value = v;
next = n;
key = k;
hash = h;
}
如何扩容?
当put一个元素时,如果达到了容量限制,HashMap就会扩容,新的容量永远是原来的2倍。
上面的put方法里有这样的一段:
if (size++ >= threshold)
resize(2 * table.length);
这是扩容判断,要注意,并不是数据尺寸达到HashMap的最大容量时才扩容,而是达到 threshold指定的值时就开始扩容, threshold=最大容量*加载因子。 看看resize方法
void resize(int newCapacity) {
Entry[] oldTable = table;
int oldCapacity = oldTable.length;
if (oldCapacity == MAXIMUM_CAPACITY) {
threshold = Integer.MAX_VALUE;
return;
}
Entry[] newTable = new Entry[newCapacity];
transfer(newTable);
table = newTable;
threshold = (int)(newCapacity * loadFactor);
}
重点看看红色部分的 transfer方法
void transfer(Entry[] newTable) {
Entry[] src = table;
int newCapacity = newTable.length;
for (int j = 0; j < src.length; j++) {
Entry<K,V> e = src[j];
if (e != null) {
src[j] = null;
do {
Entry<K,V> next = e.next;
int i = indexFor(e.hash, newCapacity);
e.next = newTable[i];
newTable[i] = e;
e = next;
} while (e != null);
}
}
}
tranfer方法将所有的元素重新哈希,因为新的容量变大,所以每个元素的哈希值和位置都是不一样的。
正确的使用HashMap
1:不要在并发场景中使用HashMap
HashMap是线程不安全的,如果被多个线程共享的操作,将会引发不可预知的问题,据sun的说法,在扩容时,会引起链表的闭环,在get元素时,就会无限循环,后果是cpu100%。
看看get方法的红色部分
public V get(Object key) {
if (key == null)
return getForNullKey();
int hash = hash(key.hashCode());
for (Entry<K,V> e = table[indexFor(hash, table.length)];
e != null;
e = e.next) {
Object k;
if (e.hash == hash && ((k = e.key) == key || key.equals(k)))
return e.value;
}
return null;
}
2:如果数据大小是固定的,那么最好给HashMap设定一个合理的容量值
根据上面的分析,HashMap的初始默认容量是16,默认加载因子是0.75,也就是说,如果采用HashMap的默认构造函数,当增加数据时,数据实际容量超过10*0.75=12时,HashMap就扩容,扩容带来一系列的运算,新建一个是原来容量2倍的数组,对原有元素全部重新哈希,如果你的数据有几千几万个,而用默认的HashMap构造函数,那结果是非常悲剧的,因为HashMap不断扩容,不断哈希,在使用HashMap的场景里,不会是多个线程共享一个HashMap,除非对HashMap包装并同步,由此产生的内存开销和cpu开销在某些情况下可能是致命的。
评论
capacity做了位运算。
不过为什么capacity一定要是2的乘方了?
这个问题,比较有意思
不同的hash会计算出同样的bucketIndex,如5&5 vs 7&5,如果没链表的话,原先放入的值可能会丢失。
原先放入的值不就是被覆盖了吗?
此处“原先放入的值”是指key不一样,但因hash计算出的桶索引一样的那个对象,如key(5)和key(7)计算出的索引就是一样的。这个时候添加元素是在链表上再挂一个,注意put方法中,for循环后面那个addEntry。当然key一样的话,覆盖是必须地。这个时候元素的覆盖是在for循环中的那个if里面。
同时capacity保持为2的n次幂,是为了使h & (length-1)等价于h%length,但前者求掩码更高效。
put流程的通俗翻译就是,首先拿key通过高效方式求得一个散列码,根据散列码确定放哪个桶(h%length),如果桶内有key雷同者,替换出来,如果没有,挂在桶内链表中。
不同的hash会计算出同样的bucketIndex,如5&5 vs 7&5,如果没链表的话,原先放入的值可能会丢失。
原先放入的值不就是被覆盖了吗?
不同的hash会计算出同样的bucketIndex,如5&5 vs 7&5,如果没链表的话,原先放入的值可能会丢失。
capacity做了位运算。
不过为什么capacity一定要是2的乘方了?
是为了保证capacity一定是偶数。
在HashMap中计算索引的函数是:
static int indexFor( int h, int length) {
return h & (length- 1 );
}
而 HashMap 底层数组的长度总是 2 的 n 次方,是 为了HashMap 在速度上的优化。同时保证数据在数组上分布就比较均匀
http://xm-king.iteye.com/admin/blogs/762323
我在文章中已经详细阐述了capacity一定是偶数的原因,你们都不认真看
capacity做了位运算。
不过为什么capacity一定要是2的乘方了?
是为了保证capacity一定是偶数。
在HashMap中计算索引的函数是:
static int indexFor( int h, int length) {
return h & (length- 1 );
}
而 HashMap 底层数组的长度总是 2 的 n 次方,是 为了HashMap 在速度上的优化。同时保证数据在数组上分布就比较均匀
http://xm-king.iteye.com/admin/blogs/762323
capacity做了位运算。
不过为什么capacity一定要是2的乘方了?
是为了保证capacity一定是偶数。
capacity做了位运算。
不过为什么capacity一定要是2的乘方了?
发表评论
-
dubbo问题总结
2012-03-14 10:00 2939任何诡异的现象必然能找到问题原因,程序是不会骗人的 ... -
memcached客户端源码分析
2011-09-08 17:28 19881memcached的java客户端有好 ... -
说说单例模式
2011-05-23 11:12 3285单例模式?多么简单!也许吧,可是要通过简单的现象, ... -
jstack和线程dump分析
2011-05-12 13:48 179963一:jstack jstack命令的语法格式: js ... -
说说new Integer和Integer.valueOf
2010-11-11 15:04 6537看看这两个语句 Integer a=new Integ ... -
线程安全总结(二)
2010-11-11 12:36 5554关于线程安全总结(-)请看 http://www.iteye ... -
java线程安全总结
2010-11-09 20:48 15553最近想将java基 ... -
hadoop架构
2010-09-07 19:41 2632该文章我转自IBM开发者社区 ... -
CountDownLatch
2010-09-02 20:03 2918java的并发包真 ... -
ThreadPoolExecutor相关类的分析
2010-09-02 19:27 4556一:ThreadPoolExecutor ... -
随便说说
2010-09-01 19:29 2057这两天给系统 ... -
一波三折的rmi调用
2010-08-18 18:02 9810很久以前写了基于rmi的分布式java程序,现 ... -
java内存查看与分析
2010-08-07 17:03 22389业界有很多强 ... -
java动态代理之cglib
2010-06-22 17:27 2751cglib是一个 ... -
java动态代理随笔二
2010-06-22 16:29 1835jdk的动态代 ... -
java动态代理随笔一
2010-06-22 14:49 2036先说一下java class的加载机制和与cla ... -
关于hashcode和equals
2010-04-19 14:58 3338前几天有个同事问我,String a=" ... -
建设银行对接(五)
2010-02-09 17:34 2491public static void testVerify ... -
建设银行对接(四)
2010-02-09 17:32 3031上接“建设银行对接(三)”,javaeye的文章字数限制也太少 ... -
建设银行对接(三)
2010-02-09 17:24 3404前面两章请见我的博客 对建行返回的数据进行数字签名 ...
相关推荐
深入浅出HashMap,源码分析, HashMap存取实现,数据结构
深入理解HASHMAP底层原理,通过对源码进行解析分析HASHMAP执行过程,一篇文章帮助你深刻理解HASHMAP
主要介绍了java 中HashMap实现原理深入理解的相关资料,需要的朋友可以参考下
HashMap在Java开发中有着非常重要的角色地位,每一个Java程序员都应该了解HashMap。详细地阐述HashMap中的几个概念,并深入探讨HashMap的内部结构和实现细节,讨论HashMap的性能问题
在本套课程中,将会非常深入、非常详细、非常全面的解读HashMap以及源码底层设计的思想。从底层的数据结构到底层源码分析以及怎样使用提高HashMap集合的效率问题等进行分析。如果掌握本套课程,那么再看其他javase的...
源码分析见我博文:http://blog.csdn.net/wabiaozia/article/details/50684556
主要介绍了深入理解Java之HashMap源码剖析,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
通过对HashMap的不同问题进行深入分析,读者可以全面了解该数据结构的工作原理和使用注意事项。 首先,文档解释了为什么HashMap选择红黑树作为数据结构,而不是其他结构,主要是因为红黑树在处理哈希冲突时具有更快...
通过对HashMap的不同问题进行深入分析,读者可以全面了解该数据结构的工作原理和使用注意事项。 首先,文件解释了为什么HashMap选择红黑树作为数据结构,而不是其他结构,主要是因为红黑树在处理哈希冲突时具有更快...
面试必考之HashMap源码分析与实现 ,微服务架构之Spring Cloud Eureka 场景分析与实战,高性能必学之Mysql主从架构实践 ,架构师不得不知道的Spring事物不能回滚的深层次原因 ,分库分表之后分布式下如何保证ID全局...
同步原语:各种同步原语进行了深入分析,如互斥锁(Mutex)、读写锁(RwLock)、条件变量(Condvar)、屏障(Barrier)等。 并发集合:如何安全地在多线程环境中使用集合类型,如 Vec、HashMap
深入分析 Java SPI 机制和原理 并发编程专题 Executors线程池 线程池ThreadPoolExecutor 并发编程 Lock 锁 Lock 可重入锁Reetrantlock 可重入读写锁ReetrantReadWriteLock Condition ReadWriteLock LockSupport 并发...
一、为什么需要使用map?...四、深入分析HashMap的存储 深入掌握HashMap的关键技术点,如何区分是否重复?以自定义类型来作为key探究问题的关键 —Map —Map 看要怎么保证键的唯一性?自定义类型也需要根据业务需求
│ │ 4.SpringMvc深入理解源码分析-悟空.mp4 │ │ │ ├─5.Nosql Redis Jedis常用命令 │ │ 5.Nosql Redis Jedis常用命令-悟空.mp4 │ │ │ ├─6.互联网系统垂直架构之Session解决方案 │ │ 6.互联网系统...
讨论如何分析和优化Java应用程序的性能等。 通过深入学习和理解这些问题,Java开发者不仅可以提升自己的技术能力,还能更好地应对面试挑战,展现自己的专业素养和问题解决能力。建议读者结合实际代码示例和项目经验...
java源代码原理,深入理解HashMap原理、高可用redis集群架构、zookeeper分布式、海量数据缓存、springAOP底层源码分析等
4: 源码分析分析讲的特别到位,尤其是HashMap的工作原理和源码分析,真正的把jdk源码翻了一遍,要是拿着这个去面试绝对是秒杀级神器。 5:使用多线程模拟用户去ATM取钱讲的也非常不错,后续还提了一个小Timer定时任务...
说明:文件夹以类型为目录,如并发、JVM、设计模式,文件名称尽量描述主题,如HASHMAP源码分析、代理模式分析 Books中存放分布式技术学习和书籍阅读后笔记、总结和一些面试搜集的问题,具体查看Books中ReadMe.md ...
开篇词讲怎样才能做好性能调优02讲如何制定性能调优策略04讲慎重使用正则表达式05讲ArrayList还是LinkedList使用不当性能差千倍07讲深入浅出HashMap的设计与优化08讲网络通信优化之IO模型:如何解决高并发下IO瓶颈09...
HashMap源码分析 并发 IO JVM 类加载机制与编译优化 JVM运行时数据区的内存管理机制 垃圾收集算法与垃圾收集器 性能监控与故障处理 常用设计模式 用好设计模式能帮助我们更好的解决实际问题,设计模式最重要的是...