在启动一个应用的时候,发现其中有一处数据加载要数分钟,刚开始以为是需要load的数据比较多的缘故,查了一下数据库有6条左右,但是单独写了一 个数据读取的方法,将这6万多条全部读过来,却只需要不到10秒钟,就觉得这里面肯定有问题,于是仔细看其中的逻辑,其中有一段数据去重的逻辑,就是记录 中存在某几个字段相同的,就认为是重复数据,就需要将重复数据给过滤掉。这里就用到了一个List来存放这几个字段所组成的主键,如果发现相同的就不处 理,代码无非就是下面这样:
- List<string> uniqueKeyList = new ArrayList<string>();
- //......
- if (uniqueKeyList.contains(uniqueKey)) {
- continue;
- }
- </string></string>
根据键去查找是不是已经存在了,来判断是否重复数据。经过分析,这一块耗费了非常多的时候,于是就去查看ArrayList的contains方法的源码,发现其最终会调用他本身的indexOf方法:
- public int indexOf(Object elem) {
- if (elem == null) {
- for (int i = 0; i < size; i++)
- if (elementData[i]==null)
- return i;
- } else {
- for (int i = 0; i < size; i++)
- if (elem.equals(elementData[i]))
- return i;
- }
- return -1;
- }
原来在这里他做的是遍历整个list进行查找,最多可能对一个键的查找会达到6万多次,也就是会扫描整个List,验怪会这么慢了。
于是将原来的List替换为Set:
- Set<string> uniqueKeySet = new HashSet<string>();
- //......
- if (uniqueKeySet.contains(uniqueKey)) {
- continue;
- }
速度一下就上去了,在去重这一块最多花费了一秒钟,为什么HashSet的速度一下就上去了,那是因为其内部使用的是Hashtable,这是HashSet的contains的源码:
- public boolean contains(Object o) {
- return map.containsKey(o);
- }
如果不知道为什么使用Hash就变快了,可以看一下我的另外一篇文章:Java中hashCode的作用
相关推荐
Java基础加强_ArrayList_HashSet的比较及Hashcode分析
此方法是通过java提供的ArrayList方法对栈的实现;
图文并茂,能让大家很好的理解java中这个重要的知识点。 此文档需要wps或者office软件来查看,如果你没有此软件,到http://www.wps.com.cn 下载wps即可查看此文档。 注:本人所有资源都是共享的,的资源分都是0!
使用 Add方法在 ArrayList中添加元素(添加到ArrayList末尾) arrlist.Add("第一个元素"); arrlist.Add("第二个元素"); arrlist.Add("第三个元素"); foreach (int n in new int[3] { 0, 1, 2 }) { arrlist...
Java不同数据存储类型使用不同遍历方法效率研究 GitHub代码仓库 数据存储类型 ArrayList HashSet HashMap LinkedList 遍历方法 传统遍历方法 for(int i=0;i<list.size();i++) { String str = list.get(i); ... ...
实验目的及要求 ...1)Java集合框架中几种具体实现的使用:ArrayList, LinkedList, HashSet, TreeSet, PriorityQueue; 2)HashMap和TreeMap的使用; 3)枚举类型的使用,EnumSet和EnumMap的使用;
详细介绍Java中ArrayList的使用方法以及与vector的对比
关于java的arraylist的使用方法,里面还有相应的程序代码
测试ArrayList和LinkedList的add方法
用java自己实现的arrayList,比较详细,有助于初学者理解arrayList的基本概念和基础用法
什么是ArrayList? 如何使用ArrayList? ArrayList重要的方法和属性?
主要介绍了C# ArrayList、HashSet、HashTable、List、Dictionary的区别的相关知识点内容,有需要朋友们参考下。
创建界面相关的接口:将菜单中显示的内容定义成若干字符串常量,放入一个接口Menu中以便使用 TestDemo(主类) import java.util.ArrayList; import java.util.Iterator; import java.util.Scanner; /** * @Author ...
在jni中操作arraylist对象,然后添加一个int型数据进去
实现了ArrayList的部分功能,代码有什么问题,欢迎大神指正给予指导意见。
集合ArrayList测试集合ArrayList测试集合ArrayList测试集合ArrayList测试集合ArrayList测试集合ArrayList测试
详细说明ArrayList类的使用方法,掌握ArrayList的技巧!
ArrayList深度剖析与简单实用、 ArrayList重要的方法和属性(1)构造器 ArrayList提供了三个构造器 Count属性和Capacity属性 4、ArrayList与数组转换 Array的复杂版本 ArrayList常用方法 ...ArrayList使用建议
java的 ArrayList的使用与分析
编写一个查询类,输入学生学号,若该生在数据文件(test.txt)中存在,在JTextArea中显示该生信息 若该生在数据文件(test.txt)中不存在,显示”查无此人”,可反复查找.在输出中,能显示该生的总成绩和平均成绩,将显示结果...