`

大数据量导出Excel的方案总结

阅读更多

大数据量导出Excel可以采用POI、JXL等等开源框架。目前,在项目中采用的是POI。

 

客户要求导出5w条数据,考虑到并发,这对于系统内存是个挑战,系统使用tomcat,据说tomcat的jvm内存只能升级为2g有待考证。

 

在网上google了半天,将结果总结如下:

 

1、可以采用分批导出,从IBatis取出数据后,List分为几个subList,或者直接分页多次查出集合,然后传入excel接口。

 

(1)如果只为一个sheet页,需要记录结束行,关闭流,保存文件后,会使jvm可以回收某些内存(只是可以回收,而非立刻回收)。然后再重新打开该文件导入数据。

(2)也可以导出多个sheet页,道理同上。

(3)也可以导出多个文件,道理同上,促使jvm可以回收部分poi创建的对象。

 

2、采用CSV

如果采用csv只是文本文件,对内存消耗较低。

分享到:
评论

相关推荐

    phpExcel导出大量数据.docx

    见到导出大量数据 自己定义Excel表格样式 用html当时定义见到导出大量数据 自己定义Excel表格样式 用html当时定义见到导出大量数据 自己定义Excel表格样式 用html当时定义见到导出大量数据 自己定义Excel表格样式 用...

    解决大批量数据导出Excel产生内存溢出的方案

    解决大批量数据导出Excel产生内存溢出的方案 在大批量数据导出Excel时,经常会遇到内存溢出的问题。这是因为POI或JXL在导出大量数据时,将每一个单元格生成一个Cell对象,从而导致内存溢出。解决这个问题的唯一方法...

    java解决大批量数据导出Excel产生内存溢出的方案

    java解决大批量数据导出Excel产生内存溢出的方案

    POI百万级大数据量EXCEL导出 - 请叫我猿叔叔的博客 - CSDN博客.htm

    POI百万级大数据量EXCEL导出 - 请叫我猿叔叔的博客 - CSDN博客.htm

    java多线程导出excel(千万级别)优化

    轻松解决普通poi形式导出Excel的中出现的栈溢出问题,此资源可实现千万级数据分批导出csv文件,csv大数据量导出(千万级别,不会内存溢出),多线程导出 ,生产环境已经很稳定的使用着

    【原创】C#导出数据到EXCEL方法谈(附实例源码和超级无敌详细讲解)

    以上4中方法都可以实现导出EXCEL,方法1为最基础的方法,意思就是效率可能不是太高,当遇到数据量过大时所要付出的时间也是巨大的,后面3种方法都是第一种的衍生,在第一种方法效率低下的基础上改进的,这里主要就是...

    java web开发中大量数据导出Excel超时(504)问题解决

    开发测试时候导入数据遇到大数据导入的问题,整理了下,需要的朋友可以参考下

    poi大量数据读取gc内存溢出解决方案

    poi读取大量数据会造成gc内存溢出的报错,由于垃圾回收机制无法将大量的对象及时的回收,而这些对象又会保存在内存中,会导致内存不够用的情况,这时候我们就需要使用新的方法,读取为cvs即可.此解决方案可支持千万数据的...

    java Excel数据导出,HSSH、 XSSF、SXSSF、EasyExcel实现

    基于Apache poi框架的Java Excel数据导出方案实现

    jxl实现excel大数据导出

    jxl实现excel大数据导出,26000条记录,测试导出时间是19s,例子不算复杂,没有excel样式的处理,可以自己扩展哈,有数据库文件,部署即可看到效果!!! 有三个功能:代码构建数据的导出、数据库数据的导出(从配置...

    .net 导出到execl方案

    分享实现把大批量数据导出到Excel的各种方案

    poi多sheet页导出工具类和实例 包含多个excel导出

    改资源包含 数据量超过20万以上导出解决方案,还有动态获取数据公共类 1) 把数据分成多个sheet导出。 2) 把数据分成多个excel 导出。 全部都有,还有实例。

    Excel 2007数据透视表完全剖析 3/7

     ·利用大量数据透视表的诀窍;  ·在数秒钟内创建功能强大的汇总报表:  ·方便地构建高级(ad-hOC)查询工具:  ·增强执行报表的能力;  ·筛选出前10位客户或者产品的报表:  ·将动态图表添加到报表中; ...

    Easy-POI是一款Excel导入导出解决方案组成的轻量级开源组件。.zip

    决策支持: 方案提供了决策者所需的信息和数据,以便做出明智的决策。这种数据驱动的方法有助于减少不确定性,提高决策的准确性。 团队协作: 复杂的问题通常需要多个人的协同努力。方案提供了一个共同的框架,帮助...

    Excel 2007数据透视表完全剖析 1/7

     ·利用大量数据透视表的诀窍;  ·在数秒钟内创建功能强大的汇总报表:  ·方便地构建高级(ad-hOC)查询工具:  ·增强执行报表的能力;  ·筛选出前10位客户或者产品的报表:  ·将动态图表添加到报表中; ...

    POI读写海量Excel(详细解读)

    对于写入较低版本的Excel2003,POI使用了用户模式来处理,就是将整个文档加载进内存,如果数据量大的话就会出现内存溢出的问题,Excel2003Writer就是使用这种方式。据笔者的测试,如果数据量大于3万条,每条8列的话...

    word、excel文档内容自动化更新技术方案

    生产、研发业务上往往使用大量word和excel文档来作为资料载体,如操作规程、控制手册、卡片……,这些文档会反复使用到一些设备、工艺等参数数据。参数属性主要是名称、编码、正常范围、报警上下限、单位等,这些...

    Excel 2007数据透视表完全剖析 4/7

     ·利用大量数据透视表的诀窍;  ·在数秒钟内创建功能强大的汇总报表:  ·方便地构建高级(ad-hOC)查询工具:  ·增强执行报表的能力;  ·筛选出前10位客户或者产品的报表:  ·将动态图表添加到报表中; ...

    Excel在水库水文资料整编中的应用

    它是为总结防汛、洪水调度、水库水电生产调度和编制洪水预报方案提供基本数据的一项细致而重要的工作。在以前的水库水文资料整编工作中,大量基本资料均由手工抄录和计算,其中一份入库流量成果表的计算填制,涉及到...

    Excel 2007数据透视表完全剖析 5/7

     ·利用大量数据透视表的诀窍;  ·在数秒钟内创建功能强大的汇总报表:  ·方便地构建高级(ad-hOC)查询工具:  ·增强执行报表的能力;  ·筛选出前10位客户或者产品的报表:  ·将动态图表添加到报表中; ...

Global site tag (gtag.js) - Google Analytics