大家好,我最近在做一个项目,其中有张表(A表)中数据量上亿条,为两年的数据,里面有个日期字段,现在我想建一个新表(B)表,然后将A中的数据按月统计查询后插入B中,基本上每个月都是在一百万到300万条数据的样子。两年的数据,总共是24条sql,且每条sql后都加了commit,但是出现的问题是,前两条执行速度比较快,几分钟就ok了,但是越到后面越慢,甚至超过两小时。我所建立的表空间每次扩充是512M的,可以说也不需要扩充了,因为我直接划分了20G的容量,目前我没找到问题所在,希望大家能给点建议,提高一下执行效率。A表中索引都建过了。
分享到:
相关推荐
Sqlserver大数据量插入速度慢或丢失数据的解决方法 Sqlserver大数据量插入速度慢或丢失数据的解决方法
此程序demon验证了sqlit3数据插入速度的提升方法,使用事务操作大幅度提升了数据插入的效率,可以下载参考,程序可以编译运行,gcc -sqlite_master.c -lsqlite3
提高mysql插入数据的速度.pdf
Java 实现高效数据库插入数据 在 Java 程序中,实现高效的数据库插入数据是非常重要的。以下是相关的知识点: 使用 JDBC 连接数据库 在 Java 程序中,使用 JDBC(Java Database Connectivity)连接数据库是非常...
数据插入数据库5种方式工具源码 功能描述: 基本Insert Into 单线程Bulk Insert 多线程Bulk Insert 单线程SqlBulkCopy 多线程SqlBulkCopy 试验的5种方法,比较各种方法的导入速度 要把导入的文件放在C盘如:c:\\20...
主要介绍了针对Sqlserver大数据量插入速度慢或丢失数据的解决方法,很有实用价值,需要的朋友可以参考下
使用C#自带SqlBulkcopy类,批量插入数据库,与一般insert into 插入效率相比,插入速度一个天一个地,效果很明显。特别用在导入大量数据时。
Delphi批量插入数据库数据..rar
提高mysql插入数据的速度归类.pdf
Oracle 表删除大量数据后查询变慢问题分析 在 Oracle 数据库中,如果删除了大量数据(千万级别),可能会出现查询变慢的问题。下面我们将分析这个问题的原因,并提供解决方案。 问题的原因主要有两个方面: 1. 表...
只要学我一样编写这么一个工具类便可以实现批量插入多条数据,百条,千条,万条,后期还会继续优化增加数据时的速度!有点代码基础的保证能看懂,此项目已经有了前端界面你可以直接的导入然后运行测试既可以了,表...
解决kettle使用表输出到hive2时,批量提交不起作用导致速度非常慢的问题,重新编译big-data-plugin插件使表输出支持对hive2批量提交,速度由几十条每秒提升到三千条每秒。
使用odbc批量插入10W条数据,与update作对比,速度明显提升,将近10倍。
4.将数组直接插入到Excel指定位置,速度比较快,因为数组数据在内存中,对于比较复杂的判断,可以先在数组中处理,可以用此种方法导出 5.传统的方法,就是向Excel表格对应的单元格一个一个插入数据,此种方法是最...
jsp 操作 MySQL 实现查询、插入、删除功能示例 jsp 操作 MySQL 实现查询、插入、删除功能示例是指使用 Java 服务器页面(jsp)来操作 MySQL 数据库,以实现查询、插入、删除等基本数据库操作的示例。 jsp 操作 ...
EasyExcel 并发读取文件字段并进行校验,数据写入到新文件,批量插入数据到数据库 demo
使用C#自带SqlBulkcopy类,批量插入数据库,与一般insert into 插入效率相比,插入速度一个天一个地,效果很明显。特别用在导入大量数据时。
插入的方式和数据库引擎都会对插入速度造成影响,这篇文章旨在从理论和实践上对各种方法进行分析和比较,方便以后应用中插入方法的选择。 插入分析 MySQL中插入一个记录需要的时间由下列因素组成,其中的数字...
主要介绍了mysql技巧:提高插入数据(添加记录)的速度,需要的朋友可以参考下