http://publish.itpub.net/a2010/0318/862/000000862359.shtml
【IT168技术】实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。
本实验中所用到工具为VS2008和SQL SERVER 2000、SQL SERVER 2008,分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。
还要有一点需要进行说明,本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块,这个模块只是对SQL配置的读取和封装,并不会对最终结果有本质性的影响,关于IsLine FrameWork框架方面的知识,请参考“IsLine FrameWork”框架系列文章。
下面进入正题,分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法,挑战4秒极限。
数据库方面使用SQL 2000与SQL 2008,表名TableB,字段名称为Value1,数据库名可以在App.config中修改,默认为test。
图1 试验中的5种方法
方法一.使用基本的Insert 语句
这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢?
本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。
基本语句:Insert Into TableB (Value1) values (‘”+i+”’);
说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。
SQL 2000 耗时:901599
SQL 2008耗时:497638
方法二.使用BULK INSERT语句
这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。
“BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢?
基本语句:BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000)
说明:“c:\\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。
SQL 2000耗时:4009
SQL 2008耗时:10722
分享到:
相关推荐
100万条数据导入SQL数据库仅用4秒,100万条数据导入SQL数据库仅用4秒
极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 以上就是这几天的实验结果了,比较令人失望的是SQL SERVER 2008导入数据的性能似乎并不想我们想象的那样优秀。 另外,有下载源代码的帮我看看,为...
4秒100万条数据导入SQL数据库-NET(C#)demo 试验的5种方法,比较各种方法的导入速度 基本Insert Into 单线程Bulk Insert 多线程Bulk Insert 单线程SqlBulkCopy 多线程SqlBulkCopy
4秒100万条数据导入SQL数据库-NET(C#)demo 试验的5种方法,比较各种方法的导入速度 基本Insert Into 单线程Bulk Insert 多线程Bulk Insert 单线程SqlBulkCopy 多线程SqlBulkCopy.zip
Excel 把数据导入到 SQL 数据库中 Excel 是一个功能强大的电子表格软件,而 SQL 数据库则是存储和管理大量数据的理想选择。将 Excel 数据导入到 SQL 数据库中可以实现数据的集中管理和快速查询。下面是将 Excel ...
百万级数据在Excel和SqlServer之间相互导入导出。
【注意】建表需要先建库,然后在mysql中运行: source /路径/t100w.sql 即可以导入100万条的数据,表结构如下: DROP TABLE IF EXISTS `t100w`; CREATE TABLE `t100w` ( `id` int(11) DEFAULT NULL, `num` int(11...
通过Delphi将EXECL数据导入SQL数据库中 注:程序要调用ComObj,加到USES中即可
利用EXCEL中的宏,直接将excel中的数据导入到sqlServer数据库脚本
excel导入sql数据库源码, excel导入sql数据库源码
谈谈数据从sql server数据库导入mysql数据库的体验
把Excel表中的数据导入sql service数据库的语句
用vs2013和office2013写的,用于导入Excel表格里的数据库中,数据库是2013的内嵌数据库,导入中文会乱码,有sql2012的转一下数据库编码就可以了(理论上,因为我没2012的sql)。仅供学习!
这是本人刚用托管C++写的一个Excel导入程序,绝对能用!
excel导入sql数据库 将excel文件通过程输入到SQL数据库
Excel导入SQL数据库完整代码 protected void studentload_Click(object sender, EventArgs e) {//批量添加学生信息 SqlConnection conn = DB.dataBaseConn();//链接数据库 conn.Open(); try {
c#实现excel数据高效导入到sql数据库 能实现对数据的恢复,首先是你有备份功能,把数据备份后,(也就是所谓的导出excel按,datagridview的样子导出的)然后在做完修改后想还原为原来的,可用这个方法,这只是个例子...