`
wuyaoguang2008
  • 浏览: 579 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

关于大数据导入,更新旧数据,插入数据

 
阅读更多
   对于大数据量的导入,同时又要对旧数据进行更新,对数据库的压力相当大,而且相当耗损时间,之前测试在一张一百万数据表中导入10万的数据,每条记录都进行查询判断,进行了半个小时还没处理完,等待的时间客户是无法接受的,何况在面对上千万的数据中,最后得出一个解决方法。
    方法:建一个新表B,跟原表A的结构相同,把每次导入的新数据全部导入B表中,然后用左外连接 把重复数据删除:delete from A where A.id in(select id from B left join A on B.id = A.id),然后执行insert into A select * form B,最后再删除B表的数据,测试发现这个不到一分钟就可以在100万的数据中完成10W数据的导入。
分享到:
评论

相关推荐

    C# Access 大数据量 批量 效率 快速 导入

    C#写的大数据量批量快速效率高校的导入。 反正不是一条一条的插入 是一个dataset一个的插入 不管是C#还是JAVA 都用的上

    C#大数据批量插入Access程序

    C#编写,大数据量数据进行批量插入数据库Access的程序

    easy-excel 完成Excel导入

    导入数据 支持,复杂对象导航,支持自定义(单元格宽度) 标题样式(背景色,对齐方式,字体颜色) 导出测试使用时,运行org.easy.excel.test.ExportTest类的测试方法,观察具体生成的excel文件 导入测试使用时,运行org.easy...

    星环大数据平台_Sqoop数据导入.pdf

    星环Sqoop使用方法,基于星环大数据平台的Sqoop,了解Sqoop的基本功能和使用,内部培训文档

    MySQL创建存储过程批量插入10万条数据

    MySQL创建存储过程批量插入10万条数据 存储过程 1、首先防止主键冲突,我们清空表。 TRUNCATE table A_student; 2、编写存储过程 delimiter ‘$’; CREATE PROCEDURE batchInsert(in args int) BEGIN declare i int ...

    c#几种数据库的大数据批量插入(SqlServer、Oracle、SQLite和MySql)

    主要介绍了c#几种数据库的大数据批量插入(SqlServer、Oracle、SQLite和MySql),需要的朋友可以了解一下。

    C#将excel数据批量导入ACCESS数据表中 源代码展示

    C#将excel数据批量导入ACCESS数据表中 源代码展示,批量将excel数据批量导入access数据表中 代码清晰,思路明确 不错的学习资料

    100万条数据导入SQL数据库仅用4秒

    100万条数据导入SQL数据库仅用4秒,100万条数据导入SQL数据库仅用4秒

    elasticsearch进行批量插入的时候总是少数据

    现有a表和b表,两张mysql数据库的表,需要把两张表的数据取共同字段,合并并导入es中,其中a表共有数据1000条,b表共有数据1200条,a表和b表的主键id都是从1开始递增的,结果导入的时候显示成功导入2200条数据,而...

    sqlerver大数据添加.txt

    描述:批量导入数据到数据库,将datatable数据快速添加到数据库中,

    Penguins DbTools v16.11.27 官方正式版.zip

    软件支持如ORACLE,MYSQL,SQLSERVER,POSTGRE,DB2,sybase等目前几乎所有的数据库,支持数据库与csv文件,excle同步以及定时支持大数据导入导出,数据差分,并把处理结果打zip包加密发送mail,是用户实现数据库...

    HeidiSQL工具导出导入MySQL数据

    有时候,为了数据方便导出导入SQL,我们可以借助一定的工具,方便我们队数据库的移植,可以达到事半功倍的效果.在这里,就给大家简单的介绍一款能方便导出...Insert Ignore:插入数据忽略掉错误内容 Repalce:替换插入 One

    insert和select结合实现”插入某字段在数据库中的最大值+1″的方法

    本文是mysql 数据库 问题一 将表一的数据导入表二...在表中插入数据时,某一字段取数据库中该字段的最大值,并+1,这个问题很多人都说用存储过程什么的解决,其实使用insert 和 select 结合就可以很好的解决这个问题啊

    SQLServer中防止并发插入重复数据的方法详解

    SQLServer中防止并发插入重复数据,大致有以下几种方法: 1.使用Primary Key,Unique Key等在数据库层面让重复数据无法插入。 2.插入时使用条件 insert into Table(****) select **** where not exists(select 1 ...

    php+ajax导入大数据时产生的问题处理

    遇到的问题就从先到后的一一说吧。 问题1 按照我最初的想法,先上传文件再读取文件。...问题2 当我用ajax去请求php读取文件并插入数据库的时候,遇到一个问题,就是ajax请求总是在1min的时候,断掉。我

    如何批量导入数据到Sqlite数据库

    做android和ios开发的一般都用Sqlite数据库,有的时候数据需要批量导入,那么如何导入呢?  在这里,介绍2种方法供大家参考。  一、用sqlite命令  以windows系统为例,linux下命令是一样的。  1.安装...

    BIM-大数据-管理.docx

    在项目的不同阶段,不同利益相关方通过在BIM中插入、提取、更新和修改信息,以支持和反映其各自职责的协同作业。 大数据(big data),又称巨量资料,指的是所涉及的资料量规模巨大,需要通过撷取、管理、处理、并整理...

    SQL Server高并发和大数据存储方案

    当多个写请求到数据库的时候,这时候需要对多张表进行插入,尤其一些表 达到每天千万+的存储,随着时间的积累,传统的同步写入数据的方式显然不可取,经过试验,通过异步插入的方式改善了许多,但与此同时,对读取...

    使用kettle将mysql中的数据导入到hive中

    先说说思路:1是直接从mysql输出至hive中,另外一个是先将数据搞到hdfs中,再load一下,...抽取数据,插入的目标库中有没有对应为表的话点击下方的SQL,会默认执行DDL语句,create一下表,接下来NEXT 成功!当然具体的

    MySQL 文本文件的导入导出数据的方法

    但有时为了更快速地插入大批量数据或交换数据,需要从文本中导入数据或导出数据到文本。 一、 建立测试表,准备数据 首先建立一个用于测试的表示学生信息的表,字段有id、姓名、年龄、城市、薪水。Id和姓名不 能为...

Global site tag (gtag.js) - Google Analytics