`
chen291382932
  • 浏览: 6597 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论

不同数据库之间的不同表结构的数据迁移

阅读更多
Author 陈礼松
最近在在项目组中碰到一个这样的问题,我们做的新系统需要老数据库中导入,就出现了这样的问题
1. 不同的数据库之间的数据迁移;
2. 表结构变化很大;
3. 支持多张表多种字段的对应的数据迁移;
4. 考虑数据量很大的迁移。
然后就写了一个小工具,能解决这样的问题,感觉功能还是蛮通用的,所以就分享一下,主要实现功能:
      1. 表字段数据对应关系的可配置化 config.properties的key对应目标数据库的“表名.字段名“ ,value对应源数据库的”表名.字段“,在配置的过程中以key为主,value为源数据库中的字段可重复,例如中间表;
      2. 这个是从sqlserver2005 - oracle11的数据迁移,如果数据库类型不一样,请修改以下几个地方:
a) DRIVER;
b) URL;
c) Jar包;
d) 源数据库的分页查询可能不一致。
       3.原理:利用两个线程循环批量每次读5000条数据插入5000条数据,读完一张表继续下一张表的的操作。

                   各位如果有提出提升或者改进的地方,不吝赐教。

分享到:
评论
3 楼 chen291382932 2014-02-14  
gnail_oug 写道
附件压缩包损坏……

压缩包是由于公司电脑加密的原因,我会在今天2014-2-14晚上之前重新传上去的。
2 楼 jason_3345 2014-02-13  
gnail_oug 写道
附件压缩包损坏……

1 楼 gnail_oug 2014-02-13  
附件压缩包损坏……

相关推荐

    一个好用的数据库迁移工具(Database Publishing)

    数据库发布向导(Database Publishing)提供提供数据库定义和数据导入功能,可将数据结构及数据导出为SQL语句,从而实现不同版本(SQL2000、SQL2005、SQL2008等)以及SQL数据库与其它数据库之间的迁移,操作方法简单,...

    jdbc连接程序实现不同数据库数据的迁移

    采用jdbc连接数据库,将两种不同类型的数据(SqlServer、Oracle)进行转换,来完成数据库数据的迁移。 实现方式,查询SqlServer数据,批处理插入到Oracle中。

    oracal 数据,表结构迁移mysql数据库

    orcal 转换成mysql ,数据库迁移,orcal,mysql 具,加sql美化语句工具

    跨数据库数据迁移

    * 追加入库 ZJRK, (目标库有源表结构的基础上,增加源表的所有数据到目标库中) * 刷新入库 SXRK, (删除目标库的源表结构,自动创建并导入数据) * 更新入库 GXRK (暂未实现) * ** */ apConfig.setInsertType...

    JDBC实现MYSQL数据库迁徙

    java实现JDBC两个不同的数据库的迁徙,和实现分表数据迁徙。

    数据库比较迁移工具

    1. 相同/不同类型数据库进行数据表比较及字段比较,支持三种类型:Oracle,SqlServer,MySql 2. 数据表迁移功能,如:将oracle中Table_1迁移至MySql数据库中,且外键关联的表一并迁移。 3. 支持DDL建表语句导出至系统...

    DataX数据的迁移(MySQL、HDFS,Hive)

    2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者转换时需要注意,再数据迁移json模板中,"nullFormat": "\\N", 该配置信息就是解决了...

    异构数据库数据与结构同步工具 dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能,支持数据的全量和增量方式同步

    一句话,dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能,支持数据的全量和增量方式同步。包括:结构迁移:支持字段类型、主键信息、建表语句等的转换,并生成建表SQL语句。支持基于正则表达式转换的...

    数据库迁移

    用作数据库里的数据迁移,需要在数据转移前,两边数据库的表结构一致(提前创建好数据库表),保证从一边读取出来的数据能够正常插入另一边。数据迁移时 按照数据插入顺序来读取,批量插入迁移目标中,迁移过程中,...

    Mysql数据库表编辑器,Access数据表导入到Mysql工具

    最近在搞Access数据库到Mysql迁移,编了一个简单的工具,用VB6编写的。 功能介绍: 1、可以直接编辑Mysql数据库...导入之前,请先用Mysql Query Browser创建一个与Access表结构一样的表,然后再使用这个工具导入。 交流

    数据库优化--局部数据迁移结果验证

    1、data_conf数据比较脚本(组织关系表的数据比较,业务数据比较); 2、table_analysis数据表分析结果统计;...3、table_info数据表信息获取(普通数据表的表结构信息获取,分区数据表的分区数据信息获取)。

    MySQL+人大金仓+数据迁移

    MySQL+人大金仓+数据迁移

    Access数据库转移工具 v1.1

    这样新老数据库之间的数据迁移就是一件很麻烦的事. 此软件仅用于在各种类型的Access数据库之间迁移数据用。 是为了方便网站升级时数据库的迁移而写的。 可以一个表一个表的迁移,而且可以自行设定不同字段之间的...

    dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能,支持数据的全量和增量方式同步

    dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能,支持数据的全量和增量方式同步。包括:结构迁移:支持字段类型、主键信息、建表语句等的转换,并生成建表SQL语句。支持基于正则表达式转换的表名与...

    异构数据库数据与结构同步工具

    异构数据库数据与结构同步工具。dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能,支持数据的全量和增量方式同步。支持字段类型、主键信息、建表语句等的转换,并生成建表SQL语句。支持基于正则表达式...

    数据库设计和数据库部署工具BDB 2007 Pro V2.3

    3、数据库迁移:在不同数据库平台间进行数据库结构(包括数据表、索引、约束、 视图和存储过程对象)和数据迁移。 4、查询分析、数据表查询、数据编辑功能。提供专用的SQL编辑器、 支持SQL语法高亮、快速脚本输入、...

    mysql数据迁移到mysql.rar

    执行该命令后,将会导出整个数据库的数据,包括表结构和数据。 2.将导出的备份文件恢复到新MySQL数据库中 $ mysql -u username -p database_name 其中,username是新MySQL数据库的用户名,database_name是要恢复的...

    MySQL数据移植迁移 + 备份

    可以看到数据库表,但是对表进行任何操作都报错:ERROR 1146 (42S02): Table 'xxx' doesn't exist(表不存在),原以为Mysql的数据库文件.frm复制到本地安装MySQL数据存储目录的data文件夹下就可以,事实不是我们想的...

    数据库设计工具BDB Developer Edition v3.0

    BDB Developer Edition v3.0 >BDB(Bain DB Builder)是跨数据库平台的...可通过BDB在不同数据库平台之间进行数据库结构和数据迁移。 >5、数据模板定义、同步。 >6、脚本预输出、数据表查询编辑、语法查询分析等

Global site tag (gtag.js) - Google Analytics