最终需求:
需求:将现在有数据库导入到mysql中
环境:源数据库清楚是oracle还是mysql ,目标数据库 mysql
资源:源数据库表结构描述的EXCEL文件,CSV数据文件
方案:
1.从excel文件中生成数据库创建脚本,生成数据库表。
2.从CSV文件生成SQL文件,并生成bat/sh脚本,进行数据导入。
excel的操作选用fastexcel
CSV的操作,现在有框架对实际的灵活性不够,因此选则自己实现。
遇到的问题:
1.不应该对每条数据生成一个insert语句
2.注意字符集的问题DB:cp932 程序ws932 --》shift-jis
3.对于日文,出现的半角全角的问题,这里自己写了处理代码,应对CSV文件半角全角同时出现的问题。(日本的项目)
最后,mysql对数据的类型识别真是没的说,降低了工作量。
----------------------------------------------------------------
原始情况:由oracle迁移到mysql
需求:并不是平滑迁移,也就是说可以存在oracle中两个表结构,最终合成一个mysql表的情况。
资源:oracle数据源,mysql数据源
方案:
由oracle数据库元数据生成表结构配置xml文件,事先定义dtd/xsd文件,这个文件主要是为以后生成的xml进行验证修改的,IDE的智能感知还是很方便的,之后,再读取经过修改的,适合现有mysql数据库的表结构xml文件,生成mysql数据库创建脚本,同时生成bat/sh ,生成数据库。生成数据相对复杂一点,由xml生成的数据对象自动生成数据库查询脚本,通过数据分页,生成数据插入脚本。这里需要说明一下,数据类型的匹配可以通过一个类型匹配器进行预先设置,之后生成的xml还可以跟据实际情况进行修改。最后,生成mysql批量导入脚本,进行导入操作。
容易发生的问题:内存溢出,在实际情况中最容易产生这类错误,注意程序编写,很容避免。
由于不能使用工具,大量工作由java程序完成。
分享到:
相关推荐
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移,目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移,如果hive库里面存在大量的事务表的时候,目前的工具都是不支持的,例如华为的CDM,...
Oracle导Mysql适用于百、千万级别数据迁移,速度是kettle的10倍以上数据库迁移 数据迁移 千万级 亿万级数据,MySQL oracle关系型 现需要开发一套程序用来快速迁移数据库,要求如下: 1.使用人员可以指定迁移数据库...
1、新旧redis集群迁移 2、支持redis集群的存量和增量数据迁移 3、支持redis集群数据的离线迁移
数据迁移服务V200R100C00----VMware虚拟机数据迁移方案.doc
表数据迁移 表中的数据量在几亿以下
去年年底做了不少系统的数据迁移,大部分系统由于平台和版本的原因,做的是逻辑迁移,少部分做的是物理迁移,有一些心得体会,与大家分享。 首先说说迁移流程,在迁移之前,写好方案,特别是实施的方案步骤一定...
PostgreSQL 数据迁移到达梦数据库操作 PostgreSQL 数据迁移到达梦数据库操作是指将 PostgreSQL 数据库中的数据迁移到达梦数据库中的过程。该过程需要使用 Navicat for PostgreSql 工具生成 SQL 脚本,然后使用达梦...
然后,逐个执行存储过程,将原来数据迁移到新的表中。 5,删除存储过程,清理临时过程。 6,删除第1步中重命名的表。 7,分析新创建的表,生成表的统计信息 8,删除新创建的分区表。 9,创建原来存储过程使用的临时...
Oracle 数据迁移是比较麻烦的,对菜鸟来说更是如此。最近由于更换服务器,需要将Oracle迁移到另外一台机器,在两个服务器环境相同,以及 Oracle版本相同的前提下,通过直接拷贝数据文件到新服务器,就可以直接迁移...
yugong 是阿里巴巴推出的去Oracle数据迁移同步工具(全量 增量,目标支持MySQL/DRDS)。2008年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),...
oracle 数据迁移技术汇总,各种姿势都行。需要数据迁移的技术完整手册
用友NC56、57到NC63数据迁移工具V1.0操作手册,用友NC56、57到NC63数据迁移工具V1.0操作手册
主要介绍了Redis数据导入导出以及数据迁移的4种方法详解,需要的朋友可以参考下
数据迁移和数据集成
AIX数据迁移
可以将Oracle、SQL、MDB、MySQL、Txt、Excel等多种数据源中的数据自由进行转换和数据迁移的软件,类似ETL的软件,并针对Oracle加入了备份和恢复功能 具有如下特点: 1.可以把一个数据库中所需要的记录导入到另一个...
1.该文档包含了下载,安装,与mysql数据迁移到金仓数据库 2.windows, kingbase SE V8
通过EXP/IMP可以实现产品系统的跨平台的迁移,需要迁移的数据库已经部署了高级复制环境,打算进行一系列的测试,测试包含高级复制环境数据库在通过 EXP/IMP工具迁移...文中通过实例介绍了利用EXP/IMP工具实现数据迁移。
mysql数据迁移到postgresql最简单的方式,亲测可以成功迁移。
数据迁移方法概述