`

Mysql导入数据相当慢

 
阅读更多

导入数据的方法

导出(备份):mysqldump -u 用户名 -p databasename >exportfilename

导入(还原):方法一 mysql -u 用户名 -p databasename

方法二 进入MySQL数据库控制台 use 数据库名,之后:source importfilename

导入数据非常慢
将JQ1中的方案导出,然后导入到JQ2的中(导出的数据文件有90M)。上面两种方法都使用了,但是没有成功,或者说是十分慢(估计1,2天才能完成)。

解决办法(十几分钟可以导完):

查看JQ2的mysql参数:
show variables like 'max_allowed_packet';
show variables like 'net_buffer_length';
两个结果分别是:1047552 和 16384

从JQ1上导出数据:
mysqldump -uroot -pXXX 方案名 --skip-opt --create-option --set-charset --default-character-set=gbk -e
--max_allowed_packet=1047552 --net_buffer_length=16384 > 导出的文件路径和文件名

注意:max_allowed_packet和net_buffer_length不能比目标数据库的设定数值大,否则可能出错。

-e 使用包括几个VALUES列表的多行INSERT语法;
--max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小;
--net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行。

也就是此参数指定了一个缓存区的大小,用来存放用户发送的SQL语句。若接收的SQL语句大于这个缓存区,则自动增加大小,直到max_allowed_packet

将导出的数据导入至JQ2中
./mysql -uroot -pXXX --default-character-set=gbk 方案名<导出的文件路径和文件名
这样导入相当于每次执行多条sql语句,快了很多

 

demo

mysqldump -h192.168.7.3 -uroot -p shb -e --max_allowed_packet=1048576 --net_buffer_length=16384 >F:\shb20151208.sql
mysql -uroot -p123456 shb10 <F:\shb20151208.sql

分享到:
评论

相关推荐

    MySQL 导入慢的解决方法

    导入注意点:使用phpmyadmin或navicat之类的工具的导入功能还是会相当慢,可以直接使用mysql进行导入导入命令如下:mysql&gt; -uroot -psupidea jb51.net&lt;E&gt; -umysql用户名 -pmysql密码 要导入到的数据库名&lt;要导入...

    ☆一个相当实用的EXCEL数据导入MSSQL数据库的工具

    一个相当实用的将EXCEL表的数据快速导入数据库的工具,也支持导入ACCESS及MYSQL,可以灵活选择对应的数据库的数据表中的某个字段,并可自定义设置以某个字段做重复判断重复不导入。。。并具有一定的编辑与查询功能,...

    任意数据库类型数据转换系统 OBDB2DB 1.7

    使用 DTS 需要预先创建好数据表 否则新迁移的数据库是没有主键的 而 mss2sql 工具可以解决以上问题 但转换速度非常慢 我需要转换 3000 万的数据 在一台相当不错的服务器上面 也需要几天几夜才能转换完成 而 DB2DB ...

    任意数据库类型数据转换系统 OBDB2DB 1.75

    使用 DTS 需要预先创建好数据表 否则新迁移的数据库是没有主键的 而 mss2sql 工具可以解决以上问题 但转换速度非常慢 我需要转换 3000 万的数据 在一台相当不错的服务器上面 也需要几天几夜才能转换完成 而 DB2DB ...

    php mysql 通用成绩查询系统 v201906.zip

    适合已有现成数据库或者熟悉mysql数据导入的用户使用。 php mysql 通用成绩查询系统 v201906 更新日志 1. 兼容性改进:修正在阿里云虚拟主机等环境运行异常。 2. 功能翻倍:增加模糊查询模式,并且可以修改一个...

    在VB.NET应用中使用MySQL的方法

    在Visual Studio中使用向导连接到MySQL数据库是一件相当棘手的事情。因为MySQL并不在VS2012默认支持的数据库中(比如SQL Server)。在本文中我将介绍如何使用VB.NET连接到MySQL数据库并且执行SQL语句(SELECT,...

    Navicat_for_mysql_11.zip

    Navicat Premium 11是一款非常好用的数据库管理和开发工具,它可以帮助用户连接本地或远程服务器,软件内置功能强大,可以为用户提供SQL编辑器、导入或导出、转储或运行SQL脚本等各种功能,从而协助你管理数据!...

    navicat for sql server + mysql

    Navicat for SQL Server 是一套专为 Microsoft SQL Server设计的...它可以让用户连接到任何本机或远程 SQL Server、提供一些实用的数据库工具如数据模型工具、数据同步、结构同步、导入、导出及报表以协助管理数据。

    任意数据库类型数据转换系统 OBDB2DB 1.85

    使用 DTS 需要预先创建好数据表 否则新迁移的数据库是没有主键的 而 mss2sql 工具可以解决以上问题 但转换速度非常慢 我需要转换 3000 万的数据 在一台相当不错的服务器上面 也需要几天几夜才能转换完成 而 DB2DB ...

    phpMyAdmin中文版 v4.2.8.1 最新版.gz

    phpmyadmin是一款用PHP编写的、可以通过互联网控制和操作MySQL,通过phpMyAdmin可以完全对数据库进行操作,例如建立、复制、删除、导出、导入数据等。 详细介绍: phpMyAdmin 是一个用PHP编写的软件工具 ,您...

    KBQA-BERT基于知识图谱的问答系统命名实体识别和句子相似度在线大纲模式程序源代码数据

    KBQA-BERT基于知识图谱的问答系统命名实体识别和句子相似度在线大纲模式程序源代码数据 ... load_dbdata.py 将数据导入mysql db ModelParams文件夹需要下载BERT的中文配置文件:chinese_L-12_H-768_A-12

    navcat11-x64,mysql数据库开发工具

    Navicat [1] 是一套快速、可靠并价格相...它可以让用户连接到任何本机或远程服务器、提供一些实用的数据库工具如数据模型、数据传输、数据同步、结构同步、导入、导出、备份、还原、报表创建工具及计划以协助管理数据。

    golang实现mysql数据库备份的操作方法

    navicat是mysql可视化工具中最棒的,但是,在处理视图的导入导出方面,它是按照视图名称的字母顺序来处理的,若视图存在依赖,在导入过程中就会报错。前面已经用python写了一个,但在使用过程中,遇到xfffd编码,...

    Navicat for Oracle 10.1.7

    调度可以设定在某一特定时间导入数据。[2] 2,可视化查询生成器 Navicat查询生成器可以让你构建数据库多个表的复杂的查询.查询生成器界面让您浏览表,字段,查询,选择那些你想限制并将其列入的结果。 3,强大的报表...

    java+mysql实现的代码分享网(所有源码已开源,效果可看网址:www.admintwo.com)

    6、运行步骤:首先将代码导入到eclipse或者其他IDE,然后利用mysql数据库建一个名为admintwo的库,将admintwo.sql执行一遍。修改jdbc.properties和img.properties,其中jdbc.properties是数据库连接信息,img....

    Navicat Premium.zip

    它可以让用户连接到任何本机或远程服务器、提供一些实用的数据库工具如数据模型、数据传输、数据同步、结构同步、导入、导出、备份、还原、报表创建工具及计划以协助管理数据。 它可以用来对本机或远程的 MySQL、...

    navicat110_premium_cs_x64

    其他功能包括导入向导、导出向导、查询创建工具、报表创建工具、数据同步、备份、工作计划及更多。 Navicat 的功能足以符合专业开发人员的所有需求,但是对数据库服务器的新手来说又相当容易学习。

    PremiumSoft Navicat Premium Enterprise 11.0.17 x86

    Navicat Premium 是一个可多重连接的数据库管理工具,它可让你以...它可以让用户连接本机或远程服务器、提供一些实用的数据库工具如数据模型工具、数据同步、结构同步、导入、导出、备份、还原及报表以协助管理数据。

    Navicat Premium v11.zip数据库可视化工具

    Navicat Premium 11是一款非常好用的数据库管理和开发工具,它可以帮助用户连接本地或远程服务器,软件内置功能强大,可以为用户提供SQL编辑器、导入或导出、转储或运行SQL脚本等各种功能,从而协助你管理数据!...

    Navicat Premium 11.2.7

    MySQL、Oracle、PostgreSQL、SQLite、SQL Server和/或 MariaDB 数据库, 让管理不同类型的数据库更加方便。 Navicat 的功能足以符合专业开发人员的所有需求, 但是对数据库服务器的新手来说又相当容易学习。 有了极...

Global site tag (gtag.js) - Google Analytics