import:
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities
--connect:指定JDBC URL
--username/password:mysql数据库的用户名
--table:要读取的数据库表
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --target-dir /etc/input/cities
--target-dir:指定数据导出后的目录,这样指定的目录只是一次会话的
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --warehouse-dir /etl/input/
--warehouse-dir:指定数据导出后的目录,会根据表名来自动生成/etl/input/cities,只需要一次指定,后面的每次导出都是在此目录下,以表名命名的。
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --where ''country='usa'''
--where:指定导出部分数据的条件
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --table cities -P
-p:动态的数据密码,安全
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --table cities --password-file my-sqoop-password
--password-file:指定密码文件,安全
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --as-sequencefile
--as-sequencefile:指定导出的数据以sequencefile文件格式保存
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --as-avrodatafile
--as-avrodatafile:指定导出的数据以avrodatafile文件格式保存
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --num-mappers 10
--num-mappers 10:指定运行的map数据量
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --null-string '\\N' --null-non-string '\\N'
--null-string '\\N' --null-non-string '\\N':指定mysql中的null在导出后以\n保存
sqoop import connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --incremental append --check-column id --last-value 1
--incremental append:指定导出新增的数据
--check-column id:指定导出针对新增的标准是id
--last-value 1:指定从id=1之后插入的数据
export:
sqoop export -Dsqoop.export.records.per.statement=10 --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --export-dir cities --batch
--batch:指导入是批量的导入
-Dsqoop.export.records.per.statement=10:指定批量导入一次的数据条数
sqoop export --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --export-dir cities --staging-table staging_cities
--staging-table:指定导入时的零时表,只有当数据完全导入成功后,才会将数据导入到目标表中,如果中间出现失败则会将零时表中的数据删除,这样就保证了原子性,从而不会出现脏读
sqoop export --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --export-dir cities --update-key id
--update-key:指定依据什么字段来更新表,即当id一样时,则就更新这条记录
sqoop export --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --export-dir cities --update-key id --update-mode allowinsert
--update-key:指定依据什么字段来更新表,即当id一样时,则就更新这条记录
-update-mode allowinsert:指定除了可以更新数据之外,其余不相等的数据同样可以插入表中
sqoop export --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --export-dir cities --columns country,city
--columns:指定要插入的列名
sqoop与hive结合:
sqoop import --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --hive-import
--hive-import:指定从hive中导出
sqoop与hbase结合:
sqoop export --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --hbase-table cities --column-family world
--hbase-table:指定hbase的表名
--column-family:指定hbase表的列族名
分享到:
相关推荐
sqoop学习文档(2){Sqoop import、Sqoop export}。记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
NULL 博文链接:https://ylzhj02.iteye.com/blog/2051729
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,...
常用的sqoop操作方法,主要是import与export的常用参数
在Sqoop import的方法中,增加生成ORC File格式的命令. Build 源码取自于 使用ant build Usage 在import命令中,增加: --as-orcdatafile Examples sqoop import -D hadoop.job.history.user.location=none --connect...
sqoop import \ --driver org.apache.phoenix.jdbc.PhoenixDriver \ --connect jdbc:phoenix:192.168.111.45:2181 \ --query "select cs_mine_code, cs_data_time,ss_station_code,ss_transducer_code,ss_transducer...
export SQOOP_HOME=/usr/local/sqoop-1.4.6-cdh5.13.2 export PATH=$PATH:$SQOOP_HOME/bin: 重新加载环境变量: source /etc/profile which sqoop 2、配置sqoop的环境配置文件: mv /usr/local/sqoop-1.4.6-cdh...
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop...
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...
Sqoop is both powerful and bewildering, but with this cookbook’s problem-solution-discussion format, you’ll quickly learn how to deploy and then apply Sqoop in your environment. The authors provide ...
此思维导图主要由Sqoop基本概念、安装配置、导入与导出(import&export)三大主题组成,其中安装配置包括Sqoop的安装与配置和mysql的安装与配置(CentOS 7中);导入与导出是以两个示例呈现。此内容来自课堂材料。
运行Sqoop报错:找不到或无法加载主类 org.apache.sqoop.sqoop 将sqoop-1.4.7.jar包放到Sqoop的lib目录下,问题解决。
Apache Sqoop Docker映像 注意:这是master分支-对于特定的Sqoop版本,请...sqoop import --connect jdbc:mysql://$MYSQL_HOST/$MYSQL_DB --table $MYSQL_TABLE --username $MYSQL_USER --password $MYSQL_PASS -m 1
sqoop连接sqlserver的驱动工具,没有这个sqoop是连不上滴
Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.
sqoop-1.4.6.jar,sqoop报错找不到加载类的时候 将该文件放入sqoop的lib文件夹下
Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输
sqoop的常用指令操作
sqoop数据导出工具
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统(RDBMS)导入...语法:sqoop import (generic-args) (import-args) 常用参数 -co