http://blog.csdn.net/linlinv3/article/details/49589615
sqoop import --connect jdbc:mysql://u13:3306/hive --username hive --password hive --table test --hive-import --hive-overwrite --hive-table testt --fields-terminated-by '\t'
Sqoop-1.4.4工具import和export使用详解
http://shiyanjun.cn/archives/624.html
sqoop导入数据至hive
http://lookqlp.iteye.com/blog/1666449
使用query导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --query "select ,* from retail_tb_order where \$CONDITIONS" --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
注意:$CONDITIONS条件必须有,query子句若用双引号,则$CONDITIONS需要使用\转义,若使用单引号,则不需要转义。
从mysql增量导入hive
一通过where条件
sqoop import --connect jdbc:mysql://120.132.117.159:33306/protruly_mall_test --username inputuser --password inputpass --table mall_brand \
--where "DATE_FORMAT(CreatedDtm, '%Y-%m-%d')='2016-12-22'" --hive-import --hive-partition-key inputperiod --hive-partition-value 2016-12-22 \
--hive-overwrite --hive-table aggregate_data.mall_brand --fields-terminated-by '\t'
二通过lastValue
sqoop import --connect jdbc:mysql://120.132.117.159:33306/protruly_mall_test --username inputuser --password inputpass --table mall_brand \
--hive-import --hive-overwrite --hive-table aggregate_data.mall_brand --fields-terminated-by '\t' --hive-partition-key inputperiod --hive-partition-value 2017-03-16 \
--incremental append --check-column CreatedDtm --last-value '2017-03-15 00:00:01'
注意lastValue方式根据sqoop新旧版本不同参数
--incremental lastmodified -check-column (高)
--incremental append --check-column (低)
导出数据
sqoop export --connect jdbc:mysql://192.168.7.22:3306/bigdata_qu?characterEncoding=utf-8 --username inputuser --password inputpass --table fact_aggregate_useractivity --export-dir /user/hive/warehouse/aggregate_data.db/fact_aggregate_useractivity/inputperiod=$partition --input-fields-terminated-by '\001' --input-lines-terminated-by '\n' --input-fields-terminated-by '\t' --input-null-string '\\N' --input-null-non-string '\\N'
相关推荐
sqoop框架开发工具使用的jar sqoop-1.4.6.jar 手动安装到maven <groupId>org.apache.sqoop <artifactId>sqoop <version>1.4.6 </dependency>
sqoop-1.4.6.jar,sqoop报错找不到加载类的时候 将该文件放入sqoop的lib文件夹下
sqoop-1.4.6-cdh5.14.0
sqoop1.4.6安装包 sqoop1.4.安装包 sqoop1.4.安装包 sqoop1.4.6安装包 sqoop1.4.安装包 sqoop1.4.安装包sqoop1.4.6安装包 sqoop1.4.安装包 sqoop1.4.安装包
sqoop-1.4.6.tar.gz sqoop-1.4.6.tar.gz sqoop-1.4.6.tar.gz sqoop-1.4.6.tar.gz
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip。。。。。。。。。。。。。。。。
大数据环境cdh5.7.6版本的sqoop压缩包 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将关系数据库管理系统(RDBMS)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS...
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也...
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,...
Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎,同时实现变量、脚本、...
mv /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.template.sh /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh vi /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh export HADOOP_COMMON_HOME=/usr/...
资源中包含了Sqoop1.4.6安装包,安装配置说明可参考我的博客,如果安装过程中遇到问题可与我联系解决。
欢迎大家持续关注,并自行下载!谢谢 sqoop-1.4.6-cdh5.5.2.tar
sqoop-1.4.6-hadoop-2.6最小资源包已经经过严格测试,
资源包括: sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
sqoop-1.4.6.bin__hadoop-2.0.4-alpha 导入导出工具,, 可以去官网下载, 也可以用这个