1.修改配置 /home/sqoop-1.4.4/conf/sqoop-env.sh
export HADOOP_COMMON_HOME=/home/hadoop-2.3.0 export HADOOP_MAPRED_HOME=/home/hadoop-2.3.0 #export HBASE_HOME=/usr/local/hbase export HIVE_HOME=/home/hive-0.10.0 #export ZOOCFGDIR=/usr/local/zookeeper
2.加入配置 /etc/profile
export JAVA_HOME=/lib/jdk1.6.0_30 export HADOOP_HOME=/home/hadoop-2.3.0 export HIVE_HOME=/home/hive-0.10.0 export ANT_HOME=/lib/apache-ant-1.9.0 export SQOOP_HOME=/home/sqoop-1.4.4 export HADOOP_MAPRED_HOME=${HADOOP_HOME} export HADOOP_COMMON_HOME=${HADOOP_HOME} export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$PATH
3.测试下 sqoop version
[root@localhost ~]# sqoop version Sqoop 1.4.4 git commit id 050a2015514533bc25f3134a33401470ee9353ad Compiled by vasanthkumar on Mon Jul 22 20:06:06 IST 2013
4.测试导入HDFS
先写一个文件 /home/mysql.txt
import --connect jdbc:mysql://prchaz02823:3306/adventureworksdw2008r2 --username root --password root --table DimDate2 --null-string '\\N' --null-non-string '\\N' #--map-column-java #FullDateAlternateKey=DATE --split-by DateKey --target-dir /home/dimdate_txt --hive-import --hive-table adventureworksdw.dimdate2 --map-column-hive FullDateAlternateKey=timestamp --hive-overwrite #--direct
一个命令必须2行 一行是参数 一行是值 ,#是注释掉的 这个东西本质就是个属性文件.
我写的是直接导入hive ,hive虽然支持timestamp,但是如果不写map column hive 会默认把列变成了String,所以 overwrite了 column type mapping
--map-column-hive FullDateAlternateKey=timestamp
这个地方有点BUG. 最好是全部小写,因为 FullDateAlternateKey 是有大小写的,指向的是Source column(mysql的列) 不是hive的column name. 如果写成了hive的column 会报 找不到列的错误.
别的参数具体什么意思,去查看doc 就知道了http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.html
5.运行就开始跑了
sqoop --options-file /home/mysql.txt
备注下, 我这里是全表导入的,而去表是有主键的,默认是用主键做为split-by ,如果没有主键的表这么写是报错的,需要指定 --split-by
相关推荐
sqoop用于连接关系型数据库与非关系型数据库,支持hadoop2.0.0及其以上的版本,部署简单,方便使用。
叶梓老师整理的Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册,非常实用
sqoop-1.4.4-cdh5.1.0.tar
Hadoop集群搭建必备安装包,包括zookeeper3.4.12+hbase1.4.4+sqoop1.4.7bin_hadoop-2.6.0+kafka2.10亲测可用。
sqoop-1.4.6-cdh5.5.0.tar.gz
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册,经测试运行正常。
Sqoop服务器 :male_sign: 个人资料이름오승재임찬기 역할 리드 개발자 Github :gear: 依赖模块 " dependencies " : { " aws-sdk " : " ^2.817.0 " , " clean-css " : " ~4.1.11 " , " constantinople " : " ~3.1.1 ...
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据...
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用...