使用压缩来看看
sqoop:000> update job --jid 1
Compression format:
0 : NONE
1 : DEFAULT
2 : DEFLATE
3 : GZIP
4 : BZIP2
5 : LZO
6 : LZ4
7 : SNAPPY
Choose: 3
Output directory: /home/dimDateGZip
Job was successfully updated with status FINE
使用Gzip
同样的job 跑出来的不一样
[root@localhost ~]# hadoop fs -ls /home/dimDateGZip 14/03/20 09:39:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 11 items -rw-r--r-- 1 root supergroup 0 2014-03-20 09:35 /home/dimDateGZip/_SUCCESS -rw-r--r-- 1 root supergroup 2266 2014-03-20 09:34 /home/dimDateGZip/part-m-00000.gz -rw-r--r-- 1 root supergroup 2461 2014-03-20 09:34 /home/dimDateGZip/part-m-00001.gz -rw-r--r-- 1 root supergroup 1905 2014-03-20 09:34 /home/dimDateGZip/part-m-00002.gz -rw-r--r-- 1 root supergroup 2814 2014-03-20 09:34 /home/dimDateGZip/part-m-00003.gz -rw-r--r-- 1 root supergroup 1546 2014-03-20 09:35 /home/dimDateGZip/part-m-00004.gz -rw-r--r-- 1 root supergroup 2804 2014-03-20 09:34 /home/dimDateGZip/part-m-00005.gz -rw-r--r-- 1 root supergroup 20 2014-03-20 09:34 /home/dimDateGZip/part-m-00006.gz -rw-r--r-- 1 root supergroup 20 2014-03-20 09:35 /home/dimDateGZip/part-m-00007.gz -rw-r--r-- 1 root supergroup 20 2014-03-20 09:35 /home/dimDateGZip/part-m-00008.gz -rw-r--r-- 1 root supergroup 535 2014-03-20 09:35 /home/dimDateGZip/part-m-00009.gz [root@localhost ~]# hdfs dfs -ls /home/dimDate 14/03/20 09:42:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 11 items -rw-r--r-- 1 root supergroup 0 2014-03-20 09:29 /home/dimDate/_SUCCESS -rw-r--r-- 1 root supergroup 20748 2014-03-20 09:28 /home/dimDate/part-m-00000 -rw-r--r-- 1 root supergroup 22248 2014-03-20 09:28 /home/dimDate/part-m-00001 -rw-r--r-- 1 root supergroup 17461 2014-03-20 09:28 /home/dimDate/part-m-00002 -rw-r--r-- 1 root supergroup 25573 2014-03-20 09:29 /home/dimDate/part-m-00003 -rw-r--r-- 1 root supergroup 14132 2014-03-20 09:29 /home/dimDate/part-m-00004 -rw-r--r-- 1 root supergroup 25693 2014-03-20 09:29 /home/dimDate/part-m-00005 -rw-r--r-- 1 root supergroup 0 2014-03-20 09:29 /home/dimDate/part-m-00006 -rw-r--r-- 1 root supergroup 0 2014-03-20 09:29 /home/dimDate/part-m-00007 -rw-r--r-- 1 root supergroup 0 2014-03-20 09:29 /home/dimDate/part-m-00008 -rw-r--r-- 1 root supergroup 3477 2014-03-20 09:29 /home/dimDate/part-m-00009
压和没压差10倍.
下一步就是把table 搞进hive 打算用RCFile
相关推荐
sqoop-1.4.6-hadoop-2.6最小资源包已经经过严格测试,
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。sqoop是什么? sqoop是个传输数据的工具。 ...
apache-atlas-2.3.0-hbase-hook.tar.gz Apache Atlas 框架是一组可扩展的核心基础治理服务,使企业能够有效且高效地满足 Hadoop 内的合规性要求,并允许与整个企业数据生态系统集成。这将通过使用规范和取证模型、...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip
sqoop-1.4.7.bin__hadoop-2.6.0.tar 目前能下载到的最新版本 为不喜欢去官网下载的小伙伴提供便利
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip。。。。。。。。。。。。。。。。
Sqoop is a command-line interface application for transferring data between relational databases and Hadoop.
其中包含Sqoop将SqlServer文件导入HDFS文件的所有jar包
mv /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.template.sh /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh vi /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh export HADOOP_COMMON_HOME=/usr/...
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的...您可以使用Sqoop将关系数据库管理系统(RDBMS)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS 。
sqoop-1.4.6.bin__hadoop-2.0.4-alpha 导入导出工具,, 可以去官网下载, 也可以用这个
sqoop1.4.2版本,下载后请自行验证可用性
2、sqoop导入(RMDB-mysql、sybase到HDFS-hive) 网址:https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中
sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz
sqoop-1.4.6.bin__hadoop-0.23.tar.gz
把压缩文件解压之后可以防止sqoop-1.2.0版本下的lib中,使得sqoop在安装了hadoop-0,20,2版本的hadoop环境下也能运行。
java连接sqoop源码Hadoop-project-with-maven 设置了 Hadoop maven 依赖项的 Java WordCount 示例 这是一个练习,可帮助您安装和运行用 Java 编写的 hadoop 程序,首先在本地模式下的 IDE 中,然后在您将自己构建的 ...
sqlserver connector for apache hadoop