`

sqoop2 :Install and Basic Usage

 
阅读更多

Sqoop2 Install

1. install server

 download the tarball form the official website

 #tar -xzvf sqoop-1.99.3-bin-hadoop200.tar.gz

 Assume that the server and client will install in the same host:192.168.122.1

 configure  server  related configuration files in dir

/path/to/sqoop-1.99.3-bin-hadoop200/server/conf

 a. catalina.properties

 add hadoop related jars to common.load property

 b. sqoop.properties

 the most import item is

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/path/to/hadoop-conf-dir

  To avoid access privileges, we should copy all hadoop configuration files to another dir. The reason is that the hadoop namode and yarn resource manager damons run in the same host with sqoop server, these conf files will be locked by hadoop, which lead to access denied to sqoop server.

 

2. install client

I installed the sqoop server and client in the same host due to resource limilation, which I used one PC installed ubuntu 12.04 with 3 centos VM.

 

3. add env

add sqoop bin dir to path in ~/.bashrc  and using source to make it effect immidately.

4. start server

 # sqoop.sh server start

5. start client

#sqoop.sh client

or you can run sqoop script in batch mode

#sqoop.sh client /path/to/script.sqoop

Note:Commands create, update and clone are not currently supported in batch mode

so, you can't create/update/clone some connection and job in you scripts. Also, you can't

use sqoop1's commands in script,such as import.

 

sqoop:000> set server --host your.host.com --port 12000 --webapp sqoop
sqoop:000> show version --all
sqoop:000> show connector --all
sqoop:000> create connection --cid 1
sqoop:000> show connector --all
sqoop:000> create job --xid 1 --type import
sqoop:000> start job -j 1
sqoop:000> status job -j 1
sqoop:000> update job -j 1
sqoop:000> clone job -j 1
sqoop:000> delete job -j 1

the usage of sqoop CLI refer to the official documents.

 

Warning:Sqoop2 is totally different from Sqoop1. So the commands belong to sqoop1 could not be used

in Sqoop2 CLI or script.

 

Sqoop2  wiki:

https://cwiki.apache.org/confluence/display/SQOOP/Home

https://cwiki.apache.org/confluence/display/SQOOP/Sqoop2+Quickstart

 

Sqoop1 Usage: https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html

 

 

分享到:
评论

相关推荐

    sqoop-1.4.7.zip

    2. **依赖缺失**:Sqoop不仅仅是一个单独的JAR文件,它还依赖于其他库。`sqoop-1.4.7.jar`可能包含了主类,但如果没有其他的依赖库,那么主类也无法正常工作。描述中提到的解决方案就是将此JAR放入`Sqoop的lib目录下...

    sqoop-1.4.6.2.3.99.0-195.jar..zip

    编译Atlas用 sqoop-1.4.6.2.3.99.0-195.jar 内含安装jar包以及maven手动安装命令 详情可参考我的博客: https://blog.csdn.net/qq_26502245/article/details/108008070

    sqoop1: import to hive partitioned table

    NULL 博文链接:https://ylzhj02.iteye.com/blog/2051729

    sqoop-1.4.7.jar

    sqoop框架开发工具使用的jar sqoop-1.4.7.jar 手动安装到maven <groupId>org.apache.sqoop <artifactId>sqoop <version>1.4.7 </dependency>

    Atlas2.3.0依赖: org.restlet/sqoop-1.4.6.2.3.99.0-195

    在IT行业中,我们经常涉及到各种库和框架的集成与使用,这次我们关注的是"Atlas2.3.0"依赖的组件:"org.restlet/sqoop-1.4.6.2.3.99.0-195"。这个依赖包含了三个关键的JAR文件:`sqoop-1.4.6.2.3.99.0-195.jar`,`...

    sqoop2安装文档

    ### Sqoop2安装与配置详解 #### 一、概述 Sqoop是一款开源工具,主要用于在Hadoop和关系型数据库之间高效地传输数据。Sqoop2是Sqoop的一个重大升级版本,它引入了全新的架构和改进的功能,使得数据迁移更加稳定...

    sqoop-1.4.7(可直接下载学习使用)附有安装配置教程!

    内容概要:Sqoop 1.4.7 安装包主要包括以下内容:Sqoop 命令行工具:用于执行数据迁移任务的客户端工具。连接器:Sqoop 支持多种数据库连接器,包括 MySQL、PostgreSQL、Oracle 等,用于连接目标数据库。元数据驱动...

    sqoop-1.4.5-cdh5.4.2.tar.gz

    Sqoop是Apache Hadoop生态中的一个工具,专用于在关系型数据库(如MySQL、Oracle等)与Hadoop之间高效地导入导出数据。在标题"sqoop-1.4.5-cdh5.4.2.tar.gz"中,我们可以看出这是Sqoop的一个特定版本——1.4.5,针对...

    sqoop2的安装包

    Sqoop2是一款用于在Hadoop和关系数据库管理系统(RDBMS)之间进行数据迁移的工具。它是Apache Sqoop项目的第二代版本,旨在提供更高级的功能和更好的可扩展性,以支持大数据环境中的复杂数据导入导出任务。在这个...

    java连接sqoop源码-quick-sqoop:ApacheSqoopETL工具的快速参考

    sqoop2 因为它不是正式的 GA 并且可能永远不会 $ wget http://apache.arvixe.com/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz $ sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz /srv/ $ cd /srv ...

    Hadoop-Sqoop配置

    2. 配置环境变量:在环境变量配置文件中添加 Sqoop 的安装目录,以便 Sqoop 可以正确地找到依赖项。 3. 配置 JDBC 驱动包:将相应的 JDBC 驱动包文件拷贝到 Sqoop 的 lib 目录下,以便 Sqoop 可以连接到相应的数据源...

    sqoop jdbc驱动包

    sqoop 导入数据时候报错ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDriver 缺少驱动包。

    sqoop的操作

    sqoop是一种导入导出数据的工具,这里用思维导图的形式展现了sqoop的一些简单应用。

    sqoop2-1.99.7 documentation 英文文档

    ### Sqoop2-1.99.7 文档概述 #### 一、Sqoop简介 Apache Sqoop 是一个工具,用于高效地在结构化、半结构化和非结构化数据源之间传输数据。例如,关系型数据库是具有明确数据模式的结构化数据源的示例;Cassandra ...

    java-json.7z

    sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException,没遇到可以跳过 19/09/20 09:57:47 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException at org.json...

    sqoop连接db2的驱动包

    2. **放置驱动包**:为了使Sqoop能够识别并使用这些驱动,你需要将它们复制到Hadoop生态系统的lib目录。对于Hive,这通常是`HIVE_HOME/lib`;对于Sqoop,这通常是`SQOOP_HOME/lib`。确保这两个JAR文件都放入正确的...

    sqoop2-1.99.5-cdh5.6.0.tar.gz

    Sqoop2是Apache Hadoop生态系统中的一个关键组件,主要用于在Hadoop和传统的关系型数据库管理系统(RDBMS)之间高效地传输数据。标题中的"sqoop2-1.99.5-cdh5.6.0.tar.gz"指的是 Sqoop2 的一个特定版本,这个版本是...

    derby_ui_plugin_1.1.1

    Java 2,也被称为J2SE(Java 2 Standard Edition),是Java平台的一个版本,包含了用于开发和部署桌面应用的API和技术。它为开发者提供了丰富的类库,使得构建复杂的、跨平台的应用程序成为可能。而Derby UI Plugin...

    Sqoop通过Phoenix导hbase数据到hive

    出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.... at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

    load_data_incr_sqoop (2).zip

    【标题】"load_data_incr_sqoop (2).zip" 提供的是一个使用Sqoop进行增量数据加载的示例。Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系数据库与Hadoop之间高效地传输数据。这个压缩包可能包含了执行增量...

Global site tag (gtag.js) - Google Analytics