`
lookqlp
  • 浏览: 342743 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

搭建sqoop的eclipse调试环境

阅读更多
a、导入到sqoop到eclipse中:下载sqoop 1.3的tar包解压,我们打开build.xml,发现<target name="eclipse" description="Generate Eclipse project">的target,我们只需要执行,ant eclipse,就可以ant脚本就可以给我们生成eclipse的工程文件,我们只需要在eclipse中导入即可。
b、调试sqoop:由于sqoop bin文件夹中的脚本,sqoop来启动java进程,java进程是sqoop脚本的子进程,sqoop脚本中配置了的许多环境变量需要传到sqoop程序中,所以直接,在eclipse中main函数执行,不能执行,所以需要远程调试java进程。
c、如何进行java进程调试:打开bin\sqoop,最后一行,发现,
exec ${HADOOP_HOME}/bin/hadoop com.cloudera.sqoop.Sqoop "$@",执行这句话,说明执行的hadoop脚本,要想进行远程调试,我们需要在hadoop脚本中加入,我们调试参数,我是这样加的,在hadoop脚本中加入,
HADOOP_DEBUG="-Xdebug -Xrunjdwp:transport=dt_socket,address=9991,server=y,su    spend=y",然后在后面的脚本中加入这个选项就行,这样就能远程调试了。
例如,我执行./sqoop import --connect jdbc:mysql://localhost/TEST --username root --password root --table STUDENT,功能把student表中的数据导入到hdfs上,加入调试选项后,进程就会停下来,我们只需要eclipse进行远程调试,就像我们本地代码是一样的,可以打断点,可以看变量的值,很方便,具体eclipse 远程调试可以参照,http://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/,即可。接下就可以学习其源码了。
分享到:
评论

相关推荐

    eclipse-sqoop.

    利用eclipse开发工具 远程调试sqoop一些相关问题描述。

    Sqoop集群搭建.

    Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.

    Linux搭建Sqoop开发环境

    NULL 博文链接:https://mazhilin.iteye.com/blog/2421559

    大数据环境搭建———>Sqoop安装与配置

    大数据环境搭建———&gt;Sqoop安装与配置

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成使用。 一、Hadoop 集群环境搭建 1.1 JDK 安装与配置 在开始搭建 Hadoop 集群环境前,我们需要先安装并配置 JDK。...

    sqoop2 java API从oracle导数据到HDFS开发总结新

    建议操作顺序:sqoop官方环境搭建文档看一遍,然后搭建sqoop2环境,然后熟悉sqoop2-shell命令;然后再做java api 开发。 整个代码逻辑的调用顺序:sqoop client javaApi -&gt;sqoop server -&gt; yarn -&gt;MRjob

    sqoop安装详解以及sqoop介绍

    sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...

    大数据-sqoop.pptx

    配置环境变量加入Sqoop的安装路径: 1、进入存放sqoop-1.4.7.tar.gz安装的目录执行下面的命令 sudo tar -zxvf /home/thinkgamer/下载/sqoop-1.4.7.tar.gz –C sudo mv sqoop-1.4.7/ sqoop 2、编辑/etc/profile文件,...

    sqoop-1.4.7.zip

    运行Sqoop报错:找不到或无法加载主类 org.apache.sqoop.sqoop 将sqoop-1.4.7.jar包放到Sqoop的lib目录下,问题解决。

    sqoop connect sqlserver driver

    sqoop连接sqlserver的驱动工具,没有这个sqoop是连不上滴

    《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf

    《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop...

    sqoop-1.4.7.jar

    sqoop框架开发工具使用的jar sqoop-1.4.7.jar 手动安装到maven &lt;groupId&gt;org.apache.sqoop &lt;artifactId&gt;sqoop &lt;version&gt;1.4.7 &lt;/dependency&gt;

    Sqoop安装与使用

    Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输

    实战Sqoop数据导入及大数据用户行为案例分析

    02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将MySQL数据导入到HDFS(一) 06_Sqoop将MySQL数据导入到HDFS(二) 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL...

    sqoop入门文档

    1.sqoop基本概念 2.配置sqoop环境 3.sqoop的典型应用 4.sqoop的原理

    sqoop-1.4.6-cdh5.13.2.tar

    1、sqoop的解压并配置环境变量: tar -zxvf /bigdata/sqoop-1.4.6-cdh5.13.2.tar.gz -C /usr/local 配置环境变量: vi /etc/profile export SQOOP_HOME=/usr/local/sqoop-1.4.6-cdh5.13.2 export PATH=$PATH:$SQOOP_...

    sqoop常用命令.xlsx

    sqoop的常用指令操作

    sqoop使用.txt

    sqoop数据导出工具

    Hadoop2.0开发环境搭建

    涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建

    sqoop基本概念

    1.sqoop基本概念 2.配置sqoop环境 3.sqoop的典型应用 4.sqoop的原理 5、sqoop环境的配置步骤 6、理解sqoop的原理 7、熟练使用sqoop导入导出数据

Global site tag (gtag.js) - Google Analytics