之前的一篇blog里讲述了hadoop单机版调试的方法，那种调试只限于单机运行hadoop命令而已，对于运行整个hadoop环境而言是不可取的，因为hadoop会开启多个java进程，如果统一为一个端口启动，则启动会报错说端口被占用，同时对于jdwp agent而言也只能加载一次，故调试时单机只能有一个java进程开启debug模式，其实这个也足够了。
通过分析hadoop的启动脚本不难发现，每个java进程的启动参数可以在hadoop-env.sh这个文件里传递进去，故为了增加调试选项可以在这个文件里增加如下几段：
-
HADOOP_NAMENODE_OPTS=
"-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y"
-
#HADOOP_SECONDARYNAMENODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8789,server=y,suspend=y"
-
#HADOOP_DATANODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8790,server=y,suspend=y"
-
#HADOOP_BALANCER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8791,server=y,suspend=y"
-
#HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y"
-
#HADOOP_TASKTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8793,server=y,suspend=y"
这里因为是单机运行一些java进程，故这里只保留一个进程开启debug模式，当有多个机器单独运行每个java进程时，可以按照功能来打开相对应的java debug模式。
更多信息请查看 java进阶网 http://www.javady.com
分享到：
相关推荐
Eclipse中远程调试Hadoop必备资料:hadoop-eclipse-plugin-1.1.1和hadoop-core-1.0.2-modified；已经在eclipse-jee-juno-SR1-win32-x86_64和hadoop1.1.1 下测试过。
hadoop-eclipse-plugin-2.7.2.jar，hadoop远程调试eclipse插件。
hadoop2.6(x64)Win7上远程调试hadoop 集群
eclipse远程调试出现Exception in thread “main” java.lang.UnsatisfiedLinkError,eclipse4.5远程调试hadoop2.7.4依赖包 ,方法 将匹配的hadoop.dll、winutils.exe、libwinutils.lib拷贝到C:\Windows\System32 详情...
eclipse远程调试hadoop，报Could not locate executable null\bin\winutils.exe ，将winutils.exe放入到hadoop的bin目录下，报UnsatisfiedLinkError错，将 hadoop.dll放入C:\Windows\System32下
windows远程执行Linux服务器上的hadoop集群，本地调试所需要的hadoop.dll、winutils.exe包，让你的开发起飞。
主要介绍了eclipse/intellij idea 远程调试hadoop 2.6.0的相关资料,需要的朋友可以参考下
本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的朋友可以过来看看。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 资源太大，传百度网盘了，...
解决windows下远程调试hadoop权限问题（ ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:）重新编译了hadoop-...
eclipse远程调试hadoop时 报出eclipse Hadoop Failed to set permissions of path错误 修改hadoop core包中FileUtil java文件 里面有checkReturnValue方法 将代码throw new IOException "Failed to set ...
针对windows下eclipse远程调试hadoop的权限问题而重新编译的hadoop-core-1.1.1.jar文件，已经测试通过。 原错误提示为：12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for ...
hadoop-eclipse-plugin-2.8.2.jar hadoop eclipse环境开发调试所用
解决由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题(附使用说明)。亲测2.9.2/2.9.1均可用
使用远程调试器 作业调优 分析任务 MapReduce的工作流 将问题分解成MapReduce作业 运行独立的作业 第6章 MapReduce的工作机制 剖析MapReduce作业运行机制 作业的提交 作业的初始化 任务的分配 ...
Windows下Eclispe远程开发Mapreduce程序
Hadoop2.9.2-Window相关插件，适用于64位Windows系统，包含winutils.exe,hadoop.dll等，解决由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题
使用远程调试器 作业调优 分析任务 MapReduce的工作流 将问题分解成MapReduce作业 运行独立的作业 第6章 MapReduce的工作机制 剖析MapReduce作业运行机制 作业的提交 作业的初始化 任务的分配 任务的执行 进度和状态...
在Window 7环境下，配置远程调试Hadoop集群的开发环境必须的文件，经本人测试，可成功链接，并附上测试代码
windows 下远程调试hadoop，运行报空指针，需要导入hadoop.dll winutils.exe两个依赖到hadoop安装目录的bin中
适合小白看着视频全程教你如何安装Hadoop，以及Hadoop的相关调试，安装的脚本直接无脑复制。 Hadoop的安装大概可以分为： 1.虚拟机的安装 2.安装前有关映像文件的下载，Hadoop一般采用Ubuntu平台，简介易操作。 3....