`
lg70124752
  • 浏览: 59688 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

hadoop debug

阅读更多
export HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=878
8,server=y,suspend=y"


可使用 Hadoop 脚本中的 daemonlog 命令查看和修改某个类的日志级别,比如,可通过
以下命令查看 TaskTracker 类的日志级别:
bin/hadoop daemonlog -getlevel ${tasktracker -host}:50075 \
org.apache.hadoop.mapred.TaskTracker
Apache log4j 网址:http://logging.apache.org/log4j/index.html
22

可通过以下命令将 JobTracker 类的日志级别修改为 DEBUG:
bin/hadoop daemonlog -setlevel ${tasktracker-host}:50075 \
org.apache.hadoop.mapred.TaskTracker DEBUG
分享到:
评论

相关推荐

    hadoop lzo debug jar

    hadoop用于解析lzo的包,这个问题在使用presto的时候需要将此包添加到presto的工具包中,以支持lzo格式文件的查询。

    hadoop mapreduce helloworld 能调试

    hadoop mapreduce helloworld 能调试 详细内容请看:http://blog.csdn.net/wild46cat/article/details/53641765

    如何在Windows下的eclipse调试Hadoop2.2.0分布式集群

    NULL 博文链接:https://qindongliang.iteye.com/blog/2078452

    hadoop-0.20.2-cdh3u6

    hadoop-0.20.2-cdh3u6 cloudera

    【Debug跟踪Hadoop3.0.0源码之MapReduce Job提交流程】第一节 Configuration和Job对象的初始化

    【Debug跟踪Hadoop3.0.0源码之MapReduce Job提交流程】第一节 Configuration和Job对象的初始化前言Configuration和Job对象的初始化后记跳转 前言 不得不说,在此前我对阅读源码这件事是拒绝的,一方面也知道自己非读...

    Eclipse下搭建Hadoop2.7.3开发环境

    包括编译好的hadoop-eclipse-plugin-2.7.1.jar包,WordCount示例demo,还有算的上是教程的博客地址,本人eclipse搭建环境用到的东西吧

    BigDataProcess:hadoop+spark加速同态加密

    hadoop+spark加速同态加密 Encrypted.py 加密 Decrypted.py 解密 data文件夹下fee.csv是demo数据 project.config是项目配置文件,用于填写数据路径和结果路径。 Debug为True的情况下使用filepath_local属性,相反...

    CM6.2.1和CDH6.2.1资源下载-CDH6.2.1-Hadoop文档类资源

    enterprise-debuginfo-6.2.1-1426065.el7.x86_64.rpm cloudera-manager-agent-6.2.1-1426065.el7.x86_64.rpm cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64.rpm cloudera-manager-server-6.2.1-1426065....

    word源码java-wordcount:字数

    Debug Hadoop MapReduce Applications with Intellij IDEA and Maven locally, without Hadoop and HDFS environment. 前言 Hadoop可以运行在三种模式下: 单机模式 伪分布模式 完全分布式模式 相信初学者入门Hadoop...

    CDH6.2.0完整安装包网盘下载地址

    enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm RPM-GPG-KEY-cloudera docker-engine-1.7.1-1....

    MapReduce_ItemCF:基于MapReduce实现物品协同过滤算法(ItemCF)

    hadoop三种执行方式MR执行环境有两种:本地测试环境,服务器环境本地测试环境(windows):在windows的hadoop目录bin目录有一个winutils.exe1、在windows下配置hadoop的环境变量2、拷贝debug工具(winutils.ext)到...

    flume+hdfs所需jar.rar

    flume1.9.0+hdfs3.2.2相关jar

    PHP-kafka客户端库(PECL).zip

    $rk->setLogLevel(LOG_DEBUG); $rk->addBrokers("127.0.0.1"); $topic = $rk->newTopic("test"); $topic->consumeStart(0, RD_KAFKA_OFFSET_BEGINNING); while (true) {  $msg = $topic->consume(0, ...

    FileZilla FTP Client 3.9.0.1

    状态: local:D:\我的文档\桌面\oracleasm-2.6.18-164.el5-debuginfo-2.0.5-1.el5.i686.rpm => remote:/disk/oracleasm-2.6.18-164.el5-debuginfo-2.0.5-1.el5.i686.rpm 状态: 文件传输成功,传输了 2,844 字节 (用时...

    word源码java-Project4:这是2020Project4的回购

    12.06更新:使用数据集的局部做测试,项目1~3程序做完,Debug结束 12.08更新:实验报告v1.0 12.10更新:项目4使用自己的算法参加比赛,成绩0.6826410,实时排名100 12.12更新:项目4用spark做完,实验报告写完,...

    Hbase 基本操作类

    Hbase 基本操作类 static { //此处可以使用hbase的配置文件,也可以通过代码来实例化hbase... logger.debug("create hbase connection success"); // System.out.println("create hbase connection success"); }

    《ApacheSpark设计与实现》.zip

    本文主要讨论 Apache Spark 的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是...

    CDH5.16.2完整安装包网盘下载地址

    CDH5.16.2全安装包,包含以下内容: 本人亲自安装测试通过后整理的的cdh5.16.2离线安装教程 CM安装及部署教程.md cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz manifest.json CDH-5.16.2-1.cdh5.16.2.p0.8-el7....

    hbase-debugging:HBase问题的各种测试

    2015-07-31 12:50:24,647 [main] DEBUG org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation - Removed 192.168.1.131:50981 as a location of big_row_1438368609944,,1438368610048....

Global site tag (gtag.js) - Google Analytics