`
goon
  • 浏览: 186014 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop问题记录1

 
阅读更多

eclipse调试时遇到如下问题:

12/02/09 10:06:30 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
12/02/09 10:06:30 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/02/09 10:06:30 INFO mapred.FileInputFormat: Total input paths to process : 2
12/02/09 10:06:30 INFO mapred.JobClient: Running job: job_local_0001
12/02/09 10:06:30 INFO mapred.FileInputFormat: Total input paths to process : 2
12/02/09 10:06:30 INFO mapred.MapTask: numReduceTasks: 1
12/02/09 10:06:30 INFO mapred.MapTask: io.sort.mb = 100
12/02/09 10:06:31 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
12/02/09 10:06:31 INFO mapred.JobClient:  map 0% reduce 0%
12/02/09 10:06:31 INFO mapred.JobClient: Job complete: job_local_0001
12/02/09 10:06:31 INFO mapred.JobClient: Counters: 0
java.io.IOException: Job failed!
	at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
	at com.hadoop.test.Test1.main(Test1.java:50)

 解决:

修改java类的vm内存run——>config——>vm argument,添加参数: -Xmx1024m。也可以修改hadoop-env.sh中的HADOOP_HEAPSIZE配置

分享到:
评论

相关推荐

    基于Hadoop的海量交易记录查询系统研究

    本文通过对 Hadoop 的深入分析和研究,根据交易记录查询系统的需求,设计并实现了 基于 Hadoop 的海量交易记录查询系统。首先对 Hadoop 及其相关技术做了研究,着重介绍了 Hadoop 云计算框架中的 HDFS 分布式文件...

    hadoop作业记录档案

    "hadoop作业记录档案"可能指的是在Hadoop生态系统中执行的各种作业(jobs)的详细日志和记录,这些记录对于理解作业的运行状态、诊断问题以及优化性能至关重要。 Hadoop的核心组件包括HDFS(Hadoop Distributed ...

    hadoop 索引相关记录

    标题中的“hadoop 索引相关记录”指的是在Hadoop MapReduce框架中与数据索引相关的技术。Hadoop是一个开源分布式计算框架,主要用于处理和存储大规模数据集。MapReduce是其核心计算模型,它将大数据处理任务分解为两...

    实验1-安装Hadoop1

    **实验1-安装Hadoop1**\n\n在IT领域,大数据处理是一个不可或缺的部分,而Hadoop作为开源的大...记得在实验报告中详细记录你的步骤和遇到的问题,以及解决问题的方法,这对提高你的实践技能和问题解决能力大有裨益。

    Hadoop 分析统计学生考试成绩1

    * hadoop.log:日志记录文件 * database.sql:建立数据库的脚本 * input:格式化后的 Hadoop 的输入文件 * output:输出文件 * raw:存放原始数据的文件夹 三、代码文件说明 主要的项目代码文件包括: * src/main...

    hadoop学习记录笔记

    Hadoop是由Apache基金会开发的一个开源框架,旨在处理和存储海量数据。它提供了分布式存储和处理大规模数据集的能力,成为大数据领域的基石。Hadoop的核心组件包括Hadoop分布式文件系统(HDFS)和MapReduce编程模型...

    hadoop安装记录

    虽然描述部分为空,但我们可以从“博文链接”推测这是一篇关于个人或作者在实际操作中记录Hadoop安装步骤的文章,可能包含了遇到的问题、解决方案以及注意事项。 【标签】:“源码 工具” 这里的“源码”标签可能...

    VMware7.1虚拟机+Ubuntu12.04搭建hadoop环境记录

    小白搭建hadoop完全分布式环境笔记,步骤详细,原创

    大数据之路选择Hadoop还是MaxCompute?Hadoop开源与MaxCompute对比材料

    MaxCompute是阿里云推出的一种大规模分布式计算服务,主要用于解决海量数据的存储和计算问题。相比Hadoop,MaxCompute更加侧重于云服务模式,提供了一系列的API接口供用户调用,降低了使用门槛。 - **整体介绍**:...

    基于hadoop的web访问记录分析

    在这个项目“基于Hadoop的Web访问记录分析”中,我们将探讨如何利用Hadoop来分析Web服务器的日志文件,提取出有价值的信息。 首先,我们要了解Hadoop的核心组件:HDFS(Hadoop Distributed File System)和...

    Hadoop实战大数据大作业

    ### Hadoop实战大数据大作业——基于Hadoop的单词统计系统 #### 一、课题简介与研究意义 **课题简介:** 本课题旨在设计一个简单的基于Hadoop平台进行的单词统计系统。该系统需要自行搭建Hadoop伪分布式架构,并...

    使用hadoop实现WordCount实验报告.docx

    实验报告的目的是详细记录使用Hadoop在Windows环境下实现WordCount应用的过程,包括环境配置、WordCount程序的实现以及实验结果分析。本实验旨在理解Hadoop分布式计算的基本原理,并熟悉Hadoop集群的搭建与管理。 #...

    hadoop2lib.tar.gz

    例如,Hadoop Common,它是所有Hadoop模块的基础,提供了一些通用的工具和服务,如网络通信、日志记录、配置管理等。Hadoop2lib还可能包含Hadoop MapReduce库,这是实现MapReduce任务的关键,它提供了编写和执行...

    基于hadoop的电信客服数据分析+文档

    总的来说,这个基于Hadoop的电信客服数据分析项目展示了如何利用大数据技术解决实际业务问题。通过Hadoop、HBase和Kafka的组合,我们可以高效地处理、分析和传递海量通话记录数据,从而为电信公司提供深度洞见,优化...

    hadoop 实战 dev_03

    1. Hadoop系统:Hadoop是一个能够存储和处理大量数据的分布式系统框架,是大数据技术的重要组成部分。它主要包括HDFS(Hadoop Distributed File System,分布式文件系统)和MapReduce编程模型。Hadoop能够处理各种...

    hadoop常用算法例子

    问题陈述:需要从大量数据中提取出满足某个条件的记录,或者将每条记录传换成另外一种形式。 解决方案:使用Mapper逐条进行操作,输出需要的值或转换后的形式。 应用:数据仓库、数据挖掘 5. 分布式任务执行 ...

    基于hadoop实现的百度云盘.zip

    7. **监控与日志**:设置监控系统和日志记录,以便于追踪系统性能,发现并解决问题。 8. **负载均衡**:优化资源分配,实现任务调度的负载均衡,提高整体系统效率。 总的来说,"基于hadoop实现的百度云盘"项目是一...

    hadoop-1.2.1运行WordCount

    1. **停止所有Hadoop进程**: - 执行`stop-all.sh`脚本停止所有的Hadoop守护进程,包括NameNode、DataNode以及JobTracker。 2. **清理HDFS数据**: - 删除HDFS中的所有数据文件,可以通过命令`hadoop fs -rmr /`...

    Hadoop学习时间轴

    - **代码定制化**:针对特定的需求或问题,可以考虑对Hadoop和Hive的源代码进行定制化的修改和扩展。 综上所述,Hadoop的学习不仅涉及到理论知识的理解和掌握,还需要通过大量的实践来加深理解和提高技能水平。同时...

Global site tag (gtag.js) - Google Analytics