`
landyer
  • 浏览: 138731 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

在Eclipse中跑hadoop job failed ,内存溢出

阅读更多

在Eeclipse直接运行运行Nutch的Crawl任务,会出现异常:

Hadoop java.io.IOException: Job failed! at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1232) while indexing

 

刚开始还以为是配置文件写的有问题,在详细检查了配置文件以后,发现配置文件没有问题

查日志,发现为out of memory异常

于是乎,设置VM arguments参数如下:

-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log
-Xms64m -Xmx512m

主要为第二句,设置内存

再启动任务,问题解决,可以正常运行Nutch Crawl任务

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics