- 浏览: 187873 次
文章分类
最新评论
mapred-site.xml文件:
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<description>The maximumnumber of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
<description>The maximumnumber of reduce tasks that will be run
simultaneously by a task tracker.
</description>
</property>
每个机子的配置可能不一样,所以可以根据具体配置来设置每个tasktracker的最大map 最大reduce数目。
查看http://localhost:50030/machines.jsp?type=active来检查数量
配置完成后,只需要重启配置发生改变的机子,结合公平调度器来使用,可以最大程度上提升性能
Note:有些人可能在集群上打包运行的时候来指定mapred.tasktracker.map.tasks.maximum来改变一个节点上
map数目,但是这个属性只能通过在mapred-site.xml设置,在客户端配置某些属性,将不会产生影响。
发表评论
-
多表join的一个优化思路
2012-11-20 11:24 1419big table:streamed small table: ... -
好的网站
2012-09-20 22:17 7481. http://www.cnblogs.com/luche ... -
Hadoop 任务流程
2012-09-07 16:18 784简单的来说分为四个阶段:InputFormat/MapTask ... -
java.io.IOException:Typemismatch in key from map:expected org.apache.hadoop.io
2012-08-14 20:53 1421解决办法: jo ... -
HDFS 输入文件避免切分
2012-08-14 20:52 1088自定义InputFormat的子类,并把重载方法 ... -
Hadoop 开启debug信息
2012-08-14 20:51 3958运行hadoop程序时,有时候你会使用一些System. ... -
Hadoop 关于0.95/1.75 * (number of nodes)误解
2012-08-14 20:51 943reduce任务槽,即集群能够同时运行的redu ... -
MapReduce ReadingList
2012-08-09 12:22 6681. http://www.aicit.org/jcit/gl ... -
"hadoop fs 和hadoop dfs的区别"
2012-05-30 15:27 1880粗略的讲,fs是个比较抽象的层面,在分布式环境中,fs就是df ... -
Hadoop 自动清除日志
2012-05-29 18:02 896hadoop集群跑了很多的任务后 在hadoop.log ... -
DistributedCache FileNotFoundException
2012-05-26 18:02 944此时注意两种文件路径表示形式,一个在HDFS中。一一个是本地文 ... -
Cygwin 不支持native lib 不支持使用native lib 提供的压缩
2012-05-25 13:33 1109弄了一个上午hadoop的压缩,一直报错NullPointer ... -
Hadoop 在Window下搭建 守护进程启动问题
2012-05-23 15:27 781hadoop version “0.20.2” java ... -
Cygwin ssh Connection closed by ::1
2012-05-17 21:09 1109在Win7下Cygwin中,使用sshlocalhost命令, ... -
Eclipse:Run on Hadoop 没有反应
2012-05-10 20:11 850hadoop-0.20.2下自带的eclise插件没有用,需要 ... -
Hadoop SequcenceFile 处理多个小文件
2012-04-29 11:04 3838利用sequenceFile打包多个小文件,MapFile是s ... -
Hadoop 自定义计数器
2012-04-22 09:04 1454public static class mapper e ... -
MapReduce : 新版API 自定义InputFormat 把整个文件作为一条记录处理
2012-04-10 21:47 2263自定义InputFormat 新版API 把真个文件当成 ... -
MapReduce : Combiner的使用(以平均数为例) 并结合in-mapper design pattern 实例
2012-04-10 18:51 4294没有使用Combiner 和 in-mapper des ... -
Hadoop NameNode backup
2012-03-24 18:12 822NameNode: <property> ...
相关推荐
hadoop中map/reduce自学资料合集
Hadoop-MindMap-思维导图-读书笔记
Hadoop的MapTask类源代码分析
Hadoop-MindMap 技术全解 从安装配置,模块分析,到实战
讲述了Windows平台的Hadoop安装... 最后,以最简单的求和为例,剖析Hadoop的Map/Reduce工作机制,对于初学Hadoop及Map/Reduce的读者有很大的帮助。相信通过最简单的求和为例,读者可步入Hadoop的Map/Reduce开发者行列。
hadoop开发文档
第02节:hadoop精讲之map reduce原理及代码.rar
hadoop的map reduce 学习手册,很实用
Hadoop Map Reduce教程,介绍hadoop map/reduce框架的各个方面
java操作hadoop之mapreduce计算整数的最大值和最小值实战源码,附带全部所需jar包,欢迎下载一起学习。
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
Hadoop Map-Reduce教程,hadoop,mapreduce
hadoop,指南,map,reduce,hdfs,分布式,云计算,各部分都有详细说明
Hadoop学习总结之三:Map-Reduce入门
Hadoop中的MapTask辅助类的源代码分析(II)
hadoop map reduce 的中文简易教程,能轻松帮助普通用户不需了解太多hadoop底层知识就能实现分布式编程,很好的入门教程。
Hadoop学习总结之四:Map-Reduce的过程解析
人脸识别,车辆识别,一人一档,一车一档 hadoop map reduce hbase
展示使用MR方式实现表连接的代码示例。利用HIVE PIG之类的高层工具也可以实现,本代码旨在展示手工连接的流程
Hadoop Map Reduce 教程.doc