如下介绍是 hadoop1 的非 yarn下内存分配设置:
1. 内存
hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置,参数为HADOOP_HEAPSIZE,默认为1000M。
大部分情况下,这个统一设置的值可能并不适合。例如对于namenode节点,1000M的内存只能存储几百万个文件的数据块的引用。
单独设置namenode的内存,可以通过HADOOP_NAMENODE_OPTS来设置。
单独设置secondrynamenode的内存,可以通过HADOOP_SECONDARYNAMENODE_OPTS来设置,使得它与namenode保持一致。
单独设置datanode的内存,可以通过HADOOP_DATANODE_OPTS来设置
单独设置BalancerNode的内存,可以通过HADOOP_BALANCER_OPTS来设置
单独设置jobtracker的内存,可以通过HADOOP_JOBTRACKER_OPTS来设置
此外,tasktracker启动独立的子JVM以运行map和reduce任务,分配给每个子JVM的内存量由mapred.child.java.opts属性(mapred-site.xml)控制,默认值为200M。
星环内存设置:
/etc/hdfs1/conf/hadoop-env.sh hdfs的内存设置如下
export HADOOP_NAMENODE_OPTS="-Xmx32205m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS" 31.5G export HADOOP_SECONDARYNAMENODE_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS" 4G export HADOOP_DATANODE_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS" 4G export HADOOP_BALANCER_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS" 4G
/etc/mapreduce1/conf/hadoop-env.sh mapreduce的内存设置如下
export HADOOP_JOBTRACKER_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS" 4G export HADOOP_TASKTRACKER_OPTS="-Xmx4096m $HADOOP_TASKTRACKER_OPTS" 4G
2. 最大map任务数
一个tasktracker能够同时运行最大map任务数,由mapred.tasktracker.map.tasks.maximum属性(mapred-site.xml)控制,默认为2。
3. 最大reduce任务数
一个tasktracker能够同时运行最大reduce任务数,由mapred.tasktracker.reduce.tasks.maximum属(mapred-site.xml)性控制,默认为2。
如果使用默认每个节点2个map slots, 2个reduce slots时,当来了3个map任务时,第三个map任务会在别的
2个map任务执行完毕后在进入map slots执行。
关于map reduce task个数的设置,以及这两个任务内存的分配设置,在星环配置文件中设置如下:
<property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>24</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>12</value> </property> <property> <name>mapred.child.java.opts</name> 运行map/reduce任务的内存 <value>-Xmx4096m -XX:+UseConcMarkSweepGC -XX:ParallelCMSThreads=1 -XX:ParallelGCThreads=1</value> </property>
个人觉得,上述设置后,每个工作节点 使用的内存为:
datanode系统进程内存4G + tasktracker系统进程内存4G + tasktracker系统进程内存 4G+ 4G + (24+12)*4G = 156G
上述这种设置下, map+reduce任务数 / 工作节点cpu核数(25) = 1.5 倍,
在一个128G内存的工作节点下,上面设置的map/reduce任务内存为4G合适,、
这个工作节点不一定就 会将map reduce任务都占满并运行,大多情况下是占满map,
这样, 4G + (24)*4G = 100G 正好还有 28G的内存给当前工作机器别的任务使用,比如集群通讯等
4. 小总结:计算节点的内存占用量。
默认情况下,一个同时运行了namenode,secondarynamenode和jobtracker的主节点(系统进程),各自使用1000M内存,所以总计使用3000M(2.92G)。
默认情况下,一个从节点运行了如下守护进程:
1个datanode:默认占用1000M内存。
1个tasktracker:默认占用1000M内存。
上面是hadoop系统进程占据内存
=============================================================================
下面是工作进程占用内存,这里使用map task个数的默认值,reduce task个数的默认值
最多2个map任务:2*200M=400M。
最多2个reduce任务:2*200M=400M。
即默认情况下,一个从节点需要使用2800M内存量(2.74G)。
在一个tasktracker上能够同时运行的任务数取决于这台机器上有多少个处理器。
由于mapreduce作业通常是I/O-bound,因此将任务数设定为超出处理器数也有一定道理,可以获得更好的利用率。
经验法则是任务总数(map任务数与reduce任务数之和)与处理器的比值在1和2之间,
即任务总数最少为节点处理器个数,
查看当前机器cpu个数:
[root@chinadaas01 ~]# grep "model name" /proc/cpuinfo | wc -l 24
例如,假设一台8个处理器的工作节点,每个处理器上运行2个进程,
则可以将最大map任务数和最大reduce任务数分别设置成7(因为还有datanode和tasktracker进程,所以不能设置为8),
各个JVM子任务可用内存设置为400M,则总内存开销=1000M(datanode)+1000M(tasktracker)+7*400M(map)+7*400M(reduce)=7600M(7.5G)
这样配置是否合理,还需要考虑是否给这台机器上的其他进程预留了足够内存,否则可能导致各进程在系统中不断切换,导致性能恶化。
可以使用一些工具来监控集群的内存使用情况来进行优化,例如Ganglia工具。
hadoop也可以设置mapreduce操作所能使用的最大内存量,这是分别针对各项作业进行设置的。(详见《hadoop权威指南》117页的“shuffle和排序”小节)
即集群中,工作节点 map/reduce任务 个数和任务内存设置,要参考如下公式:
1 工作节点cpu个数=<任务总个数 <= 工作节点cpu个数的2倍 2 保证工作节点内存 > (datanode)内存+(tasktracker)内存+(map task内存)*(map task总个数)+ (redcue task内存)*(reduce task总个数)
相关推荐
flink-shaded-hadoop-3下载
Ubantu-hadoop2.6.0集群搭建,详细介绍ubuntu下的hadoop搭建过程
spark-3.0.0-bin-hadoop3.2下载安装包
Spark安装包:spark-3.1.3-bin-without-hadoop.tgz
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
# 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包
spark-3.2.0-bin-hadoop3.2.tgz
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
flink-1.0.3-bin-hadoop27-scala_2flink-1.0.3-bin-hadoop27-scala_2
spark-3.0.0-bin-hadoop2.7.tgz 官网下载不了的,需要资源的,可以到这里下载哦
pyspark本地的环境配置包,spark-2.3.4-bin-hadoop2.7.tgz:spark-2.3.4-bin-hadoop2.7.tgz
spark-2.4.0-bin-hadoop2.7
spark-2.3.0-bin-hadoop2.7版本.zip
linux的spark新版本,匹配hadoop2.7版本,spark-3.2.1-bin-hadoop2.7.tgz
spark-assembly-1.5.2-hadoop2.6.0 在spark编程中使用的一个jar
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制...Spark 是一种快速、通用的集群计算系统,用于大规模数据处理。这个文件包含了所有必要的组件,可以直接下载并在 Hadoop 3 环境中使用。
spark-1.6.3-bin-hadoop2.6.tgz
Linux运维-Hadoop集群之ambari实践-13hadoop集群启动.mp4
Linux运维-Hadoop集群之ambari实践-14hadoop集群验证.mp4
spark-2.3.1-bin-hadoop2.7.zip