参数 取值 备注
fs.default.name | NameNode 的URI。 | hdfs://主机名/ |
dfs.hosts/dfs.hosts.exclude | 许可/拒绝DataNode列表。 | 如有必要,用这个文件控制许可的datanode列表。 |
dfs.replication | 默认: 3 | 数据复制的分数 |
dfs.name.dir |
举例:/home/username/hadoop/namenode 默认:/tmp |
当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。 |
dfs.data.dir |
举例:/home/username/hadoop/datanode 默认: /tmp |
当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。 |
mapred.system.dir | Map/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。 | 这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问。 |
mapred.local.dir | 本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方。 | 多路径有助于利用磁盘i/o。 |
mapred.tasktracker.{map|reduce}.tasks.maximum | 某一TaskTracker 上可运行的最大Map/Reduce任务数,这些任务将同时各自运行。 | 默认为2(2个map和2个reduce),可依据硬件情况更改。 |
mapred.job.tracker | JobTracker 的主机(或者IP)和端口。 | 主机:端口 。 |
mapred.hosts/mapred.hosts.exclude | 许可/拒绝TaskTracker列表。 | 如有必要,用这个文件控制许可的TaskTracker列表。 |
hadoop.job.history.user.location |
默认:mapred.output.dir/_logs/history 也可以设置为none 来停用 |
作业的历史文件记录目录 |
conf/slaves 写入全部的slave的机器名或者IP
nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。
hadoop 默认的block 是 64MB
在M/R优化的时候可以通过修改一些配置文件的值来提高性能
相关推荐
Hadoop常见异常,以及hadoop配置,等资料
详细的Hadoop集群搭建配置(基于centos虚拟机),以及使用过程中遇到的各种异常解决方案
NULL 博文链接:https://shirley-ren.iteye.com/blog/1174622
hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化
1、集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 网络配置 1.4 所需软件 1.5 VSFTP上传 2、SSH无密码验证配置 2.1 安装和启动SSH协议 ... 4.2 配置hadoop 4.3 启动及验证 4.4 网页查看集群 5、常见问题FAQ
在hadoop系统运行过程中常见问题解决方法
Hadoop高可用整套配置与详细问题解决 core-site hdfs.site yarn-site 如:namenode启动失败 DFSZK启动失败 防火墙开关等
04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs--HA测试.avi 07-hdfs--动态增加节点和副本数量管理.avi 08-HA的java api访问要点.avi 09-hive入门.avi 第六天 hbase hive 01-...
windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用
启动执行和异常检查17#通过界面查看集群部署部署成功18#通过执行 Hadoop pi 运行样例检查集群是否成功19#安装部署 常见错误207. Hadoop 集群系统 配置安装配置20#检查node节点linux 基础环境是否正常,参考 [ linux ...
本文将向您展示如何从零开始在 Linux 上搭建 Hadoop,以及如何配置 Hadoop 的必备文件。 一、选择 Linux 发行版 选择正确的 Linux 发行版是为 Hadoop 集群配置环境的重要一步。Ubuntu、CentOS、Debian 等都是常见的...
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
10-hadoop集群搭建的无密登陆配置.avi 第二天 hdfs的原理和使用操作、编程 01-NN元数据管理机制.avi 02-NN工作机制2.avi 03-DN工作原理.avi 04-HDFS的JAVA客户端编写.avi 05-filesystem设计思想总结.avi ...
全备的hadoop安装指南包括: jdk的安装配置 ssh安装配置 hadoop的安装配置 常见问题及解决
Hadoop HA 集群部署模式是最常见的生产环境上的安装部署方式。 Hadoop HA 包括:NameNode HA 和 ResourceManager HA。 DataNode和NodeManager本身就是被设计为高可用的,不用对它们进行特殊的高可用处理 。 Hadoop ...
从配置Linux IP 到hadoop集群安装的详细步骤附带linux命令,最后总结安装中常见的错误,以及处理办法。
win7安装hadoop及eclipse调试mapreduce的配置方法,把常见的问题都列举出来并提出解决方案
背景和基本原理1 跳跃中的Hadoop1.1 什么是Hadoop 1.1.1 Hadoop 的核心组件1.1.2 Hadoop 生态圈1.1.3 物理架构1.1.4 谁在使用...1.2.1 下载并安装Hadoop1.2.2 Hadoop 的配置1.2.3 CLI 基本命令...