环境模拟是用cygwin搭建的,可以参考:
Hadoop配置:
hadoop-env.sh
增加:export JAVA_HOME="/cygdrive/d/java/jdk1.6.0_10"
core-site.xml
这个配置中的hadoop.tmp.dir必须是linux路径格式:/temp/hadooptmp(但format后,其实是在d:\temp\hadooptmp目录下)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/temp/hadooptmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://165.163.93.125:9000</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>165.163.93.125:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
注意事项:
1. 将hadoop-1.0.2目录放在cygwin安装目录的用户目录下,如用户名为test,就是:D:\java\cygwin\home\test。
2. 如果想通过putty连接,在/home/test/.ssh输入以下命令后:
#ssh-keygen -t rsa -P '' -f id_rsa
#cat id_rsa.pub >> authorized_keys
#ssh localhost
将.ssh目录下的id_rsa,通过PUTTYGEN.EXE的load功能,load进来后,保存成.ppk后缀的密钥,就可以通过putty免密码登录了。
3. eclipse中运行map/reduce程序时,需要配置参数,因为安装cygwin时,默认创建的用户是cyg_server,
所以program arguments不能只写input output,不然会默认找
/user/cyg_server/input目录,应该写成/user/cyg_server/input /user/cyg_server/output。
分享到:
相关推荐
windows安装需要的Hadoop库文件,windows安装需要的Hadoop库文件.
Hadoop安装配置过程和注意事项
Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop
hadoop-windows下配置文件,用于在windows环境下安装hadoop使用,直接可以使用,省去自己编译的麻烦,支持当前最新的2.7.3版本。
hadoop-3.0.0 windows下配置文件,winutils支持和hadoop.dll等文件,解压取出bin覆盖hadoop-3.0.0\bin即可。不需要cygwin。
windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用
hadoop的默认配置文件,下载记得关注我哦
Hadoop安装和配置,Hadoop安装和配置,Hadoop安装和配置
hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件
windows上安装hadoop教程,详细介绍了安装规则。
hadoop 2.7.4版 在windows下配置文件,用于在windows环境下安装hadoop使用
Hadoop安装过程下的配置文件,包括core-site.xml和yarn-site.xml的配置
Win本地执行Hadoop所需文件,本人博客(邵奈一CSDN)有配套教程:Windows本地安装Hadoop,请自行搜索,谢谢。
Hadoop配置文件说明;4.1.1 Hadoop环境配置;4.1.2 Hadoop守护进程环境配置;4.1.3 Hadoop配置参数格式;4.1.3 Hadoop配置参数格式;4.1.4 获得Hadoop集群全部配置信息;4.2 在Master节点上安装Hadoop;(1)解压缩hadoop-...
windows下安装hadoop的依赖库文件,将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可!大家好好学习!
windows下安装hadoop的依赖库文件 hadoop2.6.5 --- hadoop3.2.1
一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装
hadoop解压到安装目录后,需要配置四个配置文件,才可以执行安装命令