windows7配置hadoop环境

主要软件  jdk1.6(安装路径不要有空格）

              Cygwin（安装在NTFS分区下)

              hadoop-0.21.0

 

 

安装Cygwin注意:*** Query: Should privilege separation be used? (yes/no) no

                         *** Query: (Say "no" if it is already installed as a service) (yes/no) yes

 

                        *** Query: Enter the value of CYGWIN for the daemon: [] ntsec

 

当出现have fun 表示成功。

 

启动ssh服务  net start sshd

登录             ssh   localhost    提示密码输入

 

Hadoop配置

Hadoop  用tar命令解压 到E:盘根目录  在Cygwin的etc/profile文件末尾加入：

                                   export HADOOP_HOME=/cygdrive/e/hadoop-0.21.0

                                   export PATH=$PATH:$HADOOP_HOME/bin

 

 

更改hadoop/conf下的hadoop-env.sh   加入 export JAVA_HOME=/cygdrive/d/Java/jdk1.6

      hadoop/bin下的hadoop-config.sh  把189行改为   JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`

 

 

編輯hadoop/conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>

</configuration>
編輯hadoop/conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
編輯/opt/hadoop/conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

 

 

运行hadoop

    打开Cygwin控制台  输入cd  $HADOOP_HOME 进入Hadoop文件夹

                                输入 bin/hadoop namenode –format

                                启动  $ bin/start-all.sh

 

 

 

测试  ：在伪分布式模式上运行

 

          bin/hadoop jar hadoop-*-examples-0.21.0.jar grep input output ‘dfs[a-z.]+’

 

         重开个Cygwin控制台 进入Hadoop文件夹

                               输入 bin/hadoop fs -cat output/*

         可以看到下面内容：

 

 

3       dfs.class

2       dfs.period

1       dfsmetrics.log

1       dfsadmin

1       dfs.servers

1       dfs.replication

1       dfs.permissions

1       dfs.file