Hadoop 单机版本/伪分布式配置

Hadoop目录下

单机版本：

1.conf/hadoop-env.sh中添加环境变量

export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45

 2.conf/core-site.xml中定义如下内容 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>  
  <name>fs.default.name</name>  
  <value>hdfs://localhost:9000</value>   
 </property>
</configuration>

3.conf/hdfs-site.xml文件中

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/xx/hadoop-1.0.4/datalog1,/home/xx/hadoop-1.0.4/datalog2</value> 
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/xx/hadoop-1.0.4/data1,/home/xx/hadoop-1.0.4/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4.mapred-site.xml

 

<configuration>
<property>   
  <name>mapred.job.tracker</name>  
  <value>localhost:9001</value>   
 </property>
</configuration>

 5.格式化分布式文件系统

./bin/hadoop namenode -format

6.启动hadoop

 ./bin/start-all.sh 

 7.查看进程  jps

3541 SecondaryNameNode
3639 JobTracker
3846 TaskTracker
3105 NameNode
3333 DataNode

 8.关闭

bin/stop-all.sh

 
伪分布式版本

上面的配置从网上找到的，但是感觉像伪分布式。待确认。伪分布式中仅需要将hdfs-site.xml中配置dfs.replication结点的值为1,其它属性不需要，即可。core-site.xml与mapred-site.xml同上.

http://localhost:50030/  MapReduce 的WEB页面

http://localhost:50070/  HDFS的WEB页面

 

HDFS   bin/start-dfs.sh

MapReduce   bin/mapred.sh