export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
(2) 配置yarn-site.xml
<configuration></configuration>之间增加如下内容:
<property>
<name>yarn.noCHdemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
(3) 创建和配置mapred-site.xml
默认/etc/hadoop文件夹下有mapred.xml.template文件,复制更改用户名mapred.xml
<configuration></configuration>之间增加如下内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(4) 配置hdfs-site.xml
指定主机上作为namenode和datanode的目录:
/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name
/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/data
<configuration></configuration>之间增加如下内容:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/data</value>
</property>
(5) 格式化hdfs
xiaolan:~ xiaolan$hdfs namenode -format
(6) 启动hadoop
xiaolan:~ xiaolan$cd Applications/hadoop-2.6.0/sbin
xiaolan:sbin xiaolan$./start-dfs.sh
xiaolan:sbin xiaolan$./start-yarn.sh
浏览器打开 http://localhost:50070/,会看到hdfs管理页面
浏览器打开 http://localhost:8088/,会看到hadoop进程管理页面
(7) WordCount验证
创建input目录
xiaolan:hadoop-2.6.0 xiaolan$hadooop fs -mkdir input
fs:hadoop下的文件命令,和普通命令基本一致
拷贝文件
xiaolan:hadoop-2.6.0 xiaolan$hadooop fs -copyFromLocal README.txt input
xiaolan:hadoop-2.6.0 xiaolan$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
xiaolan:hadoop-2.6.0 xiaolan$cat output/*
注:成功看到结果
相关推荐
hadoop2.6.0 hadoop.dll包括winutils.exe
hadoop 2.6.0 eclipse 插件 测试可用
hadoop-2.6.0.tar.gz + ideaIC-13.1.6.tar.gz + jdk-7u75-linux-i586.tar.gz + scala-2.10.4.tgz + spark-1.0.0-bin-hadoop2.tgz
hadoop2.6.0插件+64位winutils+hadoop.dll
spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,
hadoop2.6.0.chm由hadoop的doc制成,包含User Guide、Javadocs等
spark-assembly-1.5.2-hadoop2.6.0 在spark编程中使用的一个jar
hadoop2.6.0 jdk1.7 ant 1.9.4 eclipse最新版 使用说明:放置到eclipse/plugins下 重启eclipse即可
CentOS环境下Hadoop2.6.0分布式部署说明
windows开发需要的依赖包,hadoop2.6.0 winutils.exe、hadoop.dll
自己下载完整的API文档后编译的,Hadoop 2.6.0 API CHM版
Hadoop 2.6.0分布式部署参考手册.doc
hadoop2.6.0版本的eclipse插件,直接把jar包复制到eclipse目录的plugins文件夹下即可。
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
Hadoop2.6.0配置文件参参考 包括core-site.xml、hdfs-site.xml、mapred-stie.xml、yarn-site.xml、slaves
hadoop-2.6.0-src.zip源码
Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-core*.jar 中,而是分成多个 jar,如使用 Hadoop 2.6.0 运行 WordCount 实例至少需三个 jar。
hadoop2.6.0详细安装过程和实例(有截图).doc
在window连接虚拟机Hadoop集群时遇到如下问题: Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable 即缺少 winutils.exe 与 hadoop.dll