export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
(2) 配置yarn-site.xml
<configuration></configuration>之间增加如下内容:
<property>
<name>yarn.noCHdemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
(3) 创建和配置mapred-site.xml
默认/etc/hadoop文件夹下有mapred.xml.template文件,复制更改用户名mapred.xml
<configuration></configuration>之间增加如下内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(4) 配置hdfs-site.xml
指定主机上作为namenode和datanode的目录:
/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name
/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/data
<configuration></configuration>之间增加如下内容:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/data</value>
</property>
(5) 格式化hdfs
xiaolan:~ xiaolan$hdfs namenode -format
(6) 启动hadoop
xiaolan:~ xiaolan$cd Applications/hadoop-2.6.0/sbin
xiaolan:sbin xiaolan$./start-dfs.sh
xiaolan:sbin xiaolan$./start-yarn.sh
浏览器打开 http://localhost:50070/,会看到hdfs管理页面
浏览器打开 http://localhost:8088/,会看到hadoop进程管理页面
(7) WordCount验证
创建input目录
xiaolan:hadoop-2.6.0 xiaolan$hadooop fs -mkdir input
fs:hadoop下的文件命令,和普通命令基本一致
拷贝文件
xiaolan:hadoop-2.6.0 xiaolan$hadooop fs -copyFromLocal README.txt input
xiaolan:hadoop-2.6.0 xiaolan$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
xiaolan:hadoop-2.6.0 xiaolan$cat output/*
注:成功看到结果
相关推荐
hadoop 2.6.0 eclipse 插件 测试可用
Hadoop是Apache软件基金...以上是对"Hadoop 2.6.0 安装包"的相关知识点的详细介绍,包括Hadoop的基本概念、主要组件、新特性、安装配置流程以及Hadoop生态系统的其他组件。这些知识对于理解和操作Hadoop集群至关重要。
《Spark编程核心组件:spark-assembly-1.5.2-hadoop2.6.0.jar详解》 在大数据处理领域,Spark以其高效、易用和灵活性脱颖而出,成为了许多开发者的首选框架。Spark-assembly-1.5.2-hadoop2.6.0.jar是Spark中的一个...
安装和配置Hadoop在Windows上时,`winutils.exe`也是一个必不可少的工具,它提供了包括设置Hadoop环境变量、启动HDFS和YARN服务等在内的各种功能。 此外,Hadoop 2.6.0还包含许多其他组件,如HBase(一个分布式...
hadoop-2.6.0.tar.gz + ideaIC-13.1.6.tar.gz + jdk-7u75-linux-i586.tar.gz + scala-2.10.4.tgz + spark-1.0.0-bin-hadoop2.tgz
在实际应用中,安装和配置这些组件对于在Windows上搭建本地Hadoop开发环境或进行测试至关重要。用户需要将这些文件放置在正确的路径下,并配置相应的环境变量,例如HADOOP_HOME和PATH,以便系统能够正确识别和调用...
spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,
Spark-assembly-1.5.2-hadoop2.6.0.jar是Apache Spark的一个关键组件,主要用于在Scala环境中开发Spark应用程序。这个特定的版本(1.5.2)与Hadoop 2.6.0兼容,这意味着它可以无缝地运行在支持Hadoop 2.6.0的集群上...
4. **安装与配置**: 在Windows上搭建Hadoop 2.6.0环境时,需要正确配置环境变量,包括HADOOP_HOME,指向Hadoop的安装目录,以及Path变量,包含%HADOOP_HOME%\bin,以便系统能够找到hadoop.dll和winutils.exe。...
标题"Hadoop2.6.0-64-bin.zip"指的是...总的来说,Hadoop 2.6.0-64-bin.zip的使用涉及到Hadoop在Windows上的安装、配置和运行,涵盖分布式计算、文件系统管理和资源调度等多个方面,是大数据处理和分析的重要工具。
1. 安装Java环境:Hadoop依赖Java运行,确保系统已安装JDK 7或更高版本。 2. 下载Hadoop 2.6.0压缩包:可以从Apache官方网站或者在本例中从CSDN下载。 3. 解压Hadoop压缩包:使用`tar -zxvf hadoop2.6.0.tgz`命令...
下载hadoop2.6.0的源码辛苦编译成的,网上没找到编译好现成的,费了几个小时用maven编译好的带源码的jar包,中间还得安装编译protoc,可以直接供eclipse使用。
hadoop2.6.0.chm由hadoop的doc制成,包含User Guide、Javadocs等
用户可以通过解压此文件,编译安装来搭建自己的Hadoop环境,进行分布式计算和数据存储。这个版本还包含了其他相关工具,如Hadoop命令行工具、Hadoop守护进程等,用于管理和操作Hadoop集群。 而hadoop-2.6.0-cdh...
hadoop2.6.0 jdk1.7 ant 1.9.4 eclipse最新版 使用说明:放置到eclipse/plugins下 重启eclipse即可
在本文中,我们将深入探讨如何在Cent OS 6.5操作系统上编译Hadoop 2.6.0的源码,以及如何利用编译生成的lib包目录替换官方下载资源中的对应目录。这个过程对于那些希望自定义Hadoop配置、优化性能或解决特定环境下的...
自己下载完整的API文档后编译的,Hadoop 2.6.0 API CHM版
Hadoop 2.6.0分布式部署参考手册.doc
总结,搭建Hadoop2.6.0在Windows环境下的过程涉及多个步骤,包括下载、解压、配置环境变量、修改配置文件、启动服务以及验证安装。此外,对于开发者而言,集成Hadoop-eclipse插件能提高开发效率。理解并掌握这些步骤...