1.系统(本人使用虚拟机):VMware-workstation-full-7.1.2-301548
ubuntu-10.10-desktop-i386
软件包: jdk-6u31-linux-i586.bin
hadoop-0.20.205.0.tar.gz
2.JDK安装:
1)将jdk-6u31-linux-i586.bin复制到安装目录,比如:/usr/java/
2)cd /usr/java
3)chmod 777 jdk-6u31-linux-i586.bin
4)./jdk-6u31-linux-i586.bin
5)设置JAVA_HOME,vi /etc/profile
6)在profile文件中加入:JAVA_HOME=/usr/java/jdk1.6.0_31
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
7)保存/etc/profile并退出,source /etc/profile
8)执行java -version
3.Hadoop安装
1)将hadoop-0.20.205.0.tar.gz复制到安装目录,比如:/usr
2)cd /usr
3)tar zxf hadoop-0.20.205.0.tar.gz
4)进入hadoop的conf目录
5)vi hadoop-evn.sh,将JAVA_HOME设置为JDK安装目录
6)设置HADOOP_INSTALL环境变量,vi /etc/profile
7)在profile中加入:HADOOP_INSTALL=/usr/hadoop-0.20.205.0
PATH=$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$PATH
export JAVA_HOME HADOOP_INSTALL PATH
8)保存profile文件并退出,source /etc/profile
9)执行hadoop version
4.配置hadoop伪分布模式
1)修改/config/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost/</value> </property> </configuration>
2)修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
3)修改mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> </configuration>
4)创建一个基于空口令的SSH密钥,以启动无密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
5)测试步骤4)是否成功,ssh localhost,如成功则无需键入密码
6)格式化HDFS文件系统,hadoop namenode -format
7)启动进程
start-dfs.sh
start-mapred.sh
8)查看启动是否成功
a.查看logs目录下的日志文件
b.通过web界面:http://localhost:50030/ (查看jobtracker)
http://localhost:50070/ (查看namenode)
c.通过java的jps命令
9)终止进程
stop-dfs.sh
stop-mapred.sh
- 大小: 6 KB
- 大小: 10 KB
- 大小: 6.1 KB
- 大小: 8.7 KB
- 大小: 14.6 KB
分享到:
相关推荐
CentOS下安装Apache Hadoop(案例).pdf 学习资料 复习资料 教学资源
Spring Data for Apache Hadoop API。 Spring Data for Apache Hadoop 开发文档
SQL for Apache Hadoop, SQL for Apache Hadoop, SQL for Apache Hadoop, SQL for Apache Hadoop
Pro apache hadoop 原版书
带图带说明:Hadoop简介及Apache Hadoop三种搭建方式
Apache Hadoop YARN.pdf完整电子版
Apache Hadoop is a widely used distributed data platform. It enables large datasets to be efficiently processed instead of using one large computer to store and process the data. This book will get ...
apache hadoop v2.7.0官方最新版
Pro Apache Hadoop, 2nd Edition是最新介绍Hadoop2.x的资料
Moving beyond MapReduce and Batch Processing with Apache Hadoop™ 2
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2 完整版哦,绝对清晰,不是扫描的mobi格式电子书,请使用电子书库calibre (http://calibre-ebook.com/download) 打开。
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。但是这里的 Hadoop 是广义...
Apache Hadoop (hadoop-3.3.3.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千...
Apache Hadoop十周岁:展望前方.pdf
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop 分布式文件系统(HDFS,Hadoop Distributed Filesystem)和 MapReduce(Google MapReduce 的开源实现)为核心的 Hadoop 为用户提供了系统底层细节...
Java-org.apache.hadoop,Java-org.apache.hadoop,Java-org.apache.hadoop
Apache Hadoop (hadoop-3.2.3.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千...
Apache Hadoop2.x 安装入门详解 PDF
Apache Hadoop YARN is the modern distributed operating system for big data applications. It morphed the Hadoop compute layer to be a common resource-management platform that can host a wide variety of...