1、安装JDK
jdk版本最好是1.6以上,可以使用执行命令java -version查看当前JAVA版本号,如果报命令不存在或版本比较低,则需要安装一个高版本的JDK,并在/etc/profile的文件末尾,根据本机JDK实际的安装位置加上以下几行:
export JAVA_HOME=/usr/java/jdk1.7.0_25
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下载hadoop并解压、移动
hadoop.tar.gz安装
上http://www.apache.org/dyn/closer.cgi/hadoop/common/可以选择自己想要的版本,我是用wget命令直接将hadoop下载下来:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
--解压文件,并将解压的文件夹重命名为/opt/hadoop,执行以下命令:
tar -xvf hadoop-1.1.2.tar.gz
mv hadoop-1.1.2 /opt/hadoop
hadoop1.2.1_1.rpm安装
3、修改/opt/hadoop/conf文件夹下的4个配置文件
a) hadoop-env.sh ,在该文件的末尾根据JDK安装目录增加以下几行:
export JAVA_HOME=/usr/java/jdk1.7.0_25
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin
b)core-site.xml ,用以下配置替换文件内容
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>
c) hdfs-site.xml,用以下配置替换文件内容 ,因为单机,所以设置文件只要保存1份,系统默认是3份:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d) mapred-site.xml,用以下配置替换文件内容
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4、执行hadoop环境设置,并格式化hadoop文件系统,执行以下命令
cd /opt/hadoop
source conf/hadoop-env.sh
hadoop namenode -format
5、最后一步:设置ssh免密登陆本机,执行以下命令:
ssh-keygen -t rsa -P "" 输入这个命令后一直回车就可以了
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
安全起见,你可以退出linux再以root登陆进来一下,我是没做这个步骤
6、启动hadoop,执行以下命令:
cd /opt/hadoop
./bin/start-all.sh
7、测试hadoop文件系统
在hadoop上创建文件夹,并上传一个文件,执行以下测试命令:
hadoop fs -mkdir testfolder 创建文件夹
hadoop fs -ls 列出hadoop文件列表
hadoop fs -put /opt/hadoop/*.txt /user/root/testfolder 我把hadoop目录下的所有txt文件上传到hadoop的文件系统里头去
hadoop fs -ls /user/root/testfolder 查看上传的文件列表
8、hadoop还有一个web管理控制台,可以通过http://liunxip地址:50030/来访问
相关推荐
单机版hadoop安装,可以版主你快速入门hadoop,快速安装hadoop
教大家怎么安装Hadoop的一个文档: 1、掌握Linux虚拟机的搭建; 2、掌握Linux的常用命令及操作; 3、熟练掌握Hadoop安装及配置; 4、了解Hadoop的简单应用。
搭建hadoop单机版+hbase单机版+pinpoint整合springboot
Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是...
Linux下Hadoop单机配置,供大家参考学习!
Hadoop2.4linux安装配置过程详细过程。
大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装)
数据科学导论 实验1:常用Linux操作和 Hadoop操作 1、Linux虚拟机安装和操作 2、Hadoop安装和操作 1)创建Hadoop用户 2)SSH登录权限设置 3)安装Java环境 4)单机安装配置 5)伪分布式安装配置
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
整个过程包括了在Linux平台上的安装、配置和测试。需要注意的是,Hadoop支持三种运行模式:单机单节点模式、单机多节点的伪分布模式和多机多节点分布模式。 二、Hadoop和Eclipse的结合 Hadoop可以与Eclipse集成,...
资源名称:RedHat linux下安装hadoop内容简介: hadoop安装有三种模式:单机模式,伪分布式,完全分布式。本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的...
Hadoop安装有三种模式:单机、伪分布式、完全分布式,本文档为完全分布式安装,过程很详细,设计内容包括:在win7上安装虚拟化工具VMware(用于支撑Linux系统),在VMware上安装Ubuntu系统,安装Hadoop前的准备工作...
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装
1、ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的) 2、jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784 ) 3、下载hhadoop...
第7集:安装配置hive-2.1.1 合计8集: ...2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark(进行中
4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系,输出“工厂名——地址...
全部源码dockerfile等,按照readme说明可以使用docker一键安装hadoop集群,需要在linux系统下使用
这是在单机上的Cent-OS 系统中以Hadoop伪分布式形式进行安装和配置的过程,并收集和整理了Hadoop运维常用操作命令。 非常适合没有集群环境的初学者入门使用。
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-17hadoop单机部署.mp4
hadoop,hbase单机,伪分布,全分布部署方式过程和步骤。