一、在Ubuntu下创建hadoop组和hadoop用户
增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。
1、创建hadoop用户组
sudo addgroup hadoop
2、创建hadoop用户
sudo adduser -ingroup hadoop hadoop
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
3、为hadoop用户添加权限
输入:sudo gedit /etc/sudoers
回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
二、用新增加的hadoop用户登录Ubuntu系统
su hadoop
三、安装ssh
sudo apt-get install openssh-server
安装完成后,启动服务
sudo /etc/init.d/ssh start
查看服务是否正确启动:ps -e | grep ss设置免密码登录,生成私钥和公钥
ssh-keygen -t rsa -P ""
此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
登录ssh
ssh localhost
退出
exit
四、安装Java环境
查看安装结果,输入命令:java -version,结果如下表示安装成功。
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
五、安装hadoop2.6.2
1、官网下载http://mirror.bit.edu.cn/apache/hadoop/common/
2、安装
解压
sudo tar xzf hadoop-2.6.2.tar.gz
假如我们要把hadoop安装到/usr/local下
拷贝到/usr/local/下,文件夹为hadoop
sudo mv hadoop-2.6.2 /usr/local/hadoop
赋予用户对该文件夹的读写权限
sudo chmod 777 /usr/local/hadoop
3、配置
1)配置~/.bashrc
配置该文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径
sudo gedit ~/.bashrc
该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
执行下面命,使添加的环境变量生效:
source ~/.bashrc
2)编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh
执行下面命令,打开该文件的编辑窗口
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME变量,修改此变量如下
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77
六、WordCount测试
单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功
/usr/local/hadoop路径下创建input文件夹
mkdir input
拷贝README.txt到input
cp README.txt input
执行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.2-sources.jar org.apache.hadoop.examples.WordCount input output
执行 cat output/*,查看字符统计结果
相关推荐
Ubuntu16.04 离线安装openssh所需的安装包deb(修正了安装步骤)
文档为本人亲自编写,由于能力有限,如发现错误,欢迎批评指正。同时,欢迎有安装过程中有问题的小伙伴们一起交流学习。
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
ubuntu16.04中安装使用dockerubuntu16.04中安装使用docker
本文主要是在ubuntu 16.04环境下,如何安装 eclipse。
ubuntu16.04下安装labview方法
ubuntu16.04 安装Hadoop大数据平台CDH 5.14.1,通过虚拟机VMware安装Ubuntu之后,安装Hadoop大数据平台,使用CDH5.14.1
VM中ubuntu16.04安装VM tools的详细步骤,及具体说明和图示
ubuntu16.04下安装tensorflow(GPU版),步骤详细,有部分错误情况解决办法。
Ubuntu 16.04下JDK+Hadoop+Spark环境搭建 Ubuntu 16.04下JDK+Hadoop+Spark环境搭建
这篇文章主要介绍了Ubuntu 16.04 中文版安装基础入门教程(图文),需要的朋友可以参考下 安装Ubuntu16.04 1、进入 live cd 桌面 1)安装盘下载地址:http://releases.ubuntu.com/16.04/,可以用硬盘启动,也可以...
内网环境安装mysql5.7数据库所需deb安装包,libaio1_0.3.110-2_amd64.deb ,libmecab2_0.996-1.2ubuntu1_amd64.deb ,libmysqlclient20_5.7.25-1ubuntu16.04_amd64.deb,libmysqlclient-dev_5.7.25-1ubuntu16.04_amd...
用U盘制作ubuntu16.04系统的一些心得,包含下载网址,安装整理的一些详细过程
ubuntu 16.04 离线安装openssh 执行 sudo dpkg -i openssh-client_7.2p2-4_amd64.deb sudo dpkg -i openssh-sftp-server_7.2p2-4_amd64.deb sudo dpkg -i libwrap0_7.6.q-25_amd64.deb sudo dpkg -i openssh-...
有时候会遇到客户是内网环境的,无法在线通过apt install mysql-server进行安装,本文将提供mysql5.7.33所需的离线安装包和依赖。
ubuntu16.04安装opencv教程,简单快捷,讲解详细明了。
ubuntu 16.04安装tomcat 8.0图文详细教程
ubuntu16.04安装oracle操作文档
ubuntu16.04安装gstreamer的的步骤
Ubuntu 16.04入门手册 Getting Started with Ubuntu 16.04