1、SSH安装
1,设置ssh无密码登录
~# ssh-keygen
输入上面的命令后一路回车即可。
2,拷贝生成的密码文件,默认生成的密码文件在用户名目录下的.ssh目录下
~# cd ~/.ssh
~# cp id_rsa.pub authorized_keys
3、测试是否可以无密码登录
~# ssh localhost
~# who
2、JDK安装
1、在usr/下建立java目录,将Jjdk-6u31-linux-i586.bin复制到"usr/java"目录
2、修改jdk-6u31-linux-i586.bin权限
chmod 755 jdk-6u31-linux-i586.bin
3、安装jdk-6u31-linux-i586.bin
./jdk-6u31-linux-i586.bin
4、删除安装文件jdk-6u31-linux-i586.bin
rm -rf jdk-6u31-linux-i586.bin
5、安装完成后配置环境变量
在“/etc/profile”文件的尾部添加以下内容
export JAVA_HOME=/usr/java/jdk1.6.0_31/
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
使配置生效
source /etc/profile
然后输入
java -version
验证JAVA是否安装成功。
三、安装HADOOP
1、在usr下建立hadoop目录,将hadoop1.0.tar上传到hadoop目录
2、修改hadoop权限
chmod 755 hadoop1.0.tar
3、解压安装
tar -zxvf hadoop1.0.tar
4、删除原文件hadoop1.0tar
rm -rf hadoop1.0.tar
5、配置hadoop
配置“/etc/profile”
在profile的文件尾添加如下文件
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
保存并执行下面的命令
source /etc/profile
配置hadoop配置文件
1)配置hadoop-env.sh
该“hadoop-env.sh”文件位于“/usr/hadoop/conf”目录下。
在文件的末尾添加下面内容。
# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31
2)配置core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
(备注:请先在/usr/hadoop 目录下建立tmp 文件夹)
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.2:9000</value>
</property>
</configuration>
3)配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
(备注:replication 是数据副本数量,默认为3,salve少于3台就会报错)
</property>
<configuration>
4)配置mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.1.2:9001</value>
</property>
</configuration>
5)配置masters文件
修改localhost为Master.Hadoop
6)配置slaves文件(Master主机特有)
去掉“localhost”,每行只添加一个主机名,把剩余的Slave主机名都填上。
例如下面的形式
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop
四启动hadoop
1)格式化HDFS文件系统
hadoop namenode -format
2)启动hadoop
在启动的时候关闭所有防火墙
service iptables stop
使用下面的命令启动
./start-all.sh
查看是否启动成功
jps
可以通过以下启动日志看出,首先启动namenode 接着启动datanode1,datanode2,…,
然后启动secondarynamenode。再启动jobtracker,然后启动tasktracker1,tasktracker2,…
通过网页查看
1)访问“http:192.168.1.2:50030”
2)访问“http:192.168.1.2:50070”
相关推荐
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
flink整合Hadoop,注意:以 Yarn 模式部署 Flink 任务时,要求 Flink 是有 Hadoop 支持的版本,Hadoop 环境需要保证版本在 2.2 以上,并且集群中安装有 HDFS 服务。
遇到的问题: ERROR security.UserGroupInformation: PriviledgedActionException as:chuck cause:java.io.IOException: Failed to set permissions of path: ...结论: 已解决我的问题,可以正常访问hadoop集群。
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
windows下 eclipse操作hadoop集群 插件
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
linux 系统为centos6.5 hadoop版本:2.5.0 cdh3.5.6环境下使用
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计...
Hadoop 是一种分析和处理大数据的软件平台,是一个用 Java 语言实现的 Apache 的开源软件框架,在大量计算机组成的集群中实现了对海量数据的分布式计算。 Hadoop 采用 MapReduce 分布式计算框架,根据 GFS 原理开发...
Hadoop 架构是一个开源的、基于 Java 的编程框架,设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台,能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 ...
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门,如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置:hadoop-env.sh(hadoop运行环境...
用于在windows环境下,连接上hadoop集群环境,方便本地代码调试功能