hadoop有三种运行方式:单价模式,伪分布式,完全分布模式
在此介绍下完全分布模式。
安装前应先将VMware和linux系统安装好(我安装的VMware 9.0 和redhat 5),
安装VMware Tools,调通网络,桥接,NAT都行,我用是桥接方式。
########################################################################
步骤:
1、配置hosts文件
2、建立hadoop运行账号
3、配置ssh免密码连入
4、下载并解压hadoop安装包
5、配置namenode,修改site文件
6、配置hadoop-env.sh文件
7、配置masters和slaves文件
8、向各个节点复制hadoop
9、格式化mamenode
10、启动hadoop
11、使用jps检验各个后台进程是否成功启动
########################################################################
1、配置hosts文件,修改所有节点的/etc/hosts,使彼此之间都能把主机名解析为IP
[root@red1 ~]# sudo gedit /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost.localdomain localhost ::1 localhost2.localdomain2 localhost2 172.21.42.84 red1 172.21.42.82 red2
2、在所有的节点上都建立运行hadoop的账号
[root@red1 ~]# useradd hadoop [root@red1 ~]# passwd hadoop
3、ssh配置,注意要以hadoop用户的主目录下进行操作,每个节点相同
[hadoop@red1 ~]$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Created directory '/home/hadoop/.ssh'. Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 9b:82:ea:58:b4:e0:35:d7:ff:19:66:a6:ef:ae:0e:d2 hadoop@red1 [hadoop@red1 /]$ cd /home/hadoop/.ssh/ [hadoop@red1 .ssh]$ ls id_rsa id_rsa.pub known_hosts [hadoop@red1 ~]$ cp id_rsa.pub authorized_keys
同理:在其他节点上进行相应操作。
分发ssh公钥,把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后可以实现免密码彼此ssh连入
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAmzXjSVazkfYs6WDxSnopXf41mKDMKj D4m7ZwH9+peZVQAWIzGAlkVn6Osn/dSZAKhdPqf8dTQfgtw8BkgapqCq3dWCImeEOl T6Hw452+AH55BiDnzleuOLueh+itq639DCFty8zMSj0H14GVc0KMfsQxnJqsCfF7EY pwVWzmFI8bbMeoynQA1m5QIJEJC8AsLKy8/MZhy9GaGKTv/BkDwpkbF1LsLew7Mg35 /ddeX7z8Fsx7nS2rko8/rAxRO47JEFVw2VXVeWfdPPXNVbTXppu0StV+Pdaffell6D jKizHf8aX87MRHFK+8DiTBD5+BsZsmw9ynbjJasxMl05Kxnw== hadoop@red1 ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAn86HahOIgUA7FeIwgfvJx8IdvRFuCy x8MEdFqhFThLBE49RoG0wkmc06j2uSb/Kq9xTrIQrev0dP0i9QPUCBn8DaQ80AylE8 uqOPivXqFLd9Qni/mAqASaOkHM5SWU8fPJAZIljq5nJ+zSUXC381isqwYkX63lPJZu traCglEy6yJoqfvvR5TKrAm9nLNCl3SYRoH/nT1+Vt+ywVaaFkTzvZUbiAs54krz3E on8n8tFAJvlMAvZdmoy+s/bBUTTsR4SPwG7teRXTrJBD2zHAJnzVMu8AJe3TipyXBh PlT5Gfu8RgfhTMx/S2rCIfezqi4pc5vFKY5u0UJdbF7cTC6w== hadoop@red2
4、下载hadoop压缩包并解压
[hadoop@red1 ~]$ tar -zxvf hadoop-0.20.2.tar.gz /home/hadoop/
5、修改配置文件
(1) 修改core-site.xml文件
[hadoop@red1 ~]# cd /home/hadoop/hadoop-0.20.2/conf/ [hadoop@red1 conf]# sudo gedit core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://red1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-0.20.2/tmp</value> </property> </configuration>
(2) 修改mapred-site.xml
[hadoop@red1 conf]# sudo gedit mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>red1:9001</value> </property> </configuration>
(3) 修改 hdfs-site.xml 文件
[hadoop@red1 conf]# sudo gedit hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
6、配置hadoop-env.sh文件
在hadoop-env.sh文件中配置jdk的环境变量
# The java implementation to use. Required. # export JAVA_HOME=/usr/lib/j2sdk1.5-sun export JAVA_HOME=/usr/java/jdk1.6.0_03
7、配置masters和slaves文件
masters文件中添加 red1
[hadoop@red1 conf]$ sudo gedit masters
slaves文件中添加 red2
[hadoop@red1 conf]$ sudo gedit slaves
8、向各个节点复制hadoop
[hadoop@red1 conf]$ scp -r /home/hadoop/hadoop-0.20.2 red2:/home/hadoop
9、格式化mamenode
[hadoop@red1 hadoop-0.20.2]$ bin/hadoop namenode -format 14/01/21 16:35:09 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = red1/172.21.42.84 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.2 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010 ************************************************************/ 14/01/21 16:35:09 INFO namenode.FSNamesystem: fsOwner=hadoop,hadoop 14/01/21 16:35:09 INFO namenode.FSNamesystem: supergroup=supergroup 14/01/21 16:35:09 INFO namenode.FSNamesystem: isPermissionEnabled=true 14/01/21 16:35:09 INFO common.Storage: Image file of size 96 saved in 0 seconds. 14/01/21 16:35:09 INFO common.Storage: Storage directory .../hadoop-hadoop/dfs/name has been successfully formatted. 14/01/21 16:35:09 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at red1/172.21.42.84 ************************************************************/
没有waring和error,出现has been successfully,格式成功。
10、启动hadoop
[hadoop@red1 ~]$ start-all.sh starting namenode, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-namenode-red1.out red2: starting datanode, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-datanode-red2.out red1: starting secondarynamenode, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-secondarynamenode-red1.out starting jobtracker, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-jobtracker-red1.out red2: starting tasktracker, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-tasktracker-red2.out
11、使用jps检验各个后台进程是否成功启动
namenode节点
[hadoop@red1 ~]# /usr/java/jdk1.6.0_03/bin/jps 27561 Jps 7377 NameNode 7606 JobTracker 7523 SecondaryNameNode
datanode节点
[hadoop@red2 ~]$ /usr/java/jdk1.6.0_03/bin/jps 14745 Jps 6658 TaskTracker 6577 DataNode
成功。
相关推荐
在Hadoop生态系统中,了解和配置不同的运行模式是至关重要的,这些模式包括独立模式、伪分布模式、完全分布式模式以及高可用性(HA)配置。接下来,我们将详细探讨这些模式及其相关的配置文件。 1. **独立模式**: ...
在开始深入了解Hadoop完全分布模式安装之前,首先需要了解Hadoop运行模式的三种类型:本地运行模式、伪分布运行模式和完全分布式运行模式。本地运行模式仅在单机上模拟分布式计算;伪分布运行模式则是在单机上运行...
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。...5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop的完全分布模式配置——以普通用户'hadoop'启动
完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程,具有hadoop完整的功能,可以使用HDFS、MapReduce和Yarn,并且这些守护进程运行在集群中,可以真正的利用集群提供高性能,在生产环境下使用。 ...
总之,搭建Hadoop完全分布集群是一个涉及网络配置、服务安装、配置文件定制和SSH无密码登录等多个步骤的过程。每个环节都需要细心操作,确保集群稳定可靠地运行。通过这个过程,我们可以学习到分布式系统的基础知识...
总的来说,Hadoop2.7.6的完全分布式安装配置涉及到多个步骤,包括环境准备、下载安装、配置文件修改、服务启动和验证。这个过程虽然繁琐,但完成后,你将拥有一个强大的分布式大数据处理平台,能处理PB级别的数据。...
2. **Hadoop完全分布模式**: 完全分布模式是Hadoop在生产环境中的实际部署方式,涉及多台服务器构成的集群。在这个模式下,NameNode和DataNode分别负责元数据管理和数据存储,JobTracker和TaskTracker处理任务调度...
-015.Hadoop配置完全分布模式之使用符号链接实现配置分离.mp4 -016.Hadoop配置完全分布模式之克隆客户机与交互模式切换与hosts文件修改与ssh远程无密登录.mp4 -017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式...
《Hadoop高可用完全分布模式完整部署》是针对大数据处理技术的一份详尽教程,尤其适合初学者和希望深入理解Hadoop集群搭建的IT专业人士。本教程覆盖了从基础理论到实际操作的各个环节,旨在帮助读者掌握如何在企业...
需要注意的是,Hadoop支持三种运行模式:单机单节点模式、单机多节点的伪分布模式和多机多节点分布模式。 二、Hadoop和Eclipse的结合 Hadoop可以与Eclipse集成,以便于项目的开发和调试。首先,需要下载Eclipse,...
伪分布运行模式是在单台服务器上模拟Hadoop的完全分布模式,单机上的分布式并不是真正的分布式,而是使用线程模拟的分布式。在这个模式中,所有守护进程(NameNode、DataNode、ResourceManager、NodeManager、...
在本篇文章中,我们将深入探讨如何安装和配置Hadoop,以便进行完全分布式和伪分布式的设置。 首先,我们来理解“完全分布式”和“伪分布式”的概念。完全分布式模式是Hadoop在生产环境中最常用的部署方式,它涉及多...
**三、Hadoop完全分布模式** 完全分布式模式是真正的多节点集群环境,适合大规模数据处理。在这个模式下,所有的Hadoop组件分布在不同的物理节点上,实现真正的并行处理。 1. **集群配置** - 至少需要两台机器...
后半部分主要讲述Hadoop集群有三种运行模式,分别为单机模式,伪分布模式,完全分布式模式。单机模式和伪分布式模式的配置基本相同,本文档将重点介绍,在此基础上给出完全分布式模式搭建还需要的工作。有需要的朋友...
【大数据之Hadoop伪分布模式启动】 在大数据处理领域,Hadoop是一个开源的分布式计算框架,它能够处理和存储海量数据。在学习和测试Hadoop时,为了方便,通常会采用伪分布模式(Pseudo-Distributed Mode),这种...
hadoop详细安装步骤,包括单机模式/伪分布模式/完全分布模式安装过程/zookeeper安装步骤/hbase安装步骤/各种安装之后的测试
部署Hadoop3.0高性能集群,Hadoop完全分布式模式: Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同 节点担任不同的角色,在实际工作应用开发中,通常使用该...下面,阐述完全分布模式Hadoop集群的安装与配置方法。