- 浏览: 572442 次
- 性别:
- 来自: 厦门
文章分类
- 全部博客 (669)
- oracle (36)
- java (98)
- spring (48)
- UML (2)
- hibernate (10)
- tomcat (7)
- 高性能 (11)
- mysql (25)
- sql (19)
- web (42)
- 数据库设计 (4)
- Nio (6)
- Netty (8)
- Excel (3)
- File (4)
- AOP (1)
- Jetty (1)
- Log4J (4)
- 链表 (1)
- Spring Junit4 (3)
- Autowired Resource (0)
- Jackson (1)
- Javascript (58)
- Spring Cache (2)
- Spring - CXF (2)
- Spring Inject (2)
- 汉字拼音 (3)
- 代理模式 (3)
- Spring事务 (4)
- ActiveMQ (6)
- XML (3)
- Cglib (2)
- Activiti (15)
- 附件问题 (1)
- javaMail (1)
- Thread (19)
- 算法 (6)
- 正则表达式 (3)
- 国际化 (2)
- Json (3)
- EJB (3)
- Struts2 (1)
- Maven (7)
- Mybatis (7)
- Redis (8)
- DWR (1)
- Lucene (2)
- Linux (73)
- 杂谈 (2)
- CSS (13)
- Linux服务篇 (3)
- Kettle (9)
- android (81)
- protocol (2)
- EasyUI (6)
- nginx (2)
- zookeeper (6)
- Hadoop (41)
- cache (7)
- shiro (3)
- HBase (12)
- Hive (8)
- Spark (15)
- Scala (16)
- YARN (3)
- Kafka (5)
- Sqoop (2)
- Pig (3)
- Vue (6)
- sprint boot (19)
- dubbo (2)
- mongodb (2)
最新评论
版本及配置简介
暂且配置3台机器,假设三台机器IP如下:
一.前置环境配置
1.创建hadoop用户
以下操作使用root用户
2.关闭防火墙 (每台机器都需)
3.修改机器名
4.配置hosts文件
5.重启机器
3.配置SSH互信
1.修改SSH配置文件
2.重启SSH
3.切换至hadoop用户在master上进行如下操作
在slave-1上操作
在slave-2上操作
在master上操作
在每台机器上修改下面两个文件的权限:
测试是否SSH互信配置好了:
4.JDK安装
给集群每台机器安装JDK,并且设置好JAVA_HOME
设置JAVA_HOME
二.hadoop安装
1.解压并重命名hadoop
在master操作
将hadoop-2.5.2.tar 上传到/home/hadoop目录下并解压
2.创建hadoop需要的目录
创建如下文件夹(在每台节点创建)
3.配置HADOOP_HOME
4.编辑slaves
5.给hadoop指定JAVA_HOME
6.修改hadoop配置文件
1).修改core-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/core-site.xml
2).修改hdfs-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/hdfs-site.xml
3).修改mapred-site.xml
$mv mapred-site.xml.templete mapred-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/mapred-site.xml
4).修改yarn-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/yarn-site.xml
7.拷贝软件到其他节点
8.格式化hdfs文件系统
9.启动hadoop
10.检测master节点:有以下三个进程表示启动成功
检测master节点:有以下三个进程表示启动成功
检测slave节点:有以下两个进程表示启动成功
Java: JDK1.7.0_71 Hadoop: hadoop-2.5.2 Linux: centos6.4 64bit
暂且配置3台机器,假设三台机器IP如下:
192.168.40.138 master 192.168.40.137 slave-1 192.168.40.136 slave-2
一.前置环境配置
1.创建hadoop用户
以下操作使用root用户
$useradd -d /home/hadoop -s /bin/bash hadoop $passwd hadoop hadoop
2.关闭防火墙 (每台机器都需)
$chkconfig iptables off 关闭selinux $vi /etc/selinux/config SELINUX=disabled
3.修改机器名
$vi /etc/sysconfig/network 将三台机器的名字分别改为master,slave-1,slave-2
4.配置hosts文件
$vi /etc/hosts 追加 192.168.40.138 master 192.168.40.137 slave-1 192.168.40.136 slave-2
5.重启机器
$reboot
3.配置SSH互信
1.修改SSH配置文件
$vi /etc/ssh/sshd_config 找到下列行 去掉注释# RSAAuthentication yes //字面意思..允许RSA认证 PubkeyAuthentication yes //允许公钥认证 AuthorizedKeysFile .ssh/authorized_keys //公钥存放在.ssh/au..文件中
2.重启SSH
$/etc/init.d/sshd restart
3.切换至hadoop用户在master上进行如下操作
$ssh-keygen -t rsa
在slave-1上操作
$ssh-keygen -t rsa $scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/.ssh/id_rsa.pub.slave-1
在slave-2上操作
$ssh-keygen -t rsa $scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/.ssh/id_rsa.pub.slave-2
在master上操作
$cat id_rsa.pub >> authorized_keys $cat id_rsa.pub.slave-1 >> authorized_keys $cat id_rsa.pub.slave-2 >> authorized_keys $scp authorized_keys hadoop@slave-1:~/.ssh/ $scp authorized_keys hadoop@slave-2:~/.ssh/
在每台机器上修改下面两个文件的权限:
$chmod 600 ~/.ssh/authorized_keys $chmod 700 ~/.ssh/
测试是否SSH互信配置好了:
$ssh master $ssh slave-1 $ssh slave-2
4.JDK安装
给集群每台机器安装JDK,并且设置好JAVA_HOME
$mkdir /usr/java 将jdk-7u71-linux-x64.tar上传到/usr/java目录并解压 $tar -xvf jdk-7u71-linux-x64.tar /usr/java $rm -rf jdk-7u71-linux-x64.tar $mv /usr/java/jdk1.7.0_71 /usr/java/jdk1.7
设置JAVA_HOME
$vi /etc/profile 追加下面文件 export JAVA_HOME=/usr/java/jdk1.7 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=.:$JAVA_HOME/bin:$PATH $source /etc/profile $java -version 检验JAVA环境变量是否设置好了
二.hadoop安装
1.解压并重命名hadoop
在master操作
将hadoop-2.5.2.tar 上传到/home/hadoop目录下并解压
$tar -xvf hadoop-2.5.2.tar $rm -rf hadoop-2.5.2.tar
2.创建hadoop需要的目录
创建如下文件夹(在每台节点创建)
mkdir -p /home/hadoop/tmp mkdir -p /home/hadoop/dfs/name mkdir -p /home/hadoop/dfs/data
3.配置HADOOP_HOME
$vi /etc/profile 添加 export HADOOP_HOME=/home/hadoop/hadoop-2.5.2/ export PATH=$PATH:$HADOOP_HOME/bin
4.编辑slaves
vi /home/hadoop/hadoop-2.5.2/etc/hadoop/slaves #添加如下内容 slave-1 slave-2
5.给hadoop指定JAVA_HOME
vi hadoop_env.sh 找到JAVA_HOME 设值为/usr/java/jdk1.7
6.修改hadoop配置文件
1).修改core-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property> </configuration>
2).修改hdfs-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
3).修改mapred-site.xml
$mv mapred-site.xml.templete mapred-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> </configuration>
4).修改yarn-site.xml
$vi /home/hadoop/hadoop-2.5.2/etc/hadoop/yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
7.拷贝软件到其他节点
scp -r /home/hadoop/hadoop-2.5.2 slave-1:/home/hadoop/ scp -r /home/hadoop/hadoop-2.5.2 slave-2:/home/hadoop/ scp -r /home/hadoop/hadoop-2.5.2 slave-3:/home/hadoop/
8.格式化hdfs文件系统
$hdfs namenode –format
9.启动hadoop
$/home/hadoop/hadoop-2.5.2/sbin/start-all.sh
10.检测master节点:有以下三个进程表示启动成功
检测master节点:有以下三个进程表示启动成功
$jps 41837 SecondaryNameNode 41979 ResourceManager 41661 NameNode
检测slave节点:有以下两个进程表示启动成功
$jps [root@master hadoop]# jps 4543 DataNode 4635 NodeManager
发表评论
文章已被作者锁定,不允许评论。
-
Hadoop namenode的fsimage与editlog详解
2017-05-19 10:04 1124Namenode主要维护两个文件,一个是fsimage,一个是 ... -
Hadoop HBase建表时预分区(region)的方法学习
2017-05-15 11:18 1145如果知道Hbase数据表的key的分布情况,就可以在建表的时候 ... -
Hadoop HBase行健(rowkey)设计原则学习
2017-05-15 10:34 1083Hbase是三维有序存储的,通过rowkey(行键),colu ... -
Hadoop HBase中split原理学习
2017-05-12 13:38 2204在Hbase中split是一个很重 ... -
Hadoop HBase中Compaction原理学习
2017-05-12 10:34 950HBase Compaction策略 RegionServer ... -
Hadoop HBase性能优化学习
2017-05-12 09:15 648一、调整参数 入门级的调优可以从调整参数开始。投入小,回报快 ... -
Hadoop 分布式文件系统学习
2017-05-10 15:34 461一. 分布式文件系统 分布式文件系统,在整个分布式系统体系中处 ... -
Hadoop MapReduce处理wordcount代码分析
2017-04-28 14:25 547package org.apache.hadoop.exa ... -
Hadoop YARN各个组件和流程的学习
2017-04-24 19:04 601一、基本组成结构 * 集 ... -
Hadoop YARN(Yet Another Resource Negotiator)详细解析
2017-04-24 18:30 1090带有 MapReduce 的 Apache Had ... -
Hive 注意事项与扩展特性
2017-04-06 19:31 6981. 使用HIVE注意点 字符集 Hadoop和Hive都 ... -
Hive 元数据和QL基本操作学习整理
2017-04-06 14:36 963Hive元数据库 Hive将元数据存储在RDBMS 中,一般常 ... -
Hive 文件压缩存储格式(STORED AS)
2017-04-06 09:35 2226Hive文件存储格式包括以下几类: 1.TEXTFILE ... -
Hive SQL自带函数总结
2017-04-05 19:25 1098字符串长度函数:length ... -
Hive 连接查询操作(不支持IN查询)
2017-04-05 19:16 662CREATE EXTERNAL TABLE IF NOT ... -
Hive优化学习(join ,group by,in)
2017-04-05 18:48 1759一、join优化 Join ... -
Hive 基础知识学习(语法)
2017-04-05 15:51 847一.Hive 简介 Hive是基于 Hadoop 分布式文件 ... -
Hive 架构与基本语法(OLAP)
2017-04-05 15:16 1204Hive 是什么 Hive是建立在Hadoop上的数据仓库基础 ... -
Hadoop MapReduce操作Hbase范例学习(TableMapReduceUtil)
2017-03-24 15:37 1130Hbase里的数据量一般都 ... -
Hadoop MapReduce将HDFS文本数据导入HBase
2017-03-24 11:13 1178HBase本身提供了很多种数据导入的方式,通常有两种常用方式: ...
相关推荐
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名,设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门,如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置:hadoop-env.sh(hadoop运行环境...
Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是...
资源包括core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
-015.Hadoop配置完全分布模式之使用符号链接实现配置分离.mp4 -016.Hadoop配置完全分布模式之克隆客户机与交互模式切换与hosts文件修改与ssh远程无密登录.mp4 -017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式...
完全分布式环境搭建 服务规划 适用于工作当中正式环境搭建 安装步骤 第一步:安装包解压 停止之前的Hadoop集群的所有服务,并删除所有机器的Hadoop安装包,然后重新解压Hadoop压缩包 三台机器都执行 rm -rf /...
文章目录1.... 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh,mapred-env.sh)4.4 HDFS配置文件(hdfs-site.xml)4.4.1 Ha
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
实验三 Hadoop完全分布式环境安装 18 实验四 Hadoop商业版安装 36 第二章 分布式文件系统HDFS 45 实验五 HDFS Shell命令使用 45 实验六 Eclipse开发插件配置 64 实验七 HDFS Java API编程 69 第三章 分布式协调服务...
基于Hadoop完全分布式集群进⾏演⽰ 1. 架构介绍 ⼤数据处理平台依赖于分布式存储和分布式计算。本节主要包括以下⼏个要点: 1.1 分布式系统架构 分布式数据处理系统主要处理以下两⽅⾯的问题: 1. 存储 分布式存储...
027完全分布式引入mp4 028高可用及如何进行切换mp4 029kfc工作原理mp4 030 amenodeHA数据交换方法,mp4 031HA总结mp4 032部署规划mp4 33拟机准备mp4 034虚找机环境准备mp4 035jdk部署mp4 036 zookeeper部署mp4 037 ...
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日) ...
(3) 完全分布式模式(重要开发一定是用这种模式) 虽然本地模式和伪分布式模式开发不会用,但为了感受一下Hadoop的魅力,还是简单介绍一下. 1 本地运行模式 如果成功安装了Hadoop 和配置java和Hadoo
'[IT18掌www.it18zhang.com]011.Hadoop配置-完全分布式模式.pptx' '[IT18掌www.it18zhang.com]Avro.pptx' '[IT18掌www.it18zhang.com]ZooKeeper.pptx' '[IT18掌www.it18zhang.com]012.Hadoop Windows下免Cygwin伪...