1、以主机网络模式--桥接模式 为例
2、修改主机名
vim /etc/sysconfig/network
#主机名修改为hadoop01
e、修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.103 hadoop01
3、关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
#重启Linux
reboot
修改win8共享
之后win8和linux就可以互ping
=======================配置伪分布式==========================
1、安装jdk、hadoop
tar -zxvf jdk-7u71-linux-x64.tar.gz -C /usr/local
tar -zxvf hadoop-2.6.0.tar.gz -C /cloud/
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/local/jdk1.7
export HADOOP_HOME=/cloud/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#刷新配置
source /etc/profile
2、修改hadoop配置文件
第一个:hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/local/jdk1.7
第二个:core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-2.6.0/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
<configuration>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五个:yarn-site.xml
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3、启动
格式化HDFS(namenode)第一次使用时要格式化
hdfs namenode -format
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc\hosts
192.168.1.103 hadoop01
http://hadoop01:50070 (HDFS管理界面)
http://hadoop01:8088 (MR管理界面)
4、测试hdfs
cd /cloud
#上传一个压缩包,后续测试下载测试包是否可用
mkdir testGz
cd testGz
vim jzk.txt #在testGz目录建文件并输入内容
#打包
cd ..
tar -zcvf testGz.tar.gz testGz/
#用hadoop上传文件到hdfs,最后的/必须,表示路径
hadoop fs -put testGz.tar.gz hdfs://hadoop01:9000/或者
hadoop fs -put testGz.tar.g /
上传结果如下图:
也可以用命令行下载测试
#下载文件到/home目录并改名为testGz.tar.gz进行解包测试
hadoop fs -get hdfs://hadoop01:9000/testGz /home/testGz.tar.gz
cd /home
tar -zxvf testGz.tar.gz
5、允许mapReduce进行简单测试
cd /cloud
vim words #输入如下内容
hello jzk
hello wyq
hello jdd
hello jdd
hello jdd
#上传到hdfs
hadoop fs -put words hdfs://hadoop01:9000/words
#进入mapreduce目录使用hadoop-mapreduce-examples-2.6.0.jar进行统计字符个数的统计
cd /cloud/hadoop-2.6.0/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://hadoop01:9000/words hdfs://hadoop01:9000/wcwords
#计算完成通过wcwords查看结果
6、配置ssh免登陆
192.168.1.103免登陆到192.168.1.104
A、192.168.1.103上操作
cd ~/.ssh/
ssh-keygen -t rsa #4个回车,生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
B、将103上的公钥)拷贝到104,
ssh-copy-id 192.168.1.104
#ssh-copy-id -i jdd@10.1.18.22
#在104的机器~/.ssh/目录下面会生成authorized_keys文件,里面有103的公钥
#####################################
所以在伪分布式启动hadoop的时候只需要执行
ssh-copy-id localhost
即:本机对本机免登陆
- 大小: 26.1 KB
- 大小: 12.2 KB
- 大小: 53.9 KB
分享到:
相关推荐
大数据hadoop平台伪分布式搭建详细步骤,基于ubtuntu系统,供初学者学习使用。... 大数据hadoop平台伪分布式搭建详细步骤,基于ubtuntu系统,供初学者学习使用。...
基于Hadoop的常规案例,在Windows和Linux上搭建伪分布式hadoop集群 -------- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到...
Hadoop单节点伪分布式搭建中文版 个人翻译的Hadoop搭建文档,这里只是翻译了伪分布式搭建。 如果是测试、学习hadoop,伪分布式足够了。
内容概要: 架构、流程、机制、原理、环境、数据同步、免密登录等; HadoopHDFS-JavaRPC操作代码,含服务端和客户端代码;...hadoop2.4.1伪分布式搭建; 分布式文件系统; 复安装过程详细步骤; hdfs笔记;
Linux上的Hadoop伪分布式安装及其相关配置步骤,以及Hadoop3种运行模式的相关知识。该文档摘自:http://public.bigdataedu.org/ ,仅供学习参考!
开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。 开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。
hadoop是大数据学习的基础,而且hadoop的伪分布式操作是入门的基础。本文档详细介绍了hadoop目前企业所用的版本的安装配置。
练习搭建伪分布Hadoop3.X集群,只用于刚刚开始学习搭建hadoo伪分布式集群的人群,帮助大家快速搭建Hadoop3.X伪分布式集群,快速入门大数据为日后的学习打下坚实的基础
对于 90%以上想学习 Spark 的人而言,如何构建 Spark 集群是其最大的难点之一, 为了解决大家构建 Spark 集群的一切困难,家林把 Spark 集群的构建分为了四个步骤,从 零起步,不需要任何前置知识,涵盖操作的每一个...
hadoop 1.2 api 伪中文版。支持即时查询,高级查询。方便编码学习。 大数据炙手可热!hadoop是一个大数据分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分...
-018.Hadoop在Win7下免Cygwin环境安装伪分布式与第三方增强软件介入.mp4 -019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用.mp4 -020.Hadoop架构分析之单节点体系.mp4 021.Hadoop架构分析之集群...
学习过程中积累手工制作的文档,帮助刚刚接触Hadoop的新手搭建基本环境,文档内包括hdfs/yarn/hbase基本组件,后续会继续更新,第一次发布自己制作的文档,希望大家多多支持
ubuntu环境下hadoop环境搭建(伪分布模式),是本人学习大数据以来对于hadoop环境搭建的一些经验,现在写成文档的形式分享给大家。
为了搭建Hadoop平台学习,前期搭建dubbo+Zookeeper集群,这里有详细介绍zookeeeper伪集群和分布式集群, dubbo在tomcat下安装等过程。相关jdk、war、jar等也在百度云...
基础hadoop学习 配置伪分布式流程、详细内容讲解
Hadoop权威操作指南.pdf+Hadoop搭建操作文档(集群、伪分布式),HDFS简单接口实现文档,HadoopAPI参考手册+HDFS Java API 简单源码,用于初学者学习
主要介绍了vmware配置hadoop实现伪分布式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
3. hadoop-HDFS集群搭建-伪分布式模式 4. hadoop-HDFS集群搭建-HA模式概念 5. hadoop-HDFS集群搭建-HA模式验证 6. hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 7. hadoop-MapReduce原理精讲、轻松入门 8. ...
本文来自于51cto,这篇文件介绍如何搭建完全分布式的...伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 教你玩转
1.大数据概论,大数据特点,Hadoop框架 2.hadoop组成,hdfs架构,mapreduce架构概述,在虚拟机上安装hadoop 3.hadoop运行模式,本地运行hadoop,以及伪分布式,完全分布式搭建介绍 4.hadoop源码编译