本系列博文我也不知道能不能写完, 今天刚刚在新公司申请了4台机器,明天到位,准备打架hadoop环境, 也准备在这里做下笔记,因为之前搭建hadoop环境遇到很多问题,没有详细记录, 今天就在这里记录下。
hadoop 机器分布:
安装操作系统:
centos6.4,为什么选择centos6.4 因为之前做存储的时候, 使用很多新的类库,再低版本没有, 所以选择新一点的,防止出现其他问题,耽搁时间。
机器环境:
192.168.236.201 centos6.2
192.168.236.203 centos6.2
192.168.232.202 centos6.2
机器不在一个网段也不知道会出不会出现什么问题。
1.创建自己的用户:
[root@Hregion2 ~]# useradd libinhadoop
[root@Hregion2 ~]# passwd libinhadoop
用户名: libinhadoop 密码:123456
给用户添加sudo权限
libinhadoop ALL=(ALL) ALL
给用户添加免输入密码权限:
拷贝jdk 到集群机器上
配置环境变量:
13 JRE_HOME=$JAVA_HOME/jre
14
15 PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
配置这几台机器之间的ssh连接:
参考:
http://younglibin.iteye.com/admin/blogs/1913492
配置hadoop 按照 hadoop 官网找到自己的hadoop版本:
为了以后增加其他组件防止出现不匹配的信息, 所以我是用了:
配置 mapreduce.shuffle的时候,注意这个配置不同版本 有的是mapreduce_shuffle
执行测试测试配置hadoop是否正确:
查看执行结果:
关于wordcount 的原理介绍,以及代码分析,查看本博客的其他关于hadoop的文章!
$ ./bin/yarn/ resourcemanager
$ ./bin/yarn/ nodemanager
[libinhadoop@Hregion2 hadoop-2.0.0-cdh4.6.0]$ jps
24428 NodeManager
23609 ResourceManager
24525 Jps
接下来,需要搭建hadoop集群环境了:
下班明天写..........
相关推荐
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门,如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置:hadoop-env.sh(hadoop运行环境...
第2集-Hadoop环境搭建 - linux(centos7) - 安装配置jdk1.8.pdf
超详细集群搭建教程(从虚拟机安装到集群搭建完成,集群搭建成功验证),每一个步骤都有,照做即可。 内有集群搭建所需安装包:hadoop2.2.0,zookeeper3.4.5
Hadoop集群搭建详细简明教程及搭建方法
详细的Hadoop集群搭建过程,有6部分,前提是能连接网络,前三部都是很简单免密要仔细看,推荐JAVA版本1.8,Hadoop版本2.2.7 这两个版本都是稳定的
hbase-2.1.3-bin.tar.gz,hadoop-3.1.2.tar.gz,hadoop-2.7.4.tar.gz,flink-1.7.2-bin-hadoop27-scala_2.11.tgz,apache-hive-3.1.1-bin.tar.gz,apache-hive-2.3.5-bin.tar.gz,以及一些推荐的集群搭建配置文件,...
非常详细的linux上的hadoop集群搭建文档,可供参考,希望大家能够从中获益
hadoop集群搭建文档,欢迎您下载使用欢迎您下载使用欢迎您下载使用欢迎您下载使用欢迎您下载使用
Linux 操作系统安装环境下Hadoop集群搭建详细简明教程
非常详细的hadoop集群搭建教程,包含SSH免密码登录,基本上按照教程上一步一步操作就能搭建成功,非常适合大数据初学者使用
大数据hadoop集群搭建-附件资源
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
本文档深刻解析了hadoop集群搭建的过程,有自己编写的过程,有完整的搭建过程。
该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习