机器配置:win7+i7-3635QM+12G内存,使用Vmware虚拟机,里面安装3台Ubuntu12.04 64位。虚拟机每一个分配CPU2核、内存2G、硬盘40G。使用NAT网络适配模式。
1、安装Ubuntu
安装Ubuntu后,运行
sudo apt-get update
sudo apt-get install openssh-server
安装ssh server
2、安装JDK,设置CLASSPATH、PATH路径
3、配置hosts文件
192.168.222.129 clusterMaster
192.168.222.130 clusterSlave1
192.168.222.131 clusterSlave2
4、配置SSH免密码链接
进入到用户.ssh目录:/home/sujx/.ssh
运行ssh-keygen -t rsa生成公钥和密钥。
再把id_dsa.pub 追加到授权key 里面:cat id_rsa.pub >> authorized_keys
每台机器都这么做,最后把3个authorized_keys放到一起,再复制到每台机器的.ssh文件夹下。注意,每一个公钥最后的主机名要修改成为前面hosts文件中对应的主机名。
最后如下:
5、下载解压Hadoop1.2.1包,解压到 /opt 目录下(需要预先给opt目录赋权 chown -R sujx /opt)。
修改配置文件:
5.1 core-site.xml
5.2 mapred-site.xml
5.3 hdfs-site.xml
5.4 masters
5.5 slaves
5.6 hadoop-env.sh
修改JAVA_HOME配置
配置完毕时候,使用scp把hadoop-1.2.1文件夹复制到clusterSlave1和clusterSlave2上,路径都在/opt下。
6、设置环境变量
下图是我本机的环境变量设置:
三台机器上的环境变量都相同
7、启动hadoop
命令:start-all.sh
查看进程:
clusterMaster:
clusterSlave:
至此集群安装完毕
相关推荐
刚动手安装完hadoop集群,分享一下!
Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业(job) 通常会把输入的...
Win7环境下通过eclipse连接hadoop1.2.1集群时,会遇到如下报错: Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-...
Win环境下通过Hadoop1.2.1集群 修改org.apache.hadoop.fs.FileUtil文件并重新编译后的FileUtil.class
NULL 博文链接:https://aperise.iteye.com/blog/2282670
自己这一个礼拜搭建成功后,重新截图总结,写出一份很详细的安装Hadoop 集群的文档,希望可以帮助到有需要的朋友,共同进步!
企业内部实际 hadoop zookeeper hbase搭建步骤明细
1.2.1 注意安装细节 3 1.2.2 设置VIM 命令 3 1.2.3 配置仅主机连网 4 1.2.4 配置网络出现的问题 5 1.2.5 设置桥接上网 6 1.2.6 设置nat上网 12 2 安装基本工具 15 2.1 SSH免登陆配置 15 2.2 SUDO配置 15 3 单机安装...
背景和基本原理1 跳跃中的Hadoop1.1 什么是Hadoop 1.1.1 Hadoop 的核心组件1.1.2 Hadoop 生态圈1.1.3 物理架构1.1.4 谁在使用Hadoop1.1.5 Hadoop 的局限性1.2 运行Hadoop 1.2.1 下载并安装...
3.4 ................................................................................7 运行Hadoop集群的准备工作 3.5 ........................................................................................
HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库(也即非关系型数据库),它利用 Hadoop 分布式文件...HBase 作为 Hadoop 框架下的数据库,是被设计成在一个服务器集群上运行的。。。。。。。。。。。。。。。
Hadoopi-Raspberry Pi Hadoop集群该项目包含配置文件和厨师代码,用于... 已安装的Hadoop组件的版本为: Hadoop 2.6.4 色调3.11.0 基础1.2.4 猪0.12.1 蜂巢1.2.1 火花1.6.2 livy 0.2.0 oozie 4.3.0 鱿鱼1.99.4 索尔4.1
在 Ubuntu Precise (12.04) 上运行的三节点 Accumulo 集群。 实例名称是“实例”。 用户名为“root”,密码为“secret”。 安装流浪汉 vagrant 插件安装 vagrant-hostmanager 下载这个项目。 运行 'vagrant up' ...
1.1集群规划 主机节点 服务 主机名称 硬件资源 172.30.5.243 namenode,zookeeper, HMaster,kafka,spark, elasticsearch master 内存:64GB 硬盘:7T 172.30.5.244 secorndaryNameNode,datanode,zookeeper,kafka, ...
1.2.1 异构存储类型……………………….... ... .. … ………… ……………… … ……… ·… … 16 1.2.2 异构存储原理…………………………………………………………………….. .. . ..........……. 17 1.2.3 块...
spark集群搭建文档,版本号:spark-1.2.1-bin-hadoop2.3.tgz
实时风险管理系统队员:黄日俊 (ih138)、许... 名称/辅助节点,数据节点iPython:用于交互式分析配置了 Pyspark 模块配置为远程访问主服务器Apache Hadoop 1.2.1 名称节点、辅助名称节点、数据节点Apache Spark 1.0.2
5.1:虚拟集群的搭建(hadoop1、hadoop2、hadoop3) 41 5.1.1:hadoop2.2.0集群搭建 41 5.1.2:MySQL的安装 41 5.1.3:hive的安装 41 5.1.4:Spark1.1.0 Standalone集群搭建 42 5.2:客户端的搭建 42 5.3:文件数据...
第 2 章 Hive 安装 2.1 Hive 安装地址 Hive 官网地址 http://hive.apache.org/ 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 下载地址 http://archive.apache.org/dist/hive/ 2.2...