1. 相关软件
VMwave6,RedHat5 32bit,JDK6,Hadoop1.2
2. 集成环境搭建步骤
2.1 安装虚拟机
安装过程出现错误:
setup has detected vmware software running on this machine
解决方式:
打开TASK管理器,终止进程里VM相关的进程
出处:
http://zhidao.baidu.com/question/206989601.html?fr=qrl&cid=89&index=1
虚拟机配置:
网络:NAT
硬盘:30G
内存:512M
2.2 安装RedHat系统
关闭防火墙,创建用户hadoop,配置固定IP 192.168.153.128,在/etc/hosts中加入下列内容
192.168.153.1 host 192.168.153.128 master 192.168.153.129 node0 192.168.153.130 node1
2.3 安装JDK6和Hadoop1.2到/usr/local目录下
配置环境变量,在/etc/profile中加入下列内容,执行source profile
#set JDK evn JAVA_HOME=/usr/local/jdk1.6.0_25 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH CLASSPATH #set Hadoop evn HADOOP_HOME=/usr/local/hadoop-1.2.1 PATH=$PATH:$HADOOP_HOME/bin export PATH
2.4 配置Hadoop($Hadoop/conf/)
hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.6.0_25
masters
node0
slaves
node0 node1
core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:8280</value> <final>true</final> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.checkpoint.dir</name> <value>/home/hadoop/hdfs/checkpoint</value> <final>true</final> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.http.address</name> <value>master:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>node0:50090</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>master:8021</value> </property> <property> <name>mapred.local.dir</name> <value>/home/hadoop/mapred/local</value> </property> <property> <name>mapred.system.dir</name> <value>/home/hadoop/mapred/system</value> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx200m</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> </configuration>
2.4 克隆两份虚拟机node0,node1,更改网络配置
Linux关机命令
shutdown -h now
2.5 配置SSH免登录
-- 登录master,构建.ssh目录
mkdir .ssh cd .ssh
-- 构建SSH公匙/私匙对,不输入密码直接按回车
ssh-keygen -t rsa
-- 复制一份公匙
cat id_rsa.pub >> authorized_keys
-- 将公匙传送到slaves中
scp ~/.ssh/authorized_keys hadoop@node0:/home/hadoop/ scp ~/.ssh/authorized_keys hadoop@node1:/home/hadoop/
-- 将slave中的公匙复制到指定位置
mkdir .ssh cat ~/authorized_keys >> ~/.ssh/authorized_keys rm authorized_keys
-- 权限设置
chmod 755 ~ chmod 755 ~/.ssh chmod 644 ~/.ssh/authorized_keys chmod 644 ~/.ssh/id_rsa.pub chmod 600 ~/.ssh/id_rsa
-- 测试
ssh node0 ssh node1
2.6 HDFS初始化
hadoop namenode -format
2.7 启动Hadoop
start-all.sh
-- 验证
jps
-- 验证结果
master
3439 NameNode 3679 Jps 3591 JobTracker
node0
3475 TaskTracker 3391 SecondaryNameNode 3322 DataNode 3530 Jps
node1
3422 Jps 3369 TaskTracker 3293 DataNode
2.8 运行基准测试
-- 使用TestNFSIO来测试HDFS
hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 2 -fileSize 10 hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -read -nrFiles 2 -fileSize 10 hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -clean
-- 使用Sort程序测试MapReduce
hadoop jar $HADOOP_HOME/hadoop-examples-*.jar randomwriter -Dtest.randomwriter.maps_per_host=1 -Dtest.randomwrite.bytes_per_map=1048576 random-data hadoop jar $HADOOP_HOME/hadoop-examples-*.jar sort random-data sorted-data hadoop jar $HADOOP_HOME/hadoop-test-*.jar testmapredsort -sortInput random-data -sortOutput sorted-data
3. 使用HTTP访问Hadoop
Map/Reduce http://master:50030/
HDFS http://master:50070/
4. eclipse插件安装
-- 下载eclipse hadoop plugin 1.2.1 (版本一定要匹配)
-- 安装插件
-- 配置
-- 查看HDFS
相关推荐
hadoop本地测试环境搭建工具包 1.hadoop.dll 2.hadoop源码请到官网下载
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
Hadoop完全分布式环境搭建文档,绝对原创,并且本人亲自验证并使用,图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤,条例格式清楚,不能成功的,请给我留言!将给与在线支持!
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
hadoop集群环境的搭建
CentOS 6.8 + Hadoop2.6.0集群环境搭建指南。
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
linux端的hadoop和spark环境搭建: Linux环境设置 1设置固定IP(静态) 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0...
HADOOP快速入门及搭建集群环境,可以进行搭建试试,文档比较详细
Hadoop环境搭建Hadoop环境搭建 Hadoop环境搭建
Ubuntu 16.04下JDK+Hadoop+Spark环境搭建 Ubuntu 16.04下JDK+Hadoop+Spark环境搭建
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop2.4.0测试环境搭建 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_installing_manually_boo k/content/rpm-chap1-11.html [bigdata@namenode1 scripts]$ pwd /home/bigdata/software/...
hadoop云服务器环境搭建,自己写的文档,亲测可用,方便初学者搭建hadoop云服务环境
自己写的 hadoop nutch solr 环境搭建手册,成功搭建后写的,会有红色标注容易出错的地方
Hadoop的windows环境搭建依赖jar包,搭建方式可以参考我的博客
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
hadoop分布式集群环境搭建参考文档