- 浏览: 59711 次
- 性别:
- 来自: 北京
最新评论
-
scu_cxh:
您好,我在学习hadoop方面的东西,想做一个对task监控的 ...
JobClient应用概述 -
bennie19870116:
看不到图呢...
Eclipse下配置使用Hadoop插件
一、安装准备
1、下载hadoop 0.20.2,地址:http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/
2、JDK版本:jdk-6u20-linux-i586.bin (必须是1.6)
3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
4、三台机器,192.168.3.131(master),192.168.3.132(slave),192.168.3.133(slave)
二、安装操作
1、拷贝以上文件到Linux的“/root”目录下。同时新建目录“/jz”。
2、安装JDK,此步省略...
3、解压hdaoop到/jz目录下。tar -zxvf hbase-0.20.5.tar.gz -C /jz
4、配置131机器可以通过SSH直接访问132和133。
在131上执行以下操作:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ,
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。
完成后可以实现无密码登录本机:
$ ssh localhost。
把131上的id_dsa.pub 文件追加到132和133的authorized_keys 内( 以192.168.3.132节点为例):
a. 拷贝131的id_dsa.pub文件:
$ scp id_dsa.pub s132@192.168.3.132:/root/
b. 登录192.168.3.132,进入/root目录执行:
$ cat id_dsa.pub >> .ssh/authorized_keys
之后可以在131上不输入密码直接访问132
5、修改/jz/hadoop-0.20.2/conf/目录下的master文件,内容如下:
192.168.3.131
6、修改/jz/hadoop-0.20.2/conf/目录下的slaves文件,内容如下:
192.168.3.132
192.168.3.133
7、修改/jz/hadoop-0.20.2/conf/hadoop-env.sh文件的环境变量:
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.6.0_20
8、修改/jz/hadoop-0.20.2/conf/core-site.xml配置文件,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoopdata</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://m131:9000</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>excludes</value>
</property>
</configuration>
9、修改/jz/hadoop-0.20.2/conf/hdfs-site.xml配置文件,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
10、修改/jz/hadoop-0.20.2/conf/mapred-site.xml配置文件,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>m131:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
</configuration>
11、修改ect/hosts配置文件,内容如下:
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost
192.168.3.131 m131
192.168.3.132 s132
192.168.3.133 s133
12、修改/ect/profile配置文件,在末尾追加以下内容,并输入source/etc/profile使之生效:
export JAVA_HOME=/usr/java/jdk1.6.0_20
export JRE_HOME=/usr/java/jdk1.6.0_20/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/jz/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$PATH:$HIVE_HOME/bin
13、将/jz/hadoop-0.20.2拷贝到192.168.3.132和192.168.3.133对应的目录下。将/ect/profile和/etc/hosts也拷贝到132和133机器上。注意profile需要做生效操作。
三、启动/停止hadoop
1、通过shell脚本启动hadoop。
sh /jz/hadoop-0.20.2/bin/start-all.sh
2、停止hadoop
sh /jz/hadoop-0.20.2/bin/stop-all.sh
四、初始配置
1、格式化HDFS文件系统。进入/jz/hadoop-0.20.2/bin目录。执行:
hadoop namenode –format
2、在/jz/hadoop-0.20.2/bin目录下,执行:
hadoop fs -ls /
如果控制台返回结果,表示初始化成功。可以向里面录入数据。
3、通过WEB查看hadoop查看集群状态 http://192.168.3.131:50070/dfshealth.jsp
查看JOB状态 http://192.168.3.131:50030/jobtracker.jsp
五、注意事项
1、hadoop的安装千万计的修改/etc/hosts文件。修改之后最好是重启机器。
2、master和slaves这2个配置文件可以不拷贝到s132和s133机器上,只在master上保存即可。
3、通过web查看hadoop的时候,如果使用IE一些图形工具显示不出来,建议使用opera或是chrome。
4、如果有些错的地方或是不清楚的地方可以发邮件交流:dajuezhao@gmail.com
发表评论
-
Hadoop的基准测试工具使用(部分转载)
2011-01-21 11:58 1564一、背景由于以前没有 ... -
分布式集群中的硬件选择
2011-01-21 11:58 1000一、背景最近2个月时间一直在一个阴暗的地下室的角落里工作,主要 ... -
Map/Reduce的内存使用设置
2011-01-21 11:57 1608一、背景今天采用10台 ... -
Hadoop开发常用的InputFormat和OutputFormat(转)
2011-01-21 11:55 1457Hadoop中的Map Reduce框架依 ... -
SecondaryNamenode应用摘记
2010-11-04 15:54 1029一、环境 Hadoop 0.20.2、JDK 1.6、 ... -
Zookeeper分布式安装手册
2010-10-27 09:41 1295一、安装准备1、下载zookeeper-3.3.1,地址:ht ... -
Map/Reduce使用杂记
2010-10-27 09:40 905一、硬件环境1、CPU:Intel(R) Core(TM)2 ... -
Hadoop中自定义计数器
2010-10-27 09:40 1495一、环境1、hadoop 0.20.22、操作系统Linux二 ... -
Map/Reduce中的Partiotioner使用
2010-10-27 09:39 882一、环境1、hadoop 0.20.22 ... -
Map/Reduce中的Combiner的使用
2010-10-27 09:38 1153一、作用1、combiner最基本是实现本地key的聚合,对m ... -
Hadoop中DBInputFormat和DBOutputFormat使用
2010-10-27 09:38 2400一、背景 为了方便MapReduce直接访问关系型数据 ... -
Hadoop的MultipleOutputFormat使用
2010-10-27 09:37 1648一、背景 Hadoop的MapReduce中多文件输出默 ... -
Map/Reduce中公平调度器配置
2010-10-27 09:37 1507一、背景一般来说,JOB ... -
无法启动Datanode的问题
2010-10-27 09:37 2365一、背景早上由于误删namenode上的hadoop文件夹,在 ... -
Map/Reduce的GroupingComparator排序简述
2010-10-27 09:36 1308一、背景排序对于MR来说是个核心内容,如何做好排序十分的重要, ... -
Map/Reduce中分区和分组的问题
2010-10-27 09:35 1102一、为什么写分区和分组在排序中的作用是不一样的,今天早上看书, ... -
关于Map和Reduce最大的并发数设置
2010-10-27 09:34 1214一、环境1、hadoop 0.20.22、操作系统 Linux ... -
关于集群数据负载均衡
2010-10-27 09:33 854一、环境1、hadoop 0.20.22、操作系统 Linux ... -
Map/Reduce执行流程简述
2010-10-27 09:33 957一、背景最近总在弄MR的东西,所以写点关于这个方面的内容,总结 ... -
Hadoop集群中关于SSH认证权限的问题
2010-10-27 09:32 867今天回北京了,想把在外地做的集群移植回来,需要修改ip地址和一 ...
相关推荐
hadoop分布式安装02.mp4
Hadoop分布式安装笔记.rar
hadoop完全分布式安装步骤 实验环境为VirtualBOx虚拟机
Hadoop分布式文件系统的模型分析,Hadoop 分布式文件系统是遵循Google 文件系统原理进行开发和实现的,受到了业界极大关注,并 已被广泛应用。 鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从 Hadoop ...
虚拟机上安装分布式安装hadoop,恰同学少年,风华正茂,挥斥方遒
Hadoop安装有三种模式:单机、伪分布式、完全分布式,本文档为完全分布式安装,过程很详细,设计内容包括:在win7上安装虚拟化工具VMware(用于支撑Linux系统),在VMware上安装Ubuntu系统,安装Hadoop前的准备工作...
Hadoop分布式文件系统翻译
解压hadoop2.7.1.tar.gz文件,文件位置根据情况而定,本机文件正好放在根目录下,所以没有带路径,请一定根据自己文件所在路径把相应路径加上,进行解压,/usr/local为目标路径,也是根据情况而定,因人或者要求而定
Hadoop是Apache Lucene下的一个子项目,它最初是从Nutch项目中分离出来...Hadoop分布式安装与配置手册 Hadoop权威指南原版 hadoop权威指南中文第二版 Hadoop实战-陆嘉恒 分布式基础学习 用+Hadoop+进行分布式并行编程
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库,采用SpringMVC+Spring框架实现,包括用户注册与登录、我的网盘、关注用户、我的分享、我...
工作中搭建的hadoop分布式文件系统和hive ,mysql等的搭建的具体步骤
hadoop分布式网络爬虫的实现, 采用mapreduce和java,能实现深度搜索
关于hadoop的分布式缓存的源码,用于大家的学习,改进hadoop的分布式缓存
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
完整的Hadoop分布式文件系统架构,以及源码分析报告
Hadoop分布式文件系统使用指南.pdf
Hadoop分布式文件系统:架构和设计要点.pdf
hadoop分布式安装,详细笔记,恰同学少年,风华正茂,挥斥方遒