- 浏览: 164771 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
小灯笼:
RabbitMQ实战:分布式消息队列高效部署及插件集群开发信息 ...
MQ(一) rabbitmq -
快乐的小六:
分布式消息队列高效部署及插件集群开发信息数据监控、分析实战(R ...
MQ(一) rabbitmq -
lgxjob:
spring schema -
h416373073:
博主写的用心,多谢分享
spring schema -
司马饮之:
顶一个
try catch finally 关闭流标准的写法
hadoop官方网站:
http://hadoop.apache.org/
中文介绍参考网站:
http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
hadoop下载:
这里提供两种方式:
1. 编译好的文件:
http://hadoop.apache.org/releases.html#Download
http://apache.fayea.com/apache-mirror/hadoop/common/
笔者当时采用这种方式。需要注意的,该文件是用32位操作系统编译的,如果用这个文件部署到64位操作系统会有warn提示信息。但不影响hadoop的运行。
如果不想启动出现warn日志提示,可下载源代码,自行在64位操作系统下进行编译。
通过下面使命可查看到这种方式是32位系统下编译的。
2.下载源代码
通过svn 下载源码:http://svn.apache.org/repos/asf/hadoop/common/branches/
具体编译方式,可上网查资料。有很详细的说明。
编译示例:http://blog.csdn.net/wind520/article/details/38331167
编译时需要安装protobuf.
由于网络原因,wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz下载不了,可从本文附件中下载。
maven hadoop 依赖:http://mvnrepository.com/tags/hadoop
按照指示,在打包的时候出现一个错误。
最终还是报了一个错:
是没有安装cmake
[root@hadoop1 ~]# cd
[root@hadoop1 ~]# wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz
[root@hadoop1 ~]# tar zxvf cmake-2.8.12.2.tar.gz
[root@hadoop1 ~]# cd cmake-2.8.12.2
[root@hadoop1 ~]# ./configure
[root@hadoop1 ~]# gmake
[root@hadoop1 ~]# gmake install
执行mvn 打包命令。最后成功:
然后file下hadoop/lib/native。如图:发现已经是64位的。
整打包比较耗时,我把打好的包上传到百度云。下面是下载的链接:
http://pan.baidu.com/s/1c0b9pAS
payattentin :
在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中加入:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
hadoop安装
安装我分了三个步骤:
1.环境准备:
linux操作系统,JDK
此处省去1W字。
2.ssh 环境创建
关于SSH环境创建,请参考: http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
这篇文件介绍的很详细。而且是通篇介绍了hadoop的安装过程。感谢文章作者,让许多刚入手搭建hadoop的开发者少走了些弯路。
这里补充说明的SSH配置结束后,请用SSH IP 的方式来验证master和slaves之间SSH通信。
3.hadoop配置
Hadoop三种安装模式:单机模式,伪分布式,真正分布式
建议用第三种方式,构建一般产品环境真正的分布式模式。
这里需要说明的:网上很多例子讲述的都是比较老的版本的配置。笔者采用的hadoop2.4.1
这个版本是第二新的。不同版本之间配置项的参数和文件都不相同。
我是参考
http://blog.itpub.net/26613085/viewspace-1219710/
这里做了调整,在其阐述的配置中,并没有用hostname,而一律用的是IP.
修改了如下配置:
hadoop-env.sh,yarn-env.sh 配置JAVA_HOME等环境变量
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
建议:先统一处理master上配置。做好后再scp到slaves结点服务器上。
最后启动没用问题。
如图所示:
标红的可以查看hadoop启动以及运行时产生的各种日志。
各个slave上也有同样的日志。
eclipse访问hadoop
这里提供了两个插件的下载。放到eclipse的plugin目录下,然后重启tomcat即可。
其中hadoop-eclipse-plugin.jar是JDK1.6编译的。
而hadoop-2.4.1-eclipse-4.4-plugin是JDK1.7编译的。
http://pan.baidu.com/s/1qWrzEqg
http://pan.baidu.com/s/1gdKitcJ
JDK考虑到兼容性的问题,低版本运行在高的JDK上面不会有问题,但是高版本编译的插件运行在低版本JDK会报错。如下所示:
最后是配置eclipse上的配置:
请参考网上其他资料.
关于Map/Reduce 和DFSMaster的配置项请参考两个文件:
Map/Reduce:mapred-site.xml
DFSMaster:core-site.xml
在DFS Locations下连接hadoop成功。但是上传和下载发生错误。查看日志:
这是因为我是在windows操作下操作的,而且当前用户是Administrator,eclipse以些用户去连hadoop.而且集群配置的帐户是hadoop.
有三种解决方案:
(1)修改Advanced parameters.好几十项配置,我也不清楚改哪个。但我估计是可以的。查了网上资料也说的不明白。主要是因为版本不一致的原因。
(2)用wind7 的管理员Administraor创建了一个hadoop(跟SSH的帐户相同)帐户,在这个帐户下操作,成功了。但是觉得也不太好。
(3)第三种,还可以去掉hdfs的权限检查
打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。
改完需要重启HDFS;
做完后,是正常连接到hadoop。通过eclipse插件操作文件增,删,查操作也成功了。
这里还有个问题,就是后台日志仍然会报:
org.apache.hadoop.util.Shell$ExitCodeException: id: Administrator:无此用户
这个错误。
但不影响操作。笔者认为在DEV环境或者自已搭建的环境可以产用这种方式。生产环境肯定是不允许的。一定要验证用户的身份。
(4)还有一种,TBD.
eclipse 调试时,仍出现了些问题,参照下面信息后,调试通过。
http://blog.csdn.net/yueritian/article/details/23991741
测试用例:
http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html
export JAVA_HOME=/data/index/Work/install/jdk1.7.0_55
export JRE_HOME=/data/index/Work/install/jdk1.7.0_55/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH
#set hadoop path
#set hadoop path
export HADOOP_HOME=/usr/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
hbase安装
http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/
http://hadoop.apache.org/
中文介绍参考网站:
http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
hadoop下载:
这里提供两种方式:
1. 编译好的文件:
http://hadoop.apache.org/releases.html#Download
http://apache.fayea.com/apache-mirror/hadoop/common/
笔者当时采用这种方式。需要注意的,该文件是用32位操作系统编译的,如果用这个文件部署到64位操作系统会有warn提示信息。但不影响hadoop的运行。
如果不想启动出现warn日志提示,可下载源代码,自行在64位操作系统下进行编译。
通过下面使命可查看到这种方式是32位系统下编译的。
2.下载源代码
通过svn 下载源码:http://svn.apache.org/repos/asf/hadoop/common/branches/
具体编译方式,可上网查资料。有很详细的说明。
编译示例:http://blog.csdn.net/wind520/article/details/38331167
编译时需要安装protobuf.
由于网络原因,wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz下载不了,可从本文附件中下载。
maven hadoop 依赖:http://mvnrepository.com/tags/hadoop
按照指示,在打包的时候出现一个错误。
最终还是报了一个错:
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "cmake" (in directory "/root/hadoop-2.2.0-src/hadoop-common-project/hadoop-common/target/native"): error=2, No such file or directory -> [Help 1]
是没有安装cmake
[root@hadoop1 ~]# cd
[root@hadoop1 ~]# wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz
[root@hadoop1 ~]# tar zxvf cmake-2.8.12.2.tar.gz
[root@hadoop1 ~]# cd cmake-2.8.12.2
[root@hadoop1 ~]# ./configure
[root@hadoop1 ~]# gmake
[root@hadoop1 ~]# gmake install
执行mvn 打包命令。最后成功:
然后file下hadoop/lib/native。如图:发现已经是64位的。
整打包比较耗时,我把打好的包上传到百度云。下面是下载的链接:
http://pan.baidu.com/s/1c0b9pAS
payattentin :
在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中加入:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
hadoop安装
安装我分了三个步骤:
1.环境准备:
linux操作系统,JDK
此处省去1W字。
2.ssh 环境创建
关于SSH环境创建,请参考: http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
这篇文件介绍的很详细。而且是通篇介绍了hadoop的安装过程。感谢文章作者,让许多刚入手搭建hadoop的开发者少走了些弯路。
这里补充说明的SSH配置结束后,请用SSH IP 的方式来验证master和slaves之间SSH通信。
3.hadoop配置
Hadoop三种安装模式:单机模式,伪分布式,真正分布式
建议用第三种方式,构建一般产品环境真正的分布式模式。
这里需要说明的:网上很多例子讲述的都是比较老的版本的配置。笔者采用的hadoop2.4.1
这个版本是第二新的。不同版本之间配置项的参数和文件都不相同。
我是参考
http://blog.itpub.net/26613085/viewspace-1219710/
这里做了调整,在其阐述的配置中,并没有用hostname,而一律用的是IP.
修改了如下配置:
hadoop-env.sh,yarn-env.sh 配置JAVA_HOME等环境变量
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
建议:先统一处理master上配置。做好后再scp到slaves结点服务器上。
最后启动没用问题。
如图所示:
标红的可以查看hadoop启动以及运行时产生的各种日志。
各个slave上也有同样的日志。
eclipse访问hadoop
这里提供了两个插件的下载。放到eclipse的plugin目录下,然后重启tomcat即可。
其中hadoop-eclipse-plugin.jar是JDK1.6编译的。
而hadoop-2.4.1-eclipse-4.4-plugin是JDK1.7编译的。
http://pan.baidu.com/s/1qWrzEqg
http://pan.baidu.com/s/1gdKitcJ
JDK考虑到兼容性的问题,低版本运行在高的JDK上面不会有问题,但是高版本编译的插件运行在低版本JDK会报错。如下所示:
最后是配置eclipse上的配置:
请参考网上其他资料.
关于Map/Reduce 和DFSMaster的配置项请参考两个文件:
Map/Reduce:mapred-site.xml
DFSMaster:core-site.xml
在DFS Locations下连接hadoop成功。但是上传和下载发生错误。查看日志:
org.apache.hadoop.util.Shell$ExitCodeException: id: Administrator:无此用户
这是因为我是在windows操作下操作的,而且当前用户是Administrator,eclipse以些用户去连hadoop.而且集群配置的帐户是hadoop.
有三种解决方案:
(1)修改Advanced parameters.好几十项配置,我也不清楚改哪个。但我估计是可以的。查了网上资料也说的不明白。主要是因为版本不一致的原因。
(2)用wind7 的管理员Administraor创建了一个hadoop(跟SSH的帐户相同)帐户,在这个帐户下操作,成功了。但是觉得也不太好。
(3)第三种,还可以去掉hdfs的权限检查
打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。
<property> <name>dfs.permissions</name> <value>false</value> </property>
改完需要重启HDFS;
做完后,是正常连接到hadoop。通过eclipse插件操作文件增,删,查操作也成功了。
这里还有个问题,就是后台日志仍然会报:
org.apache.hadoop.util.Shell$ExitCodeException: id: Administrator:无此用户
这个错误。
但不影响操作。笔者认为在DEV环境或者自已搭建的环境可以产用这种方式。生产环境肯定是不允许的。一定要验证用户的身份。
(4)还有一种,TBD.
eclipse 调试时,仍出现了些问题,参照下面信息后,调试通过。
http://blog.csdn.net/yueritian/article/details/23991741
测试用例:
http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html
export JAVA_HOME=/data/index/Work/install/jdk1.7.0_55
export JRE_HOME=/data/index/Work/install/jdk1.7.0_55/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH
#set hadoop path
#set hadoop path
export HADOOP_HOME=/usr/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
hbase安装
http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/
- protobuf-2.5.0.tar.gz (2.3 MB)
- 下载次数: 0
发表评论
-
软件移植
2022-01-30 20:17 0此篇是工作随笔: 基础原理: 1、OS所处的 ... -
信号量与PV java
2018-01-02 15:11 1047进程间通信: 进程通常 ... -
http资料整理
2017-09-25 11:11 631http://blog.csdn.net/java199366 ... -
ACL权限管理
2017-09-19 10:56 2436ACL : access control list 访问权限管 ... -
Cookie 浅谈
2017-09-05 20:25 596随记Cookie 先看源码 /** * * ... -
JVM
2017-05-02 17:47 601http://blog.csdn.net/java199366 ... -
dubbo升级dubbox
2016-11-09 14:59 5997笔者公司部分应用用dubbo暴露服务,随着一些新人加盟,很多 ... -
spring 懒加载与dubbo 客户端校验
2016-09-19 18:41 2898Dubbo的启动时服务依赖检查是,对象实例化时,判断远程调用是 ... -
标识接口
2015-01-13 14:26 694摘要:标识接口是没有任何方法和属性的接口.它仅仅表明它的类属于 ... -
排序算法
2014-12-25 16:26 631package a; public class So ... -
java 序列化
2014-11-26 15:02 1040java序列化,是把对象序列化成流,转成流的目的是为了网络传输 ... -
java SPI
2014-11-19 17:30 624Java的SPI http://singleant.iteye ... -
JAR 文件包
2014-11-19 16:19 744JAR 文件就是 Java Archive File,顾名思意 ... -
JMX
2013-07-26 11:06 609http://docs.oracle.com/javase/7 ... -
分布式事务
2013-07-17 13:57 1718JTA 与 JTS 区别 一. 链 ... -
AJAX
2013-07-07 10:08 946一. AJAX 注意事项 (1)XHR不会修改浏览器历史栈,即 ... -
相等测试equals
2013-06-24 10:29 729Object类是Java中所有类的 ... -
随记小知识点
2013-06-21 10:44 7731. 字符串 从概念上讲,java字条串就是Unicode字符 ... -
Memcache
2013-02-16 17:36 715Memcache windows http://www.cn ... -
MQ(一) rabbitmq
2012-07-23 12:20 21541rabbit mq 与JMS MQ的消费-生产者模型的一个典型 ...
相关推荐
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...
内容概要:windows环境下添加snappy源码,并对2.8.5的apache版本hadoop包进行编译,生成指定的hadoop.dll、snappy.dll文件,方便Windows环境下利用idea工具进行Hadoop、Spark的local模式下代码调试。 版本更新:...
hadoop的hadoop.dll和winutils.exe “ Could not locate executable null\bin\winutils.exe in the Hadoop binaries”解决方法:把winutils.exe加入你的hadoop-x.x.x/bin下 包含hadoop.dll, winutils.exe hadoop-...
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合...
调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
书名:Hadoop The Definitive Guide 语言:英文 The rest of this book is organized as follows. Chapter 2 provides an introduction to MapReduce. Chapter 3 looks at Hadoop filesystems, and in particular ...
Title: Hadoop Essentials Author: Shiva Achari Length: 172 pages Edition: 1 Language: English Publisher: Packt Publishing Publication Date: 2015-04-24 ISBN-10: 1784396680 ISBN-13: 9781784396688 Delve ...
基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书...
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...