OS: Debian 6.03
Hadoop: 0.20.203
一,安装Hadoop
启动运行Hadoop时不能用root。用其它用户账号运行时,需要对hadoop文件夹下有rwx权限。
所以建议:安装Hadoop时,最好用当前用户安装,而不用root。
1. 解压好hadoop,放入/usr/local/下,即/usr/local/hadoop-0.20。
2. 设置环境变量:
1)vi /etc/profile:加入
export HADOOP_HOME=/usr/local/hadoop-0.20
不知道这个环境变量是否必要,参考了别人的文章,先设置。
2)vi /usr/local/hadoop-0.20/conf/hadoop-env.sh:设置JAVA_HOME变量。
export JAVA_HOME=/usr/local/jdk1.6.0_30
注意这个变量需要在hadoop中另外设置。而/etc/profile下的JAVA_HOME,hadoop是不认的。
二,运行测试:
1. Standalong:
参考:http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.html#Local
2. Pseudo-Distribute:
参考:http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.html#PseudoDistributed
如果用非root用户启动,并且对/usr/local/hadoop-0.20下有读写和执行权限,在我这环境下是没有问题的。
用浏览器访问
分享到:
相关推荐
Windows平台上安装Hadoop-0.20.203.0版本方法
hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置
hadoop-0.20.203.0的eclipse插件: hadoop-eclipse-plugin-0.20.203.jar
hadoop 0.20.203.0 api.chm ,自己手工制作的文档
hadoop-core-0.20.203.0.jar
Hadoop 0.20.205.0 API 官方CHM版,根据Apache官方文档生成的chm版的文档,绝对原汁原味!
hadoop-eclipse-plugin-0.20.203.0.jar hadoop集成eclipse插件
hadoop-eclipse-plugin-0.20.203.0 插件无法连接 问题,重新布到eclipse/plugin后启动eclipse需要 -clean一下
加入依赖的 class文件的hadoop eclipse插件,不会再出现异常,大家也可以DIY,网上有简单的教程,只收一个劳务分吧
hadoop2.X新特性介绍
pyspark本地的环境配置包,spark-2.3.4-bin-hadoop2.7.tgz:spark-2.3.4-bin-hadoop2.7.tgz
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
即使不会分布式的东东,但是我们也可以用hadoop来分析数据,当然我们只是用于大量日志的分析
spark-3.2.0-bin-hadoop3.2.tgz
spark3.1.2适用于scala2.12+hadoop3.x
spark-3.0.0-bin-hadoop2.7.tgz 官网下载不了的,需要资源的,可以到这里下载哦
spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu,Redhat等linux系统,解压即可安装,解压命令:tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst(解压后存放路径)
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载