hadoop:
1.安装java,配置环境变量:export JAVA_HOME=///
export PATH=/////
注意:这个配置有效期不是很久的,要把这配置写到自己的配置文件(~/.bash_profile)
export PATH=$PATH:////////
2.下载hadoop-1.2.1, 解压:
>sudo tar -vxf hadoop-1.2.1.tar
>export HADOOP_HOME=///////
>export PATH=/////
>cd hadoop-1.2.1/conf
配置一个环境文件(hadoop-env.sh):
把”JAVA_HOME=“注解打开,把java的路径加进去; export JAVA_HOME=$(/usr/libexec/java_home)
配置三个文件,hadoop-site.xml, hdfs-site.xml, mapred-site.xml;
其中:
注意fs.default.name这个字段,有可能要把主机名加入去的,mac就是这样,要不,后面的namenode运行不起来。
hadoop-site.xml,
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hadoop.tmp.dir</name> <value>~/hadoop_tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost(******.local):8020</value> </property> </configuration>
hdfs-site.xml,
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> </configuration>
mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>liangr.local:8021</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> </configuration>
配置完之后,格式化文件系统:
>hadoop namenode -format
显示为:
最后,运行:
>start-all.sh
查看:
>jps
显示:
1411 SecondaryNameNode
6740 Jps
1317 DataNode
1223 NameNode
1480 JobTracker
1576 TaskTracker
把开web浏览器:
http://localhost:50030/jobtracker.jsp
http://localhost:50070/dfshealth.jsp
NameNode '172-10-22-141.lightspeed.clmasc.sbcglobal.net:8020' Started: Mon Sep 14 11:04:32 CST 2015 Version: 1.2.1, r1503152 Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf Upgrades: There are no upgrades in progress. Browse the filesystem Namenode Logs Cluster Summary 9 files and directories, 2 blocks = 11 total. Heap Size is 123 MB / 889 MB (13%) Configured Capacity : 232.62 GB DFS Used : 28 KB Non DFS Used : 44.1 GB DFS Remaining : 188.52 GB DFS Used% : 0 % DFS Remaining% : 81.04 % Live Nodes : 1 Dead Nodes : 0 Decommissioning Nodes : 0 Number of Under-Replicated Blocks : 0
liangr Hadoop Map/Reduce Administration Quick Links State: RUNNING Started: Mon Sep 14 11:04:33 CST 2015 Version: 1.2.1, r1503152 Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf Identifier: 201509141104 SafeMode: OFF Cluster Summary (Heap Size is 115 MB/889 MB) Running Map Tasks Running Reduce Tasks Total Submissions Nodes Occupied Map Slots Occupied Reduce Slots Reserved Map Slots Reserved Reduce Slots Map Task Capacity Reduce Task Capacity Avg. Tasks/Node Blacklisted Nodes Graylisted Nodes Excluded Nodes 0 0 0 1 0 0 0 0 2 2 4.00 0 0 0 Scheduling Information Queue Name State Scheduling Information default running N/A Filter (Jobid, Priority, User, Name) Example: 'user:smith 3200' will filter by 'smith' only in the user field and '3200' in all fields Running Jobs none Retired Jobs none Local Logs Log directory, Job Tracker History This is Apache Hadoop release 1.2.1
相关推荐
基于Eclipse的Hadoop应用开发环境配置
讲解Hadoop的集群所需的环境、配置、集成,一个主机三个节点测试
详细的hadoop集群环境配置流程,安装截图。
hadoop-windows环境
较为完善的Hadoop伪分布式安装、配置过程以及运行截图 全程跟着安装配置的一般不会出现问题,jdk版本尽量选择和Hadoop版本相容的,Hadoop版本可以选择较低版本,2.7版本较为稳定,Linux系统版本没有多大要求,一般将...
hadoop详细安装,配置,包括配置环境变量,让环境变量生效。core-site.xml, hdfs-site.xml等的配置
hadoop配置视频 手把手学习 肯定能够配置成功
在VMWare中安装好Linux操作系统,并自动配置好VMWare tools后。 需要设置共享文件夹以便与windows系统互相传输文件,Hadoop安装配置流程图解
hadoop2.7.3安装配置 前提条件:1. 拥有Linux环境 2. 有良好的网络
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装
详细讲解如何在linux操作系统环境下配置hadoop开发环境
十分详细的Hadoop虚拟集群的搭建,手把手教,从安装虚拟机到集群搭建完成每一步手把手教,包教包会。
hadoop环境配置
文档针对使用spark做分布式数据处理的windows环境下本地必要配置。
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录,掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 ...
记录了Ubuntu下的Hadoop的配置与运行 ,经典例子
虚拟机下:Hadoop 的安装与配置(CentOS 6.4),此为文档第2篇,第一篇讲解虚拟环境搭建
hadoop伪分布式环境配置教程 已亲测,按步骤执行,完胜!且有详细的原理解释
从零安装配置Hadoop环境流程总结,包括单节点,伪分布和完全分布几种情况。