<div class="iteye-blog-content-contain" style="font-size: 14px"></div>
Hadoop环境配置以及安装过程:
<!--[1、Linux系统安装,以及网络的搭建
1.1 网络的选择为host-only模式
1.2 启动vmwave的虚拟网络配置器
1.3修改ip地址,将VMware网络配置器中的iP地址设置成192.168.80.1,在Linux中网络连接中将连接更改为manual(自定义),并设定ip地址192.168.80.X,只需要网关为192.168.80.1
1.4 验证ip地址设定是否成功,在本机cmd模式下,ping 192.168.80.X,并在Linux中终端ping 192.168.80.1,若能ping通,则网络设置成功。
2、主机名的更改,绑定iP与主机名
2.1 执行命令hostname demo1,将主机名修改为demo1
2.2 执行命令vi /etc/hosts ,并将192.168.80.9 demo1, 添加至文件中,保存并退出
2.3 执行命令 vi /etc/sysconfig/network ,将hostname 的值修改为demo1,保存退出
2.4 执行命令source /etc/sysconfig/network ,激活文件
3、安装jdk
3.1 拷贝文件,使用winscp将jdk文件、Hadoop文件拷贝至/usr/local 文件下
3.2 执行命令 ./jdk-6u24-linux-i585.bin得到文件jdk-----
3.3 执行命令mv jdk---- jdk 将文件名修改为jdk
3.4 配置环境变量 执行vi /etc/profile 打开文件profile,并添加
Export JAVA_HOME=/usr/local/jdk
Export PATH=.:$PATH:$JAVA_HOME/bin
3.4 保存关闭后,在shell命令下执行source /etc/profile 来激活配置文件
3.5 使用Java、javac、Java -version来验证是否安装成功
4、关闭防火墙
4.1 执行命令service iptables status 来查看防火墙的状态消息
4.2 执行命令 service iptables stop 来关闭防火墙
4.3 执行命令chkconfig iptables off 来关闭防火墙的自动运行
4.4 执行命令chkconfig --list | grep iptables 来查看是否关闭服务自动启动设置
5、设置SSH免密码登陆
5.1 执行命令 cd /root/.ssh 切换到文件.ssh文件下
5.2 执行命令ssh-keygen -t rsa 来创建公钥,ssh-keygen -t rsa”表示使用 rsa 加密方式生成密钥
5.3 执行命令cp id_rsa.pub authorized_keys 将文件复制至authorized_keys中
5.4 验证连接 ssh localhost ,并执行exit返回至.ssh文件下
6、安装Hadoop
6.1 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压Hadoop压缩文件
6.2 执行命令mv hadoop-1.1.2 hadoop 将文件名修改为Hadoop
6.3 修改环境变量 :执行命令 vi /etc/profile,添加
Export HADOOP_HOME=/usr/local/hadoop
修改 PATH=.:$HADOOP_HOME/BIN:$JAVA_HOME/BIN:$PATH(在配置环境变量时PATH=.....必须放在最后,否则将无法识别在PATH后面的变量)
2014-08-18
Hdfs文件系统下的命令:
Hadoop fs -ls:显示hdfs下的文件
Hadoop fs -lsr:递归查询hdfs系统下所有的文件
Hadoop fs -mkdir ./d1:在hdfs系统的home目录下创建一个文件夹d1
Hadoop fs -put <原路径> <目的路径>:把数据上传到目的路径
Hadoop fs -get <原路径> <目的路径> :把数据从原路径下载到目的路径下
Hadoopfs -tetx <文件>:查看文件
Hadoop fs -rm:删除文件
Hadoop fs -rmr :删除目录
<!--EndFragment-->
相关推荐
伪分布式Hadoop安装配置测试全过程
在VMWare中安装好Linux操作系统,并自动配置好VMWare tools后。 需要设置共享文件夹以便与windows系统互相传输文件,Hadoop安装配置流程图解
Hadoop快速安装配置流程及文件
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
很棒棒的hadoop安装配置步骤超级详细,只要有手并且认识字就能学会
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
详细的hadoop集群环境配置流程,安装截图。
说明,因为这里涉及到多台计算机的共同操作,对于主节点namenode 整篇文章照做,对于datanode节点,除了Hadoop的配置,其他照做,如果配置主机数为多太,只需在后更改hadoop配置文件即可 ________________
说明,因为这里涉及到多台计算机的共同操作,对于主节点namenode 整篇文章照做,对于datanode节点,除了Hadoop的配置,其他照做,如果配置主机数为多太,只需在后更改hadoop配置文件即可 ________________
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。...5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
从零安装配置Hadoop环境流程总结,包括单节点,伪分布和完全分布几种情况。
hadoop伪分布式安装文档 这个文档里主要介绍了Hadoop的安装与环境搭建教程图解,本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并...本文将从使用的角度上谈了如何搭建Hadoop、如何配置Hadoop、如何验证Hadoop及在Hadoop上面执行计算,以及可能会遇到些什么样的问题。
Hadoop 平台在redhat下搭建的全过程,实验配置,配置文件修改
详细介绍了用eclipse开发hadoop程序的过程
Hadoop高可用配置HA.docx
Hadoop安装有三种模式:单机、伪分布式、完全分布式,本文档为完全分布式安装,过程很详细,设计内容包括:在win7上...配置Hadoop,安装eclipse(为了方便开发过程),运行一个简单的Hadoop程序(WordCount.java)等。
Hadoop在linux中搭建集群的思维导图,和具体操作流程。
1,虚拟机的安装和配置.pdf; 2,JDK的安装和配置.pdf; 3,配置虚拟机之间SSH无密码登录.pdf; 4,Hadoop的安装.pdf; 5,HDFS文件系统和Mapreduce框架的启动和运行.pdf; 6,运行框架自带的wordcount程序.pdf 适用...