本来是用word写的,里面有一些截图,可是iteye的编辑器上传图片不方便,所以,附件中是原版word文档
一、 Hadoop安装
1.1 hosts文件修改
在每个结点修改hosts文件,配置节点IP与别名
Vi /etc/hosts
1.2 建立hadoop用户
Useradd username //添加用户
Passwd username //为用户生成密码
1.3 生成公私钥密钥对
用hadoop 用户登录
在各个节点上,分别使用 ssh-keygen –t rsa –f ~/.ssh/id_rsa来生成密钥
Cd ~/.ssh
cat id_rsa.pub >> authorized_keys
1.4 密钥合并和相互复制
将各个节点的authorized_keys 合并,并分发到每个节点,如果是从本地免密码登录远程主机,则把本现的id_rsa.pub复制到远程主机。
1.5 安装hadoop
从mirror.bit.edu.cn 用hadoop用户解压到安装目录,
进入hadoop 的conf 目录:
1、 修改core-site.xml
2、
配置 fs.default.name 属性, 即namenode 节点IP和端口
Hadoop.tmp.dir hadoop临时文件目录,弱不配置,则使用操作系统的/tmp,重启后/tmp文件删除,必须重新 格式化hdfs,所以,需要自定义临时目录。
2、修改hdfs-site.xml
dfs.name.dir namenode文件存放目录,此目录在namenode节点
dfs.data.dir dataNode 数据文件存放目录,应该目录分布在各dataNode 节点
dfs.replication 文件分割数量。小于等于 datanode数
3、修改mapred-site.xml
Mapred.job.tracker mareduce 作业跟踪器主机IP与端口,一般同namenodeIP,配置自定义
4、修改hadoop-env.sh
如图,找到 export_JAVA_HOME,去掉注释,并写上JDK路径
5、其它,在完全分布式安装中,还需要配置 master 和slaves master写nameNode的、slaves中写上各datanode的hostname,配置完后,将hadoop复制到集群中的其它节点。
配置完后,在 namenode上进入hadoop安装目录的bin 第一次使用,运行 hadoop dfs –format格式化文件系统,然后 使用 ./start-all.sh 来启动hadoop
成功启动后,输入JPS命令,如图:
因为我这里是伪分布式,所以namenode和datanode在同一台机上,若为完全分布式,则在datanode主机上查看datanode进程
二、HDFS 文件操作
1、命令行操作
1、列出hadoop 文件列表
Hadoop dfs –ls
详细的,查看API
分享到:
相关推荐
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
初识Hadoop.docx
第1讲:初识hadoop
Hadoop
《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
大
1.7 Hadoop历史 1.8 小结 1.9 资源 第2章 初识Hadoop 2.1 Hadoop 的构造模块 2.1.1 NameNode 2.1.2 DataNode 2.1.3 Secondary NameNode 2.1.4 JobTracker 2.1.5 TaskTracker 2.2 为Hadoop 集群安装SSH ...
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据...
【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip
Hadoop作为大数据业务的...第一章 初识Hadoop 1.什么是大数据? (1)一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。 (2)需要新处理模式才能具有更强的决策力、洞察发
第一章:初识Hadoop 第2章 关于MapReduce 第3章 Hadoop分布式文件系统 第4章 Hadoop I/O 第5章:MapReduce 应用开发 第6章:MapReduce 的工作原理 第7章:MapReduce 的类型与格式
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用...
1 初识HADOOP 3 1.1 MAPREDUCE模型介绍 3 1.2 HADOOP介绍 5 1.2.1 Hadoop的核心MapReduce 6 1.2.2 Hadoop的分布式文件系统 7 1.3 安装HADOOP 8 1.3.1 安装的前提条件 8 1.3.2 安装Hadoop 13 1.3.3 检查你的环境 14 ...
第1章 初识Hadoop 1 第2章 关于MapReduce 19 第3章 Hadoop分布式文件系统 49 第4章 Hadoop的I/O操作 89 第5章 MapReduce应用开发 157 第6章 MapReduce的工作机制 205 第7章 MapReduce的类型与格式 241 第8章 ...
目录 一、前言:什么是Hadoop? 二、Hadoop生态圈 2.1 Hadoop2.x的生态系统 2.2 Hadoop2.x各个组件 2.3 大数据与云计算 三、HDFS(分布式文件系统) 3.1 hdfs架构 3.2 hdfs存储 ...6.2 安装hadoop 6.3
Hadoop的初始学习,可以快速的让人了解Hadoop,懂得Hadoop
为hive-0.11半自动安装脚本 使用前请先阅读本脚本注释部分 已有hadoop环境可使用本脚本 因为初识shell脚本 望大虾勿喷 如有不吝赐教者 不胜感激
161.9 资源 16第2章 初识Hadoop 172.1 Hadoop的构造模块 172.1.1 NameNode 172.1.2 DataNode 182.1.3 Secondary NameNode 192.1.4 JobTracker 192.1.5 TaskTracker 192.2 为Hadoop集群安装SSH 212...