设有3台机器,其中一台作为主机,即NameNode;另外2台为从机即DataNode(注:NameNode也可以作为DataNode)
NameNode,存储分布式分件属性、日志等,DataNode则是真正存储实际数据的。
各机器都是以root用户登录的(其他用户也可以)。
主机IP 192.168.1.32
从机IP 192.168.1.26
从机IP 192.168.1.27
- 配置ssh
主要是避免输入用户名,密码;可以google linux下ssh不输入密码既可。举例如下:
主机192.168.1.32 上,
ssh-keygen -t rsa
将生成的公钥id_rsa.pub,
将id_rsa.pub追加到从机的authorized_keys文件中。(默认目录放在用户的.ssh下, ~/.ssh)
从机:cat id_rsa.pub >> ~/.ssh/authorized_keys
这样配置的不是互信,是单向信任关系,即主机可以登录从机,如果要互信需要反向再重复上述过程。
在server端:
bin/hadoop fs -mkdir /a/hadoop
[root@localhost hadoop-1.0.3]# bin/hadoop fs -ls /a/
Found 2 items
drwxr-xr-x - root supergroup 0 2012-12-29 20:04 /a/hadoop
-rw-r--r-- 3 root supergroup 10525 2012-12-29 20:06 /a/ivy.xml
在客户端1:hadoop目录下
[root@localhost hadoop-1.0.3]# bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2012-12-29 20:06 /a
在客户端2:目录下
[root@locahost hadoop-1.0.3]# bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2012-12-29 20:06 /a
表明配置正常。
相关推荐
此压缩包主要包含的是是hadoop的7个主要的配置文件,core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、mapred-env.sh、yarn-env.sh精简配置优化性能,具体相关参数根据集群规模适当...
博客Hadoop机架感知配置自主实现的jar包 http://blog.csdn.net/lemonZhaoTao/article/details/70991813
本文件内容适用于学习Hadoop时所需配置Hive的所有文件,包括以下内容: core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml mapred注意.txt pwd.txt 配置文件收集不易,有部分配置内容已单独复制出来! ...
8.2 CDH4B1版本HDFS集群配置 8.2.1 虚拟机安装 8.2.2 nn1配置 8.2.3 dn1~dn3配置 8.2.4 HDFS集群构建 8.3 HA NameNode配置 8.3.1 nn1配置 8.3.2 其他节点配置 8.4 HA NameNode使用 8.4.1 启动HA HDFS集群 8.4.2 第1...
hadoop单机安装与测试 1•Local (Standalone) Mode(单节点的本地模式)Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境,它使用linux的文件系统,适用于开发、测试、调试环境 运行案例 2•Pseudo-...
配置Hadoop2.1部署及配置2.2 将配置复制到其他服务器2.3配置下hadoop的环境变量,方便输入命令2.4格式化3.启动4.打开浏览器查看HDFS监听页面参考书籍 一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构...
hadoop-HA集群运作机制介绍 所谓HA,即高可用(7*24小时不中断服务),实现高可用最关键的是消除单点故障。hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA.
书籍目录: 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 了解分布式系统和Hadoop 1.4 比较SQL 数据库和Hadoop 1.5 理解MapReduce 1.5.1 动手...
———————————————— 版权声明:本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:...
1、 HDFS 中的 block 默认... HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M。 思考:为什么块的大小不能设置的太
安装和配置Hadoop环境 安装和配置HBase环境 能够使用XShell和XFtp工具操作Centos系统 能够使用idea开发相关Java代码 具体的功能需求有hdfs及hbase对于文件的相关操作。 本文档是根据Hadoop相关大数据操作...
23612.4 搭建面向企业查询的分析系统——IBM的ES2项目 23812.4.1 ES2系统结构 24012.4.2 ES2爬虫 24112.4.3 ES2分析 24212.4.4 小结 24912.4.5 参考文献 250附录A HDFS文件命令 251构建hadoop运算坚实...
分散文件存储系统 —— HDFS 多元计算框架——MapReduce 集群资源管理器 —— YARN Hadoop单机伪集群环境搭建 Hadoop 云服务环境搭建 HDFS使用Shell命令 HDFS Java API的使用 基于Zookeeper搭建Hadoop高可用服务 二...
Hadoop组件3.1 HDFS 文件操作3.1.1 基本文件命令3.1.2 编程读写HDFS3.2 剖析MapReduce 程序3.2.1 Hadoop数据类型3.2.2 Mapper3.2.3 Reducer3.2.4 Partitioner:重定向Mapper输出3.2.5 Combiner:本地reduce3.2.6 ...
与 Spring Boot 和 Spring for Hadoop 集成,提供统一的配置模型和易于使用的 API 的访问,以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的,您没听错——不需要运行 Hadoop 集群来测试您的代码! 该...
第一部分 Hadoop——一种分布式编程框架第1章 Hadoop简介 21.1 为什么写《Hadoop 实战》 31.2 什么是Hadoop 31.3 了解分布式系统和Hadoop 41.4 比较SQL数据库和Hadoop 51.5 理解MapReduce 61.5.1 动手扩展一个简单...
脚本使用:vim编辑脚本,按照自己的配置修改主机号,我的是hadoop1、2是NN;hadoop2、3是Spark Master;hadoop3还是RM;hadoop4、5、6是DN、NM、Spark Worker。编辑完成后在满足“前提”的任意一台主机运行均可。 ...
一、 HDFS前言 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析...HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( df
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(Mysql、Postgresql...)间进行数据的传递,可以将一个关系 型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将...
优化配置 性能测试基础准备 性能测试基础准备 在⼤数据性能测试时,需要准备相关的基础⼯作,如下: 数据准备,我们需要在不同的节点准备什么量级数据? ⽇志预估,在测试过程中,可能会⽣成多⼤的⽇志,⽇志的可能...