单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装,包括环境变量,主要Hadoop配置文件,SSH配置等。主要的区别在于配置文件:slaves配置需要修改,另外如果分布式安装中dfs.replication大于1,需要修改为1,因为只有1个datanode.
分布式安装请参考:
单机安装中,使用一台机器,即做namenode和JobTracker也是datanode和TaskTracker,当然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布树安装配置,如果分布式安装配置方案中hdfs-site.xml的副本数量定义大于1,则修改为1.
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
主要不同在于slaves的配置,分布式安装中是多个其他机器作为datanode,单机模式本机是datanode,所以修改slaves配置文件为本机的域名。如:本机机器名为hadoop11,则:
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后,启动:
$ start-all.sh
$ jps
15556 Jps
15111 JobTracker
15258 TaskTracker
15014 SecondaryNameNode
14861 DataNode
14712 NameNode
运行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3
分享到:
相关推荐
hadoop-2.6.0单机模式配置文件,利用该配置可以成功启动Hadoop
hadoop-3.3.1 windows版及配置安装包 解压后可使用
hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置
单机伪分布式Hadoop-spark配置
hadoop-2.7.4 单机伪分布配置文件,包括4大文件,直接替换,使用的是127.0.0.1 ,无需修改
摘要视图订阅登录 | 注册225240次第4693名156篇13篇0篇71条切换到hadoop用户,执行以下命令:01.ssh生成密钥有rsa和dsa两种生成方
安装Hadoop(单机版和集群)详细步骤
Hadoop安装教程_单机_伪分布式配置
第7集:安装配置hive-2.1.1 合计8集: ...2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark(进行中
提供官方所发布的最新的hadoop框架压缩包,hadoop-3.2.1.zip,应用于配置集群环境,分布式、伪分布式和单机这三种环境。
详细的hadoop单机配置步骤,非常好的一个文档。
这是本人精心整理和编写的Hadoop单机版配置。详细描述了每一个步骤
Windows10 配置 单机hadoop-附件资源
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
EasyHadoop Hadoop 单机系统 安装配置 本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单
我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;
大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装)
hadoop2.2.0单机伪分布式配置文件实例。
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...