- 浏览: 1449702 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (691)
- linux (207)
- shell (33)
- java (42)
- 其他 (22)
- javascript (33)
- cloud (16)
- python (33)
- c (48)
- sql (12)
- 工具 (6)
- 缓存 (16)
- ubuntu (7)
- perl (3)
- lua (2)
- 超级有用 (2)
- 服务器 (2)
- mac (22)
- nginx (34)
- php (2)
- 内核 (2)
- gdb (13)
- ICTCLAS (2)
- mac android (0)
- unix (1)
- android (1)
- vim (1)
- epoll (1)
- ios (21)
- mysql (3)
- systemtap (1)
- 算法 (2)
- 汇编 (2)
- arm (3)
- 我的数据结构 (8)
- websocket (12)
- hadoop (5)
- thrift (2)
- hbase (1)
- graphviz (1)
- redis (1)
- raspberry (2)
- qemu (31)
- opencv (4)
- socket (1)
- opengl (1)
- ibeacons (1)
- emacs (6)
- openstack (24)
- docker (1)
- webrtc (11)
- angularjs (2)
- neutron (23)
- jslinux (18)
- 网络 (13)
- tap (9)
- tensorflow (8)
- nlu (4)
- asm.js (5)
- sip (3)
- xl2tp (5)
- conda (1)
- emscripten (6)
- ffmpeg (10)
- srt (1)
- wasm (5)
- bert (3)
- kaldi (4)
- 知识图谱 (1)
最新评论
-
wahahachuang8:
我喜欢代码简洁易读,服务稳定的推送服务,前段时间研究了一下go ...
websocket的helloworld -
q114687576:
http://www.blue-zero.com/WebSoc ...
websocket的helloworld -
zhaoyanzimm:
感谢您的分享,给我提供了很大的帮助,在使用过程中发现了一个问题 ...
nginx的helloworld模块的helloworld -
haoningabc:
leebyte 写道太NB了,期待早日用上Killinux!么 ...
qemu+emacs+gdb调试内核 -
leebyte:
太NB了,期待早日用上Killinux!
qemu+emacs+gdb调试内核
参考http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
环境变量
修改两个配置文件
[root@centos54 conf]# cat hdfs-site.xml
[root@centos54 conf]# cat mapred-site.xml
ssh本机互信,略
为了ssh
初始化hdfs
bin/hadoop namenode -format
bin/start-all.sh
启动后几个进程
运行wordcount的例子
mkdir haoning
cd haoning
验证结果
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
~
环境变量
hadoop-env.sh export JAVA_HOME=/usr/local/java/jdk1.6.0_45/
修改两个配置文件
[root@centos54 conf]# cat hdfs-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>localhost:9000</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
[root@centos54 conf]# cat mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property>$ <name>mapred.job.tracker</name>$ <value>localhost:9001</value>$ </property>$ </configuration>
ssh本机互信,略
为了ssh
vim /etc/hosts ::1^I^Ilocalhost6.localdomain localhost
export HADOOP_HOME=/data/hadoop/hadoop-1.2.1 export HADOOP_CONF_DIR=$HADOOP_HOME/conf
初始化hdfs
bin/hadoop namenode -format
bin/start-all.sh
启动后几个进程
root@centos54 bin]# jps 23275 NameNode 23396 DataNode 23543 SecondaryNameNode 23641 JobTracker 23768 TaskTracker
运行wordcount的例子
mkdir haoning
cd haoning
../bin/hadoop fs -put ../conf input ../bin/hadoop jar ../hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'
[root@centos54 haoning]# tree . |-- input | |-- capacity-scheduler.xml | |-- configuration.xsl | |-- core-site.xml | |-- fair-scheduler.xml | |-- hadoop-env.sh | |-- hadoop-metrics2.properties | |-- hadoop-policy.xml | |-- hdfs-site.xml | |-- log4j.properties | |-- mapred-queue-acls.xml | |-- mapred-site.xml | |-- masters | |-- slaves | |-- ssl-client.xml.example | |-- ssl-server.xml.example | |-- task-log4j.properties | `-- taskcontroller.cfg `-- output |-- _SUCCESS `-- part-00000
得到的结果 [root@centos54 haoning]# cat output/* 1 dfs.replication 1 dfs.server.namenode. 1 dfsadmin
验证结果
cd input [root@centos54 input]# grep dfs * hadoop-env.sh:# The following applies to multiple commands (fs, dfs, fsck, distcp etc) hadoop-policy.xml: dfsadmin and mradmin commands to refresh the security policy in-effect. hdfs-site.xml: <name>dfs.replication</name> log4j.properties:log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN [root@centos54 input]#
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
~
发表评论
-
tomcat的https的例子
2016-09-22 17:50 435参考http://jingyan.baidu.com/arti ... -
jpa
2014-11-25 20:14 549可以使用jpa生成数据库表 import javax.pe ... -
jspwebshell
2014-06-20 12:35 6694<%@ page contentType=" ... -
thirft连接hbase的例子
2014-03-18 16:10 18512hbase支持的thrift有两种方式 thrift和 thr ... -
hbase的安装和测试
2014-03-17 16:04 809使用hbase-0.94.17.tar.gz 如果想练机使用必 ... -
thrift的测试
2014-03-13 17:20 1911尝试失败的版本 0.9.1 要求autoconf是2.56以上 ... -
sqoop从mysql到数据到hadoop中
2014-03-11 13:54 2653groupadd hadoop useradd hadoop ... -
jvm总结
2013-03-04 19:02 1711分代 年轻代: 所有新生 ... -
java的upload
2013-01-24 19:31 1934好久没写java的东西了 遇到个服务器,不是标准的httpSe ... -
spring lucene rmi例子
2012-09-18 16:24 1877http://www.blogjava.net/freeman ... -
jna的使用
2012-04-22 21:06 2840遇到java调用共享内存的 ... -
hessian
2012-04-10 10:40 893http://hessian.caucho.com/ 这个好 ... -
jvm调优应该知道的一点东西
2012-02-27 18:13 1238概念 概念 Java 工具 jsta ... -
java socket备份
2012-02-22 10:01 1032package org.hao; import java ... -
java操作内存
2011-12-29 00:57 5140How To Write Directly to a Memo ... -
单例模式7中
2011-12-28 09:56 892package com.sohu.zookeeper; // ... -
jprofiler6远程resin
2011-07-07 23:17 2670网上找的破解码:L-Larry_Lau@163.com#784 ... -
eclipse不装插件配置resin,可以debug
2011-06-27 23:41 1809新建java工程 1.目录如下 G:. ├─.settings ... -
session所有信息
2011-06-07 11:32 767转载http://www.99inf.net/Software ... -
看端口号用netstat -abn
2011-05-14 00:27 1269张孝祥讲过个fport,到哪都依赖他看端口被什么占用, 原来n ...
相关推荐
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
hadoop伪分布搭建步骤
hadoop集群搭建高可用文档在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
hadoop集群环境搭建之伪分布式集群环境搭建,本文档详细的介绍了伪分布式搭建过程以及搭建过程中遇到的一些问题
hadoop2.7.1平台搭建
带图带说明:Hadoop简介及Apache Hadoop三种搭建方式
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
本文根据实际的操作,详细的讲解了hadoop2.7.0集群的搭建过程
hadoop伪分布式搭建(从虚拟机设置到搭建完成),包含每一个步骤,照做即可,内有hadoop2.2.0安装包。
Hadoop 分布式集群搭建 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,...
基于Centos7下的hadoop2.7集群的搭建。(在vmware中的2台虚拟机。)
hadoop集群环境的搭建
在Ubuntu系统下安装Hadoop圈中的部分软件。 VMWare Ubuntu SSH JDK Hadoop MySQL Hive Hbase Mahout Sqoop Spark Flume Kafka ElasticSearch Redis Phoenix
Hadoop分布式集群搭建所需安装包资源 jdk-8u171-linux-x64.tar.gz hadoop-2.7.5.tar.gz
详细介绍了hadoop平台的搭建,包括虚拟机的配置,hadoop各种参数的设置,以及Eclipse平台的搭建,并检验整个集群是否能正常运行。
《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf...
Hadoop平台搭建.ppt Hadoop平台搭建.ppt Hadoop平台搭建.ppt
这里详细介绍了hadoop2.4.1的伪分布式的搭建,主要是一些配置文件的修改
基于haodoop 集群搭建hbase集群。(2台机器的情况。)
hadoop2.4.1集群搭建