- 浏览: 187910 次
文章分类
最新评论
hadoop version “0.20.2”
java version "1.6.0_26"
搭建完成后,start-all.sh启动所有进程,然后JPS一下结果如下:
$ jps
1404 JobTracker
3056 NameNode
4576 Jps
但后ps一下呢,又显示5个jvm进程:
$ ps
PID PPID PGID WINPID TTY UID STIME COMMAND
4928 4316 4928 2260 pty0 1000 15:09:57 /usr/bin/bash
4868 1 4900 1404 pty1 1000 15:14:50 /cygdrive/d/Java/jdk1.6.0_26/bin/java
5028 1 4900 3056 pty1 1000 15:14:31 /cygdrive/d/Java/jdk1.6.0_26/bin/java
5044 4928 5044 5048 pty0 1000 15:11:04 /usr/bin/ssh
5400 4440 5400 5420 pty1 1000 15:16:40 /usr/bin/ps
1972 1940 1972 2044 ? 1000 15:03:46 /usr/sbin/sshd
1372 1 4504 4636 ? 1000 15:14:39 /cygdrive/d/Java/jdk1.6.0_26/bin/java
4440 5088 4440 2556 pty1 1000 15:11:08 /usr/bin/bash
5560 1 5148 5272 ? 1000 15:14:55 /cygdrive/d/Java/jdk1.6.0_26/bin/java
5088 1972 5088 2160 ? 1000 15:11:04 /usr/sbin/sshd
2712 1 4228 4484 ? 1000 15:14:47 /cygdrive/d/Java/jdk1.6.0_26/bin/java
1940 1 1940 1940 ? 1000 15:03:46 /usr/bin/cygrunsrv
4316 1 4316 4316 ? 1000 15:09:57 /usr/bin/mintty
经过验证,功能都能够使用,这是为什么呢??为什么没有DataNode,TaskTracker,是不是伪分布式的原因呢??一台机器做NameNode DataNode SecondaryNameNode??还是我在配置conf里面的东西时有问题??
发表评论
-
多表join的一个优化思路
2012-11-20 11:24 1419big table:streamed small table: ... -
好的网站
2012-09-20 22:17 7491. http://www.cnblogs.com/luche ... -
Hadoop 任务流程
2012-09-07 16:18 785简单的来说分为四个阶段:InputFormat/MapTask ... -
Hadoop关于最大map reducer数目
2012-08-14 20:53 929mapred-site.xml文件: <prop ... -
java.io.IOException:Typemismatch in key from map:expected org.apache.hadoop.io
2012-08-14 20:53 1422解决办法: jo ... -
HDFS 输入文件避免切分
2012-08-14 20:52 1088自定义InputFormat的子类,并把重载方法 ... -
Hadoop 开启debug信息
2012-08-14 20:51 3959运行hadoop程序时,有时候你会使用一些System. ... -
Hadoop 关于0.95/1.75 * (number of nodes)误解
2012-08-14 20:51 944reduce任务槽,即集群能够同时运行的redu ... -
MapReduce ReadingList
2012-08-09 12:22 6681. http://www.aicit.org/jcit/gl ... -
"hadoop fs 和hadoop dfs的区别"
2012-05-30 15:27 1880粗略的讲,fs是个比较抽象的层面,在分布式环境中,fs就是df ... -
Hadoop 自动清除日志
2012-05-29 18:02 897hadoop集群跑了很多的任务后 在hadoop.log ... -
DistributedCache FileNotFoundException
2012-05-26 18:02 944此时注意两种文件路径表示形式,一个在HDFS中。一一个是本地文 ... -
Cygwin 不支持native lib 不支持使用native lib 提供的压缩
2012-05-25 13:33 1109弄了一个上午hadoop的压缩,一直报错NullPointer ... -
Cygwin ssh Connection closed by ::1
2012-05-17 21:09 1109在Win7下Cygwin中,使用sshlocalhost命令, ... -
Eclipse:Run on Hadoop 没有反应
2012-05-10 20:11 850hadoop-0.20.2下自带的eclise插件没有用,需要 ... -
Hadoop SequcenceFile 处理多个小文件
2012-04-29 11:04 3839利用sequenceFile打包多个小文件,MapFile是s ... -
Hadoop 自定义计数器
2012-04-22 09:04 1455public static class mapper e ... -
MapReduce : 新版API 自定义InputFormat 把整个文件作为一条记录处理
2012-04-10 21:47 2264自定义InputFormat 新版API 把真个文件当成 ... -
MapReduce : Combiner的使用(以平均数为例) 并结合in-mapper design pattern 实例
2012-04-10 18:51 4294没有使用Combiner 和 in-mapper des ... -
Hadoop NameNode backup
2012-03-24 18:12 822NameNode: <property> ...
相关推荐
hadoop2.5.2在windows下搭建开发环境并进行测试可以运行。
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
在本地安装hadoop时需要用此目录替换原来的bin目录
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
hadoop集群环境的搭建
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
hadoop2.7.1 window下运行的一些命令 ,如hadoop.cmd hdfs.cmd winutils.exe
最近自学hadoop2.0.0伪分布式搭建,都是一边学一边记录的 个人认为只要是稍微熟悉linux的都能看懂并搭建成功 分有点高,考虑好在下载
hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建
HADOOP快速入门及搭建集群环境,可以进行搭建试试,文档比较详细
hadoop在win上搭建需要的工具类,没有这个不行 hadoop在win上搭建需要的工具类,没有这个不行 hadoop在win上搭建需要的工具类,没有这个不行 重要的事情说三遍
Hadoop高可用集群搭建
基于Linux平台下的Hadoop和Spark集群搭建研究.pdf
3.0版本的hadoop 分布式搭建文档
hadoop 2.7.5 集群搭建 spark 2.2.1 集群搭建,配置scala编译环境 hive on spark 安装 hbase 搭建
Hadoop完全分布式环境搭建文档,绝对原创,并且本人亲自验证并使用,图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤,条例格式清楚,不能成功的,请给我留言!将给与在线支持!
在Ubuntu下利用Hadoop配置与搭建分布式系统。 全部是自己搜网上资料, 自己摸索写的。 内容详细!
实验3—Hadoop 完全分布式模式搭建
hadoop伪分布式集群搭建