- 浏览: 278587 次
文章分类
最新评论
-
feargod:
...
ActivityGroup的子activity响应back事件的顺序问题 -
hoarhoar:
谢谢你,终于解决了,我真是受够了,总是45秒钟,真是疯了。
youku 的广告必须要屏蔽 -
lilai:
...
youku 的广告必须要屏蔽 -
aijuans2:
...
youku 的广告必须要屏蔽 -
weiwo1978:
说的非常好,mark
SELECT语句执行的顺序
之前依据名字想当然的把fs.default.name配置在hdfs-site.xml里,结果执行ls copy等命令都是本地的方式,后调试也未果,故想了下之前自己的操作,然后看了下代码发现都是配置惹的问题,故在此总结下各配置项的加载情况。
在hadoop 0.20.2版本中存在如下几个配置文件
- core- default .xml
- core-site.xml
- hdfs-default .xml
- hdfs-site.xml
- mapred-default .xml
- mapred-site.xml
其中default中各个配置项可以参看我之前的blog里有说。下面总结下加载情况
在Configuration类中通过static加载方式加载了
也就是说所有用到Configuration的类都会加载这个配置项。
在以下几个类中会显示加载hdfs-*.xml
这几个类加载这些文件是通过Configuration来完成的,也就是说默认会将core-*的xml也加载进来。
以下几个类中会显示加载mapred-*.xml
同样他们的操作也是由Configuration来完成的,也就是说默认会将core-*的xml也加载进来
在hadoop命令中有以下类是执行命令的实体类
- namenode CLASS=org.apache.hadoop.hdfs.server.namenode.NameNode
- secondarynamenode CLASS=org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
- datanode CLASS=org.apache.hadoop.hdfs.server.datanode.DataNode
- fs CLASS=org.apache.hadoop.fs.FsShell
- dfs CLASS=org.apache.hadoop.fs.FsShell
- dfsadmin CLASS=org.apache.hadoop.hdfs.tools.DFSAdmin
- mradmin CLASS=org.apache.hadoop.mapred.tools.MRAdmin
- fsck CLASS=org.apache.hadoop.hdfs.tools.DFSck
- balancer CLASS=org.apache.hadoop.hdfs.server.balancer.Balancer
- jobtracker CLASS=org.apache.hadoop.mapred.JobTracker
- tasktracker CLASS=org.apache.hadoop.mapred.TaskTracker
- job CLASS=org.apache.hadoop.mapred.JobClient
- queue CLASS=org.apache.hadoop.mapred.JobQueueClient
- pipes CLASS=org.apache.hadoop.mapred.pipes.Submitter
- version CLASS=org.apache.hadoop.util.VersionInfo
- jar CLASS=org.apache.hadoop.util.RunJar
- distcp CLASS=org.apache.hadoop.tools.DistCp
- daemonlog CLASS=org.apache.hadoop.log.LogLevel
- archive CLASS=org.apache.hadoop.tools.HadoopArchives
- sampler CLASS=org.apache.hadoop.mapred.lib.InputSampler
也就是说从这些类中排除上面那些显示指定hdfs,mapred等配置项的类,那么这些剩余的类使用的配置都是从
获得,所以如果你有针对以上类中需要使用的特定配置而不是使用系统默认的配置,那么需要配置在core-site.xml中,例如fs.default.name
更多信息请查看 java进阶网 http://www.javady.com
发表评论
-
hadoop FSNamesystem中的recentInvalidateSets
2012-04-20 20:28 979今天早就回来了,然后偷懒了2个小时,现在才开始分析代码, ... -
hadoop namenode后台jetty web
2012-04-20 20:28 1659现在开始分析namenode启动时开启的第2类线程, ... -
hadoop namenode format做了什么?
2012-04-18 20:58 1073一看到format就和磁盘格式化联想到一起,然后这个fo ... -
hadoop分布式配置(服务器系统为centos5,配置时使用的用户是root)
2012-04-14 21:19 1013目前我们使 ... -
hadoop系列A:多文件输出
2012-04-14 21:18 1358package org.myorg; import ... -
Hadoop 安装问题和解决方案
2012-04-10 13:21 1204前几天在Window和Linux主机安装了Hadoop, ... -
运行Hadoop遇到的问题
2012-04-10 13:19 1547运行Hadoop遇到的问题 1, 伪分布式模式 ... -
运行Hadoop遇到的问题
2012-04-10 13:19 0运行Hadoop遇到的问题 1, 伪分布式模式 ... -
hadoop使用过程中的一些小技巧
2012-04-09 10:16 1117hadoop使用过程中的一些小技巧 ------------- ... -
运行hadoop时的一些技巧
2012-04-09 10:14 734//用来给key分区的,需要实现Partitioner接口 ... -
hive相关操作文档收集
2012-04-08 10:51 0How to load data into Hive ... -
hive sql doc
2012-04-08 10:51 0记录2个常用的hive sql语法查询地 官方 ht ... -
hive Required table missing : "`DBS`" in Catalog "" Schema "
2012-04-08 10:51 0最近需要提取一些数据,故开始使用hive,本机搭建了一个hiv ... -
HDFS数据兼容拷贝
2012-04-08 10:50 0系统中使用了hadoop 19.2 20.2 2个版本,为啥有 ... -
hdfs 简单的api 读写文件
2012-04-08 10:50 0Java代码 import ... -
hbase之htable线程安全性
2012-04-22 15:22 1126在单线程环境下使用hbase的htable是没有问题,但是突然 ... -
hbase之scan的rowkey问题
2012-04-22 15:22 1701最近使用到hbase做存储,发现使用scan的时候,返回的ro ... -
datanode启动开启了那些任务线程
2012-04-22 15:22 1041今天开始分析datanode,首先看看datanode开启了哪 ... -
namenode这个类的主要功能
2012-04-22 15:22 1431今天来总看下namenode这个类的主要功能 首先看下这个类 ... -
hadoop监控
2012-04-22 15:21 1571通过从hadoop的 hadoop-metrics文件中就可以 ...
相关推荐
记录了Ubuntu下的Hadoop的配置与运行 ,经典例子
Hadoop 1.x和2.x配置文件以及一些其他文件来配置Hadoop集群
Hadoop datanode重新加载失败无法启动解决 ...本文详细讲解了Hadoop datanode重新加载失败无法启动解决的知识点,包括datanode加载失败的原因、解决方法和步骤,并强调了namespaceID的重要性和配置文件的正确性。
hadoop-0.20.2(已经修改了conf文件中的默认配置),直接解压即可,适用于windows的eclipse开发和linux端的服务器部署。
当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 b. 伪分布模式 Hadoop守护进程...
3.1.1 NameNode启动加载元数据情景分析 3.1.2 元数据更新及日志写入情景分析 3.1.3 Checkpoint过程情景分析 3.1.4 元数据可靠性机制 3.1.5 元数据一致性机制 3.2 使用说明 第4章 Hadoop的Backup Node方案 4.1 Backup...
Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序...
Nutch的配置文件主要有三类: 1.Hadoop的配置文件,Hadoop-default.xml和Hadoop-site.xml。...3.Nutch的插件的配置文件,这些插件的配置文件在加载插件的时候由插件自行加载,如filter的配置文件。
所以需要重新编译Container-executor,这边提供重新编译好的,默认加载配置文件路径/etc/hadoop/container-executor.cfg 使用方法: 1 替换/$HADOOP_HOME/bin/下的container-executor 2 创建/etc/hadoop目录,并将...
Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序测试Hadoop集群 Hadoop基准...
Hadoop 单机系统 安装配置13#Hadoop 文件下载和解压13#配置 hadoop-env.sh 环境变量13#Hadoop Common组件 配置 core-site.xml13#HDFS NameNode,DataNode组建配置 hdfs-site.xml14#配置MapReduce - JobTracker ...
11.2.1 加载数据技术点67 加载Apache 日志文件11.2.2 过滤和投影技术点68 通过过滤和投影减少数据处理量11.2.3 分组和聚合UDF 技术点69 IP 地址的分组和计数 11.2.4 使用UDF 进行定位技术点70 使用...
flink安装所需要的第三方jar,即flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
Hadoop分布式文件系统(HDFS)和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别...
在四台节点上配置好JDK、Hadoop以及ZookeeperZookeeper环境变量并重新加载profile文件 三、配置免密钥 免密钥场景1: 将node01作为管理节点的启动脚本,需要配置node01节点免密钥登录其他三台节点 免密钥场景2: ...
1.2.2 Hadoop 的配置 1.2.3 CLI 基本命令 1.2.4 运行MapReduce 作业 1.3 本章小结 第2 部分 数据逻辑. 2 将数据导入导出Hadoop. 2.1 导入导出的关键要素 2.2 将数据导入Hadoop . 2.2.1 将...
hive 底层封装了Hadoop ,使用类SQL 的hiveSQL 语言实现数据查询,所有hive 的数据都存储在Hadoop 兼容的文件系统(例如,Amazon S3、HDFS)中。hive 在加载数据过程中不会对数据进行任何的修改,只是将数据移动到...
QuorumPeerMain Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。首先我们来看下QuorumPeer, 谷歌翻译quorum是法定人数,定额的意思, peer是对等的意思,那么QuorumPee
11_Hadoop中编译配置Snappy压缩 12_Hadoop及Hive配置支持snappy压缩 13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive...