- 浏览: 106872 次
- 性别:
- 来自: 成都
文章分类
- 全部博客 (134)
- java (134)
- [转]sqlserver 数据类型 及使用考虑 (1)
- 保存、读取、删除到sdcard图片 (1)
- hashcode 重写 (1)
- sql2008导出数据 (1)
- Android开发(1):随机绘制彩色实心圆 (1)
- JPA 应用技巧 1:实体类和实体 DAO 模板 (1)
- 狩魂之神即将开测 - 2012年最值得期待的网页游戏 (1)
- mantis (1)
- MediaWiki (1)
- ExtMail (1)
- MDaemon搭建公司项目环境 (1)
- NIO 之 选择就绪模式 (1)
- web应用系统架构设计 (1)
- XML CDATA (1)
- firefox+Firebug调试JavaScript、HTML和CSS (1)
- 在SUSE 11中安装Windows虚拟机 (1)
- 将字节流(byte[])转换成文件 (1)
- HTML5网站 (1)
- 在Android中自定义IOS风格的按钮 (1)
- 基于SVG的WebGIS的一个雏形 (1)
- 程序名称DreamIT(梦想IT)提供许多IT公司的面试和笔试试题 (1)
- 介绍一个ASP.NET开发工具Web Matrix (1)
- C#信息采集工具实现 (1)
- Qt 4.7.4 完美动态编译发布动态调试,以及静态编译发布 (1)
- 2011面试题目之猴子偷桃 (1)
- Linux tar压缩时排除某个目录或文件的参数 (1)
- Crack JRebel 4.0,无需重启JVM,热部署解决方案 (1)
- Groovy Sql使用Spring的事务管理 (1)
- <<让oracle跑的更快1>>读书笔记2 (1)
- 不要再浪费时间 (1)
- JSP (1)
- PHP (1)
- Python (1)
- Ruby (1)
- Perl概要及各自特点 (1)
- JVM 内存结构(转) (1)
- [转载]JPA 批注参考(1) (1)
- Hadoop配置部分内容 (1)
- HD2刷机的基础知识 HD2的radio、HSPL、ROM三种组合 (1)
最新评论
-
alexyao8:
顶起
[G4Studio开源平台]如何搭建G4开发环境 -
greatghoul:
太二了。
不要再浪费时间 -
wengbo316:
它们一定是花果山的猴子,数数能数到3K多呢。。。
2011面试题目之猴子偷桃 -
mycar:
额.待补充...........
保存、读取、删除到sdcard图片 -
沙舟狼客:
这太折磨人了, 还有人要看吗?
[] javaeye rss抓取
[size=medium;]Hadoop配置部分内容[/size]
[size=small;]Hadoop配置文件[/size]
hadoop-env.sh
?????????? 记录脚本要用的环境变量,以运行Hadoop,比如:jdk的环境变量配置
core-site.xml
?????????? Hadoop Core的配置项,例如HAFD和Mapredure常用的I/O设置等。
hdfs-site.xml
?????????? Hadoop守护进程的配置项,包括namenode,辅助namenode和datanode等。
slaves
?????????? 运行datanode和tasktracker的机器列表(每行一个)
[size=small;]配置管理[/size]
????? Hadoop没有将所有配置信息放在一个单独的全局位置中。反之,集群的Hadoop节点都各自保存一系列配置文件,并由管理员完成这些配置文件的同步工作。
????? <span style="color: #ff0000;">Hadoop支持为所有的主机器和工作机器采用同一套配置文件</span>
<span style="color: #ff0000;">
。</span>
????? 最大的优势在于简单,不仅体现在理论上(仅需要处理一套配置文件),也体现在可操作性上(使用hadoop脚本就能进行管理)。
[size=small;]控制脚本[/size]
????? Hadoop内置一些脚本来运行指令、在集群内启动和终止守护进程。为了运行这些脚本(存放在bin目录中),还需要指定集群内的所有机器。有两个文件能达到这个目标,即masters和slaves。各文件逐行记录一些机器的名称或ip地址。masters主要记录拟运行辅助namenode的所有机器。slaves文件记录了运行datanode和tasktracker的所有机器。
????? 这两个文件存放在配置目录中。此外,<span style="color: #ff0000;">这些文件无需分发到各个工作节点,因为只有运行在namenode或jobtracker上的控制脚本能使用这些文件。</span>
????? 脚本start-dfs.sh脚本用于<span style="color: #0000ff;">启动集群中所有的HAFS守护进程</span>
,但是该脚本运行时会在同一机器上运行namenode。详细步骤如下:
????? 1.在本地机器上启动一个namenode(脚本所运行的机器)
????? 2.在slaves文件中记录的各个机器上启动一个datanode
????? 3.在masters文件中所记录的各机器上启动一个辅助namonode。
发表评论
-
HD2刷机的基础知识 HD2的radio、HSPL、ROM三种组合
2012-02-07 15:13 1038今天看着教程刚刷了台HD2,觉得有用的文章顺便转载过来 ... -
[转载]JPA 批注参考(1)
2012-02-04 11:39 689作为 Java 企业版 5 ... -
JVM 内存结构(转)
2012-02-03 14:49 851http://www.4ucode.com/Study ... -
JSP,PHP,Python,Ruby,Perl概要及各自特点
2012-01-31 15:18 945互联网技术日新月异,编程的语言层出不穷,原本稍微平静了 ... -
不要再浪费时间
2012-01-31 15:08 846不要再浪费时间 &l ... -
<<让oracle跑的更快1>>读书笔记2
2012-01-11 13:24 9821 绑定变量 1 ... -
Groovy Sql使用Spring的事务管理
2011-12-28 18:43 1218Grails如果不想用Hibernate的东东,可以直 ... -
Crack JRebel 4.0,无需重启JVM,热部署解决方案
2011-12-28 18:28 1128http://dl.dropbox.com/u/229 ... -
Linux tar压缩时排除某个目录或文件的参数
2011-12-21 13:48 1258在对某个目录进行压缩的时候,有时候想排除掉某个目录,例 ... -
2011面试题目之猴子偷桃
2011-12-21 11:14 1426<span style="" ... -
Qt 4.7.4 完美动态编译发布动态调试,以及静态编译发布
2011-12-20 14:53 1529首先是准备工作 ... -
C#信息采集工具实现
2011-12-20 12:34 838简单C#信息采集工具实现 最近想整只爬虫玩玩,顺便熟 ... -
介绍一个ASP.NET开发工具Web Matrix
2011-12-19 09:49 888想学习或者开发个小型的ASP.NET程序,装个VS.N ... -
程序名称DreamIT(梦想IT)提供许多IT公司的面试和笔试试题
2011-12-19 09:24 865<font style="bac ... -
基于SVG的WebGIS的一个雏形
2011-12-14 13:19 627我和一位师弟,经过了很多天的努力,终于做出了一个简单的 ... -
在Android中自定义IOS风格的按钮
2011-12-12 10:09 1060<p class="MsoNorm ... -
HTML5网站
2011-12-12 08:55 766记得刚来现在公司的时候,老大就说,作为移动平台部门的员 ... -
将字节流(byte[])转换成文件
2011-12-09 08:25 1450/** * 将字节流转换成文件 * @par ... -
在SUSE 11中安装Windows虚拟机
2011-12-09 01:29 858Novell公司最近推出 ... -
firefox+Firebug调试JavaScript、HTML和CSS
2011-12-08 13:34 759什么是Firebug<br><br& ...
相关推荐
hadoop 配置项的调优,列出大部分HADOOP系统参数的定义及与系统性能之间的关系。
hadoop安装配置文档,hadoop是云计算的基础。绝大部分的云计算中的分布式存储和计算都是使用hadoop的。简单的理解的话,云计算是系统工程的蓝图,hadoop是基础层面的重要的必不可少的工具
有关hadoop配置的文件皆是txt文件,可以直接粘贴使用,部分主机名称和文件地址需要结合自己本机实际地址进行修改
资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...
教案27 项目8 平台化快速部署Hadoop 第1部分 探寻大数据平台及基础环境配置.pdf教案27 项目8 平台化快速部署Hadoop 第1部分 探寻大数据平台及基础环境配置.pdf教案27 项目8 平台化快速部署Hadoop 第1部分 探寻大数据...
教案27 项目8 平台化快速部署Hadoop 第1部分 探寻大数据平台及基础环境配置.docx教案27 项目8 平台化快速部署Hadoop 第1部分 探寻大数据平台及基础环境配置.docx教案27 项目8 平台化快速部署Hadoop 第1部分 探寻...
hadoop3.2中配置,包含core-site.xml,hdfs-site.xml,yarn-site.xml,并配有部分说明,仅供交流和参考
本教程是根据个人在UBUNTU虚拟机上安装配置Hadoop2.7.3的实际操作步骤一步步记录下来的,大部分指令操作的目的都加了注释以方便理解。(本教程很详细,如果还是遇到问题可以直接咨询楼主,不会让你的积分百花的)
该压缩包是在官方包的基础上进行修改的,将Windows运行hadoop所需配置文件和部分插件已经导入,电脑只需安装64位java环境,修改hadoop-env.cmd配置即可使用
史上最详细的Hadoop环境搭建,CentOS+Hadoop等详解 第一部分:Linux环境安装 第二部分:Hadoop本地模式安装 第三部分:Hadoop伪分布式模式安装 第四部分:完全分布式安装 第五部分:Hadoop HA安装
- 磁盘满了导致的问题很难预料,HDFS可能会导致部分数据写入异常,MySQL可能会出现直接宕机等等, 所以最好的办法就是:不要使盘的利用率达到100%。 - 数据存储周期规划好,定期清理数据。或者实现自动化清理。
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...
3.安装Hadoop(3)配置Hadoop环境变量 2.搭建伪分布式模式Hadoop 1.到hadoop目录中2.修改hadoop-env.sh配置文件 (2)core-site.xml1.修改core-site.xml配置文件(3)hdfs-site.xml1.修改hdfs-site.xml配置文件(4)...
Hive及Hadoop群 11.1 Hive 11.1.1 安装与配置Hive 11.1.2 查询的示例 11.1.3 深入HiveQL 11.1.4 Hive小结 11.2 其他Hadoop 相关的部分 11.2.1 HBase 11.2.2 ZooKeeper 11.2.3 Cascading 11.2.4 Cloudera ...
Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序...
第二部分是基于Windows 7 64位Eclipse开发环境的配置 若严格按本文步骤执行的话应该可以配置环境完成(没把握的话连空格都不要改动 血的教训 ) 若有问题欢迎各位邮件或到blog中交流 本文最后修改时间:2014年11月14...
Linux系统Centos7安装hadoop2.9.2所需部分配置文件,为了避免资源的浪费,以及更多人能够利用上,本人便将这些文件上传至此
以下为部分标题: 1.搭建单机模式Hadoop 1.搭建准备工作 (1)关闭防火墙(2)关闭selinux防火墙 2.安装JDK (1)下载jdk (2)上传JDK至服务器 a.下载WinSCP软件 b.建立linux与windows之间文件互传 (4)配置JAVA环境...