hadoop使用过程中的一些小技巧
--------------------------------------------------------------------------------
1.在Eclipse下的hadoop mapred调试
对于小数据量的调试,可以再本机下载并安装cywin,之后将cywin的bin目录添加到系统的Path环境变量中,将hadoop的core包添加到classpath中。此时就可以在Eclipse下调试你的mapred程序,这时hadoop是在local模式下运行的,如果把hadoop的源代码关联进来,你还可以在他的内部处理中设置断点。
2. master重启出问题
之前使用hadoop过程中遇到过几次由于任务执行过程中,某些slave宕机了,然后重启集群,master起不来,一直处在safe mode。查看原因是他一直在试图恢复大量的中间文件,但是此时这些文件已经不存在了。对于这种情况,可以删去他的redo日志,使集群能够快速的启动,当然,弊端是这些中间文件将被忽略。删除的办法是修改设置中的hadoop.tmp.dir的路径下的dfs/name/current/edits文件。
更多信息请查看 java进阶网 http://www.javady.com
分享到:
相关推荐
Hadoop是大数据时代不可或缺的一个分布式系统基础架构,用户可以轻松地在Hadoop上开发和运行处理...那么对于初学者来说怎么能够更快的掌握Hadoop的使用技巧呢?本电子书汇聚了业界知名专家撰写的精品博文,分享给大家。
Hadoop Mapreduce过程shuffle过程全解析,Shuffle过程
Slave启动不起来解决过程如下: 1.环境变了,hadoop没变: Hadoop/etc/hadoop/slaves 的IP地址要变。 5个重要的配置文件逐个检查,IP地址需要变 2.配置文件确认无错误,看日志: 从logs日志中寻找slave的namenode为...
hadoop安装过程,自己留着看,分享给大家,网络上弄的,仅供参考
手把手教你如何使用VMware安装Hadoop全过程。详细,都是操作过得
数据算法Hadoop/Spark大数据处理技巧 源代码 内有部分数据集
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
个人边配置边总结的文档,综合网上的各种文档来看,我总结的这个应该说还是比较完整的。Hadoop安装配置并不难,关键在于几个步骤,详见文档内容!
hadoop编译过程详细说明,可按操作在Linux下将32位编译成64位
[Packt Publishing] Hadoop 集群操作管理技巧 (英文版) [Packt Publishing] Hadoop Operations and Cluster Management Cookbook (E-Book) ☆ 图书概要:☆ Over 60 recipes showing you how to design, ...
数据算法:Hadoop/Spark大数据处理技巧
从linux联网设置到jdk安装hadoop安装,环境变量配置,到hadoop配置文件修改,hadoop文件分发过程。及代码。
Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档
Hadoop使用常见问题以及解决方法,简单实用
HADOOP 搭建过程.docx 详细步骤说明. 免费下载
《数据算法:Hadoop/Spark大数据处理技巧》介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案,以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这还概要介绍了MapReduce、Hadoop和...
数据算法: Hadoop+Spark大数据处理技巧,pdf,高清,带书签,下载下来解压即可
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文...
Hadoop安装配置过程和注意事项