经过几天的苦战,Hadoop-0.20.1+Ubuntu实战终于出炉,本次实战突出两个重点:
1、在原有windows实战的基础上,掌握Hadoop在其主流Linux环境的运行,顺便学习下Ubuntu(咱N年前用过RH,后来就没沾过Linux的边,AIX甚至AS/400倒是实战过);
2、跑通wordcount例子并加以改造,掌握基本开发要点和过程。
几点感受,记下来留作纪念:
1、Linux下开始真有点举步维艰,光是输入法就折腾了我一天,后来装了fcitx,才找到原来在win下行云流水的感觉(我现在就作ubuntu的firefox中使用她打字,还算贴心);
2、安装JAVA环境倒是还顺利,也没什么大风大浪的,但现在我的eclipse3.5还是在有些界面中不听鼠标的,只能用键盘快捷键进行操作,由于重点是调试hadoop,也就暂时忍了,回头再收拾他;
3、Hadoop经我改造的AdvancedWordcount调试了我好几天晚上,一直碰到郁闷的Type Mismatch问题,然后我把整个Hadoop调试环境搭建起来,一步一步跟踪进去,后来才发现是泛型惹的祸,恶补了半个小时的泛型后才发现问题。看来老是跟着IBM、BEA走(IBM我们才用上WAS6.1,之前的版本都只能跑1.4;BEA就更恶心了,客户死活只上816,咋办,开发测试行旁浪只能用1.4),不与时俱进总要翻跟斗的。
令人遗憾的是,Openoffice的文档粘帖到javaeye只能说惨不忍睹,又没有导出为PDF的功能,只能明天用我的工作笔记本来发布出来了。
分享到:
相关推荐
Hadoop-0.20.1+API为“.chm”格式,英文版本。
hadoop-2.7.3+zookeeper-3.4.8+hadoop-2.7.3分布式环境搭建整理(王三旗亲试成功安装)
Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式整合,Hadoop-2.X使用HA方式
Eclipse中编译运行Hadoop-0.20.1源码, 便于阅读源代码,
CentOS-6.4 64位系统下hadoop-2.2.0+hbase-0.96+zookeeper-3.4.5 分布式安装配置
Ubuntu 8.10 Hadoop-0.20.1 详细配置: SSH配置 JDK安装 Hadoop配置 启动集群,查看状态
技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术 版权声明:整理不易,且学且珍惜,仅供学习交流使用,未经允许不得用于任何商业用途,谢谢合作 qq交流群:214293307 云计算之...
此文以命令行+截图的形式详细的记录了Hadoop-2.6.4+Zookeeper-3.4.9+Hbase-1.2.4分布式开发平台的环境配置过程,希望能对大家有所帮助。
Ubuntu 8.10下Hadoop-0.20.1集群配置手册 java ssh hadoop
eclipse3.3+hadoop-0.20.0+hadoop-0.20.0-eclipse-plugin环境成功搭建,讲述了如何在eclipse中使用hadoop
hadoop-core-0.20.1.jar,用于开发分布式系统的jar包!!
Hadoop-0.20.0-HDFS+MapReduce+Hive+HBase十分钟快速入门
hadoop-0.20.1.tar.gz下载,网上这个版本很少了。提供大家下载
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
《hadoop-HDFS+MapReduce+Hive+Hbase快速入门》,一门入门hadoop的经典书籍,相信能够给学习云计算的大家带来帮助。
从hadoop 0.19.1 升级到 0.20.1时才发现原来0.19.1的插件不能使用,包里没有jar文件,需要自行编译。然而编译出来的jar总是不能用,最后改写一点代码,才可以在Eclipse (europa, galileo)下正常使用。 注意:使用...
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
maven-hadoop-plugin-0.20.1-sources.jar
maven-hadoop-plugin-0.20.1.jar