`
linhaoxiang
  • 浏览: 22349 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

详细版hadoop平台搭建常见问题总结(一)

阅读更多

最近在带团队搞hadoop这个东西,首先自然要从搭建平台开始,说实话当初自己搞得时候光光这个平台就搞了半天,也确实是个麻烦的事情,从刚开始的只会按照教程搭建到现在的已经可以熟练的搭建一个平台,说实话,没有把这玩意搭个十几二十遍,没有把其中的每一个步骤都搞清楚,没有深入研究过hadoop的运行机制,还真玩不转。中间团队搭建的时候真的是各种搭建各种问题,下面就先总结以下部分。

一.首先搭建hadoop我分为这么几个步骤:(所有问题都以hadoop0.20.2版本为例)

     1.安装linux环境

     2.创建hadoop用户组和hadoop用户(这步也可以省略,当然是为了以后跑集群方便)

     3.安装jdk

 4.安装ssh服务

 5.安装hadoop

其中,我认为容易卡住的几个部分是第一,第三,就是安装linux和安装jdk的时候,首先我们为了以后跑集群比较方便,就用的是双系统装Ubuntu,当初装这个双系统搞得问题百出。   1.Ubuntu有个最简单的wubi安装,就是像安装软件一样一键安装,一键卸载,但是这种方法经团队验证存在众多缺陷,经常死机,只适合体验不适合开发更不适合跑集群,所以还是建议大家安装真正的双系统。

2.安装双系统的方法有很多,我就不一一介绍了,而且也介绍不完毕竟不是专门研究这个的,我们集体用的是window7下的硬盘安装,http://www.linuxidc.com/Linux/2013-10/91565.htm   这里是我们用的安装教程。如果只是用来开发的话我建议还是只要虚拟机的好,毕竟不会出那么多问题而且操作简单,内存2G以下的还是直接用虚拟机吧双系统跑不动的。

3.安装好之后大家几个常识要注意下,第一就是用户组名,用户名,主机名的区别,用户组的是自己添加的,这里添加hadoop用户组是为了以后跑集群更好的区分,用户名就像root用户一样是可以设置权限等的用户,一个用户组可以有许多个用户。主机名是跑集群的时候用的,主机名和IP地址是对应的,不清楚自己ip地址的可以用ifconfig指令来查看自己的ip地址。

4.很多人对Ubuntu的依赖关系不明白什么意思,这么说吧典型的windows软件A,其需要辅助软件B才能运行,所以安装包就自带B。如果N个软件需要B,那么你的电脑可能就有N个B软件。典型的linux软件A,其需要辅助软件B,它不自带,而是公用系统已有的(如果没有就要安装)。如果N个软件需要B,那么只需要一个就够了所以才要包管理来为你自动解决这些关系

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics