(1)安装Cygwin,并设置环境变量到$Cygwin_Home/bin。
windows下无法直接运行hadoop,是由于hadoop的节点(Datanode)需要用到linux 的环境命令,比如 df, du 获取磁盘的信息,whoami 获取用户信息等。所以理想方式在 windows 上提供linux 的环境。Cygwin是一个在windows 平台上运行的unix 模拟环境。
Step1. 下载 cgywin 的安装程序,可以访问 http://www.cygwin.com/ 下载最新的版本的cygwin.exe。
· Step2. 如果是windows 7,那么右击“以管理员权限运行”,运行cygwin,点击“Next>”,在Choose A Download Source面板,选择“Install from internet”,点击“Next>”。
· Step3. 选择Cygwin 的安装目录,默认是c:\cygwin,选择 Install for 的用户,点击“Next>”。
· Step4. 在Select Local Package Directory面板选择cygwin下载的包的目录,这是一个临时目录,cgywin安装完成之后,这个目录下的所有文件可以删除。点击“Next >”。
· Step5. 在Select Your internet Connection面板选择”Direct Connection”,点击“Next>”。
· Step6. 选择下载的站点,这里就选择中国这边的163的镜象站点,如:http://mirrors.163.com ,然后点击“Next >”。
· Step7. 接下来选择要安装的linux的组件包,单击右边的 “View” 按钮,以Full的方式列出每个包的信息。
· Step8. 找到包“openssh”,点击左边的“skip”,使B列中出现X 。
· Step9. 找到包“tcp_wrappers”,点击左边的“skip”,使B列中出现X 。
· Step10. 找到包“diffutils”,点击左边的“skip”,使B列中出现X 。
· Step11. 找到包“zlib”,点击左边的“skip”,使B列中出现X 。
· Step12. 点击“Next >”,下载选择的包,接下来一路Next,直到完成。
· Step13. 接下来配置系统环境变量,name:CYGWIN value: ntsec tty,以及把c:/Cygwin/bin(step3) 加入到path中。
· Step14. 在桌面上运行Cgywin 的图标,如果是windows 7,请务必以“管理员身份运行”,运行如下命令:
$ chmod +r /etc/passwd
$ chmod u+w /etc/paawd
$ chmod +r /etc/group
$ chmod u+w /etc/group
$ chmod 755 /var
注:如果在cygwin 中部署hadoop 的单机模式,请配置ssh 服务,需要手动执行 ssh-host-config 命令。这里不做更详细的介绍。
· Step15. 重启windows。
可以在cygwin中运行 $ whoami ,如果看到本机用户名,那么cgywin基本配置安装成功。
分享到:
相关推荐
win32平台winutils,hadoop win32 native code
《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
NULL 博文链接:https://tessykandy.iteye.com/blog/1453406
基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...
Hadoop 10周年生日之际,CSDN主办的“Hadoop英雄会——暨Hadoop 10周年生日大趴”,Hulu高级研发工程师董西成介绍了Hadoop YARN程序设计与应用案例。
Hadoop集群程序设计与开发教材最终代码.zip
windows下开发hadoop2.4.1程序需要覆盖的本地库文件
Linux和Win下配置eclipse开发hadoop
Hadoop应用开发与案例实战(慕课版)-课件PPT.rar
win下maven创建的hadoop程序demo,即在win下开发MapReduce编程的基本框架
hadoop应用开发实例教程之Greenplum架构,由北风网提供,hhadoop应用开发实例教程主要介绍什么是Greenplum;Greenplum体系结构;Greenplum高可用性架构。安装Greenplum:配置环境;安装并初始化GPDB系统;启停数据库...
win 10 下 idea 搭建hadoop开发环境需要得开发包,已经本地环境变量配置
32位和64位的windows系统 hadoop部署要用文件,有2个压缩包,目前在win7 32位平台,hadoop2.7.5亲测可用。
详细介绍了用eclipse开发hadoop程序的过程
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
win10 64位的hadoop运行环境,直接替换bin,重启,即可
Hadoop集群程序设计与开发PPT.rar
64位win10系统编译好的完整包,下载后应该就能用了。
压缩包里有两个文件,winutils.exe和hadoop.dll,注意:这是给win32(x86)下的hadoop2.6.0使用的,如果你是64位机,或者hadoop版本高于2.6.0,请不要使用。