`

win32下开发hadoop应用程序(一)

阅读更多

(1)安装Cygwin,并设置环境变量到$Cygwin_Home/bin。

windows下无法直接运行hadoop,是由于hadoop的节点(Datanode)需要用到linux 的环境命令,比如 df, du 获取磁盘的信息,whoami 获取用户信息等。所以理想方式在 windows 上提供linux 的环境。Cygwin是一个在windows 平台上运行的unix 模拟环境。

     Step1. 下载 cgywin 的安装程序,可以访问 http://www.cygwin.com/ 下载最新的版本的cygwin.exe。

          

·         Step2. 如果是windows 7,那么右击“以管理员权限运行”,运行cygwin,点击“Next>”,在Choose A Download Source面板,选择“Install from internet”,点击“Next>”。

 

·         Step3. 选择Cygwin 的安装目录,默认是c:\cygwin,选择 Install for 的用户,点击“Next>”。

 

·         Step4. Select Local Package Directory面板选择cygwin下载的包的目录,这是一个临时目录,cgywin安装完成之后,这个目录下的所有文件可以删除。点击“Next >”。

 

·         Step5. Select Your internet Connection面板选择”Direct Connection”,点击“Next>”。

 

·         Step6. 选择下载的站点,这里就选择中国这边的163的镜象站点,如:http://mirrors.163.com ,然后点击“Next >”。

 

·         Step7. 接下来选择要安装的linux的组件包,单击右边的 “View” 按钮,以Full的方式列出每个包的信息。

 

·         Step8. 找到包“openssh”,点击左边的“skip”,使B列中出现X

 

·         Step9. 找到包“tcp_wrappers”,点击左边的“skip”,使B列中出现X

·         Step10. 找到包“diffutils”,点击左边的“skip”,使B列中出现X

 

·         Step11. 找到包“zlib”,点击左边的“skip”,使B列中出现X

 

·         Step12. 点击“Next >”,下载选择的包,接下来一路Next,直到完成。

 

·         Step13. 接下来配置系统环境变量,nameCYGWIN value: ntsec tty,以及把c:/Cygwin/bin(step3) 加入到path中。

 

·         Step14. 在桌面上运行Cgywin 的图标,如果是windows 7,请务必以“管理员身份运行”,运行如下命令:

$ chmod +r /etc/passwd

$ chmod u+w /etc/paawd

$ chmod +r /etc/group

$ chmod u+w /etc/group

$ chmod 755 /var

 

注:如果在cygwin 中部署hadoop 的单机模式,请配置ssh 服务,需要手动执行 ssh-host-config 命令。这里不做更详细的介绍。

 

·         Step15. 重启windows

 

可以在cygwin中运行 $ whoami ,如果看到本机用户名,那么cgywin基本配置安装成功。

 

分享到:
评论

相关推荐

    win7下Eclipse开发Hadoop应用程序环境搭建

    在Windows 7操作系统中,使用Eclipse开发Hadoop应用程序的过程涉及多个步骤,涵盖了从环境配置到实际编程的各个层面。以下是对这个主题的详细讲解: 首先,我们需要了解Hadoop和Eclipse的基础。Hadoop是一个开源的...

    hadoop2.7.1-win32.zip

    标题 "hadoop2.7.1-win32.zip" 指示了这是一个适用于Windows 32...此外,对于开发人员来说,了解如何使用`winutils.exe`和相关库文件进行Hadoop编程也非常重要,因为这有助于他们在Windows环境中开发和测试Hadoop应用。

    hadoop-2.7.2-win10_x64.7z

    描述中提到,这是一个“完整包”,意味着它包括了Hadoop运行所需的所有基本组成部分,用户下载后应能直接在Win10环境下启动和使用。这对于初学者或那些不想经历编译过程的人来说是一个方便的资源。 标签 "hadoop" ...

    win10编译过的hadoo2.6.4包括hadoop.dll和winutils.exe

    HDFS的另一改进是透明加密,可以在不改变应用程序的情况下,对存储在HDFS的数据进行加密,保障数据的安全性。 在使用解压后的Hadoop 2.6.4时,用户需要确保已经正确配置了Hadoop的环境变量,包括HADOOP_HOME、...

    hadoop-common-2.60-win32-bin

    这里的“win32”标签意味着这个版本的Hadoop已经适应了Windows的32位架构,使得在Windows环境下开发和测试Hadoop应用成为可能。 描述中提到的“试用windows 32位系统,使用hadoop2.60源码编译”,这意味着这个版本...

    hadoop2.7.6 x64 win10的本地文件

    Hadoop是Apache软件基金会开发的一个开源分布式...综上所述,这个压缩包提供了在Windows 10 64位系统上运行和开发Hadoop应用所需的基本组件,对于在该平台上进行大数据处理的初学者或开发者来说,这是一个宝贵的资源。

    win7下编译过的hadoop2.7.2

    总之,这个“win7下编译过的hadoop2.7.2”文件对于在Windows 7环境下快速部署和使用Hadoop非常有帮助,它省去了编译的复杂性,让开发者和数据分析师能够专注于Hadoop的应用和数据分析,而不是底层的系统配置。...

    win7下eclipse配置hadoop的插件

    在Windows 7环境下,配置Eclipse来开发Hadoop项目,我们需要安装特定的插件并进行一系列设置。本文将详细介绍如何在Eclipse中配置Hadoop 2.6的插件,以便于进行分布式计算开发。 首先,我们要理解Hadoop是Apache...

    win7搭建hadoop开发环境工具文件

    在Windows 7操作系统中搭建Hadoop开发环境,你需要遵循一系列步骤,这通常涉及到安装和配置Hadoop,以及集成Eclipse IDE。以下是一个详尽的指南,涵盖...一旦完成,你就可以在Eclipse中愉快地开发和测试Hadoop应用了。

    win10下hadoo2.7.2的hadoop.dll和winutils.exe

    这个库文件使得Windows应用程序能够与Hadoop生态系统进行交互,例如执行MapReduce任务、管理HDFS文件系统等。在Windows上运行Hadoop时,必须确保这个dll文件位于系统的PATH环境变量所指向的目录下,以便系统能够找到...

    hadoop2.6,window7 64bit,hadoop.dll、winutils.exe文件下载

    在实践中,你可能需要下载和配置这些文件来建立一个本地Hadoop开发环境,以便于测试、学习或者开发Spark应用。同时,理解这些文件的作用以及如何在Windows环境下正确配置它们,对于任何想要在Windows上从事Hadoop和...

    win10下hadoop2.6.4 bin(含winutils.exe和hadoop.dll).zip

    9. **开发与调试**: 开发Hadoop应用时,IDE如IntelliJ IDEA或Eclipse可以提供插件支持,便于编写、调试和部署MapReduce程序。此外,使用Hadoop的命令行工具或Web界面来监控HDFS和MapReduce作业的状态。 10. **社区...

    基于Eclipse的Hadoop应用开发环境的配置.doc

    本文将详细介绍如何在 Eclipse 平台上配置 Hadoop 开发环境,以帮助开发者更高效地进行 Hadoop 应用程序的开发。 #### 二、配置步骤详解 ##### 1. 安装基础环境 在开始配置 Eclipse 上的 Hadoop 开发环境之前,...

    windos上java操作的东西hadoop2.9.0 win32 64

    Hadoop是一个开源框架,主要用于存储和处理大规模数据集,而Java是编写Hadoop应用程序的主要编程语言。在这个场景中,我们讨论的是Hadoop 2.9.0版本,这是一个稳定且广泛使用的版本,支持Windows 32位和64位系统。 ...

    hadoop2.7.2(window版本).zip

    总之,"Hadoop 2.7.2 (Window版本)"的资源包是Windows环境下进行大数据开发的基础,涵盖了从安装配置到实际应用的全过程。通过深入学习和实践,开发者能够掌握分布式计算的核心技术,为解决复杂的大数据问题打下坚实...

    winutils.exe/hadoop.dll下载,IDE调试hadoop程序。

    在标题和描述中提到的"IDE调试Hadoop程序",指的是在集成开发环境中(如IntelliJ IDEA或Eclipse)进行Hadoop应用的本地开发和调试。这对于快速迭代和测试代码非常有帮助,而不必每次修改后都部署到远程集群上。通过...

    hadoop/bin目录文件,含hadoop.dll + winutils.exe

    至于压缩包子文件“9.pptx”,可能是关于Hadoop、Spark在Windows环境下的使用教程或者介绍资料,可能包含了如何配置Hadoop环境、如何使用winutils.exe以及如何在Windows 7上开发和调试Spark应用程序等内容。...

    hadoop2.6_Win_x64-master

    总之,"hadoop2.6_Win_x64-master"压缩包提供了一种简便的方式来解决在Windows上使用Eclipse进行Hadoop开发时遇到的挑战,使得开发者可以更专注于编写和测试MapReduce或Spark程序,而不用过多地关注底层的环境配置...

    hadoop2+eclipse+win7开发所需环境

    本文将深入探讨在Windows 7环境下,利用Eclipse开发Hadoop 2.x应用程序的环境配置,以及涉及的相关文件及其作用。 标题"hadop2+eclipse+win7开发所需环境"指的是在Windows 7操作系统上,使用Eclipse集成开发环境...

Global site tag (gtag.js) - Google Analytics